Tencent Cloud 上で Hadoop 3.x 疑似クラスターを構築する方法を説明します

$ cd /home/centos
$ mkdir ソフトウェア
$ mkdirモジュール

$ CD ソフトウェア
# 次にファイルをドラッグします

$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../モジュール
$ tar -zxvf hadoop-3.1.3.tar.gz -C ../モジュール

$ cd /etc/profile.d/
$ vim my_env.sh

#JAVA_HOME、パス 
# export はグローバル変数に昇格されます。パスが私のものと異なる場合は、ここで独自のパスを使用することを忘れないでください export JAVA_HOME=/home/centos/module/jdk1.8.0_212
エクスポート PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
HADOOP_HOME=/home/centos/module/hadoop-3.1.3 をエクスポートします。
PATH=$PATH:$HADOOP_HOME/bin をエクスポートします。
PATH=$PATH:$HADOOP_HOME/sbin をエクスポートします

$ ソース /etc/profile

$ hadoop バージョン

$ ジャワ

$ ssh-keygen -t rsa

$ ssh-copy-id ローカルホスト名

vi /etc/hosts
#ここで私が保持している構成は、マスターがTencent Cloudのイントラネットで構成されていることです。外部ネットワークが構成されている場合、EclipseクライアントはHadoopに接続できません。
::1 ローカルホスト.ローカルドメイン ローカルホスト
::1 ローカルホスト6.ローカルドメイン6 ローカルホスト6
172.16.0.3 マスター
127.0.0.1 ローカルホスト

vi /etc/sysconfig/ネットワーク 
#HOSTNAMEをmasterに変更
ホスト名=マスター

$ hostnamectl --static ホスト名マスターを設定する

$ systemctl 無効にするfirewalld #永続的

$ cd /home/centos/module/hadoop-3.1.3/etc/hadoop

<構成>
  <プロパティ>
    <name>fs.defaultFS</name>
    <value>hdfs://Tencent Cloud イントラネット IP アドレス:9820</value>
  </プロパティ>
 
  <プロパティ>
    <name>hadoop.tmp.dir</name>
    <値>/home/centos/module/hadoop-3.1.3/data/tmp</値>
  </プロパティ>
	<!-- Web インターフェースを通じて HDFS を操作する権限 -->
  <プロパティ>
    <name>hadoop.http.staticuser.user</name>
    <値>ルート</値>
  </プロパティ>
    <!-- Hive 互換性の設定は後で -->
  <プロパティ>
    <name>hadoop.proxyuser.root.hosts</name>
    <値>*</値>
  </プロパティ>
  <プロパティ>
    <name>hadoop.proxyuser.root.groups</name>
    <値>*</値>
    </プロパティ>
</構成>

<構成>
  <プロパティ>
    <name>dfs.replication</name>
    <値>1</値>
  </プロパティ>
  <プロパティ>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Tencent Cloud イントラネット IP アドレス: 9868</value>
  </プロパティ>
</構成>

JAVA_HOME=/home/centos/module/jdk1.8.0_212 をエクスポートします。

<構成>

  <!-- Reducer がデータを取得します -->
  <プロパティ>
    <name>yarn.nodemanager.aux-services</name>
    <値>mapreduce_shuffle</値>
  </プロパティ>
  <!-- YARN の ResourceManager のアドレスを指定します -->
  <プロパティ>
    <name>yarn.resourcemanager.ホスト名</name>
    <value>マスター</value>
  </プロパティ>
<!-- 環境変数は、NodeManager のコンテナ環境プロパティから継承されます。MapReduce アプリケーションの場合、デフォルト値に加えて hadoop op_mapred_home を追加する必要があります。属性値は以下の通りです -->
  <プロパティ>
    <name>yarn.nodemanager.env-whitelist</name>
 <値>JAVA_HOME、HADOOP_COMMON_HOME、HADOOP_HDFS_HOME、HADOOP_CONF_DIR、CLASSPATH_PREPEND_DISTCACHE、HADOOP_YARN_HOME、HADOOP_MAPRED_HOME</値>
    </プロパティ>
    <!-- プログラム実行時に Yarn が仮想メモリ制限を超え、コンテナが強制終了される問題を解決します -->
  <プロパティ>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <値>偽</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <値>偽</値>
  </プロパティ>
    <!-- Hive 互換性の設定は後で -->
  <プロパティ>
    <name>yarn.scheduler.最小割り当て MB</name>
    <値>512</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <値>4096</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <値>4096</値>
    </プロパティ>
  
  <!-- ログ集約を有効にする-->
  <プロパティ>
    <name>yarn.log-aggregation-enable</name>
    <値>真</値>
  </プロパティ>
  <!-- アクセス パス -->
  <プロパティ> 
    <name>yarn.log.server.url</name> 
    <値>http://172.17.0.13:19888/jobhistory/logs</値>
  </プロパティ>
  <!-- 7 日間保存 -->
  <プロパティ>
    <name>yarn.log-aggregation.retain-seconds</name>
    <値>604800</値>
  </プロパティ>
</構成>

<!-- 履歴サーバーのアドレス-->
<プロパティ>
  <name>mapreduce.jobhistory.address</name>
  <value>Tencent Cloud イントラネット IP:10020</value>
</プロパティ>

<!-- 履歴サーバーの Web アドレス -->
<プロパティ>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>Tencent Cloud イントラネット IP:19888</value>
</プロパティ>

$ hdfsネームノード -フォーマット

$ start-dfs.sh

[ルート@VM_0_13_centos hadoop]# jps
20032 日本
30900 データノード
31355 セカンダリネームノード
30559 ネームノード

$ vim マイクラスタ

#!/bin/bash
ケース$1
"始める"）
#dfs 糸の歴史
dfs.shを起動します
スタートヤーン
mapred --daemon 履歴サーバを起動する
;;
"停止"）
# dfs 糸の歴史
停止-dfs.sh
停止ヤーン.sh
mapred --daemon 履歴サーバを停止する
;;
*)
echo "args がエラーです! start または stop を入力してください"
;;
エサック

$ chmod u+x mycluster

$ mycluster を起動します

$ jps
23680 ノードマネージャー
24129 ジョブ履歴サーバー
22417 データノード
24420 jps
22023 ネームノード
23384 リソースマネージャー
22891 セカンダリネームノード

$ mycluster を停止する

$ vim /home/centos/module/hadoop-3.1.3/share/hadoop/hdfs/webapps/static/dfs-dust.js

新しい Date(Number(v)).toLocaleString() を返します。

$ mycluster を起動します

$ mkdir temdatas

$ vim テキスト.txt

$ hdfs dfs -put text.txt /

$ hdfs dfs -get /text.txt ./text1.txt

#または、vimで書いて自分でアップロードすることもできます $ hdfs dfs -put wordcount.txt /input

$ hadoop jar /home/centos/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar ワードカウント /input /output

# hdfs ファイル [root@master mydata] をプルします # hdfs dfs -get /output ./
# 結果を表示 [root@master output]# cat part-r-00000 
2つ
b3 3 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 30 31 32 33 34 35 36 37 38 39 49 40 51 42 43 52 44 53 46 54 55 67 78 89 90
2 2ページ
1 d
1 1
1 1