Docker を使用した Hadoop クラスターのデプロイに関する詳細なチュートリアル

yumアップデート

yum インストール -y yum-utils デバイスマッパー永続データ lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum インストール -y docker-ce
 
systemctl ドッカーを起動する

ドッカー -v

docker プル CentOS

vi Dockerファイル

Centosより
メンテナー mwf

yum install -y openssh-server sudoを実行します。
sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config を実行します。
yum install -y openssh-clientsを実行します。

実行 echo "root:qwe123" | chpasswd
実行 echo "root ALL=(ALL) ALL" >> /etc/sudoers
ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key を実行します。
ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key を実行します。

実行 mkdir /var/run/sshd
エクスポーズ22
コマンド ["/usr/sbin/sshd", "-D"]

centos7-ssh を実行します。

vi Dockerファイル

Centos7-sshから
jdk-8u202-linux-x64.tar.gz /usr/local/を追加します。
実行 mv /usr/local/jdk1.8.0_202 /usr/local/jdk1.8
環境変数 JAVA_HOME /usr/local/jdk1.8
環境変数 PATH $JAVA_HOME/bin:$PATH

hadoop-2.7.7.ta​​r.gz /usr/localを追加します
実行 mv /usr/local/hadoop-2.7.7 /usr/local/hadoop
環境変数 HADOOP_HOME /usr/local/hadoop
環境変数 PATH $HADOOP_HOME/bin:$PATH

yum install -y which sudoを実行します

ビルドは -t="hadoop" です。

docker ネットワーク作成 --driver ブリッジ hadoop-br

docker run -itd --network hadoop-br --name hadoop1 -p 50070:50070 -p 8088:8088 hadoop
docker run -itd --network hadoop-br --name hadoop2 hadoop
docker run -itd --network hadoop-br --name hadoop3 hadoop

docker ネットワーク検査 hadoop-br

[
  {
    「名前」: 「hadoop-br」、
    「ID」: 「88b7839f412a140462b87a353769e8091e92b5451c47b5c6e7b44a1879bc7c9a」、
    「コンテナ」: {
"86e52eb15351114d45fdad4462cc2050c05202554849bedb8702822945268631": {
        「名前」: 「hadoop1」、
        "IPv4アドレス": "172.18.0.2/16",
        "IPv6アドレス": ""
      },
      "9baa1ff183f557f180da2b7af8366759a0d70834f43d6b60fba2e64f340e0558": {
        「名前」: 「hadoop2」、
        "IPv4アドレス": "172.18.0.3/16",
        "IPv6アドレス": ""
      }, "e18a3166e965a81d28b4fe5168d1f0c3df1cb9f7e0cbe0673864779b224c8a7f": {
        「名前」: 「hadoop3」、
        "IPv4アドレス": "172.18.0.4/16",
        "IPv6アドレス": ""
      }
    },
  }
]

172.18.0.2 のハドップ1 
172.18.0.3 のHadoop2 
172.18.0.4 のHadoop3

docker exec -it hadoop1 bash
docker exec -it hadoop2 bash
docker exec -it hadoop3 bash

vi /etc/hosts

172.18.0.2 のハドップ1 
172.18.0.3 のHadoop2 
172.18.0.4 のハドップ3

sshキー生成
Enterキーを押します ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
パスワードを入力してください。私のパスワードはqwe123です。
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
パスワードを入力してください。私のパスワードはqwe123です。
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3
パスワードを入力してください。私のパスワードはqwe123です。

pinghadoop1 
pinghadoop2
pinghadoop3
SSH の Hadoop1
ssh hadoop2
SSH Hadoop3 の

docker exec -it hadoop1 bash

mkdir /home/hadoop
mkdir /home/hadoop/tmp /home/hadoop/hdfs_name /home/hadoop/hdfs_data

$HADOOP_HOME/etc/hadoop/ をコピーします。

<プロパティ>
    <name>fs.defaultFS</name>
    <値>hdfs://hadoop1:9000</値>
  </プロパティ>
  <プロパティ>
    <name>hadoop.tmp.dir</name>
    <値>ファイル:/home/hadoop/tmp</値>
  </プロパティ>
  <プロパティ>
    <name>io.file.buffer.size</name>
    <値>131702</値>
  </プロパティ>

 <プロパティ>
    <name>dfs.namenode.name.dir</name>
    <値>ファイル:/home/hadoop/hdfs_name</値>
  </プロパティ>
  <プロパティ>
    <name>dfs.datanode.data.dir</name>
    <値>ファイル:/home/hadoop/hdfs_data</値>
  </プロパティ>
  <プロパティ>
    <name>dfs.replication</name>
    <値>2</値>
  </プロパティ>
  <プロパティ>
    <name>dfs.namenode.secondary.http-address</name>
    <値>hadoop1:9001</値>
  </プロパティ>
  <プロパティ>
    <name>dfs.webhdfs.enabled</name>
    <値>真</値>
  </プロパティ>

 <プロパティ>
    <name>mapreduce.framework.name</name>
    <value>糸</value>
  </プロパティ>
  <プロパティ>
    <name>mapreduce.jobhistory.address</name>
    <値>hadoop1:10020</値>
  </プロパティ>
  <プロパティ>
    <name>mapreduce.jobhistory.webapp.address</name>
    <値>hadoop1:19888</値>
  </プロパティ>

 <プロパティ>
    <name>yarn.nodemanager.aux-services</name>
    <値>mapreduce_shuffle</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <値>org.apache.hadoop.mapred.ShuffleHandler</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.resourcemanager.address</name>
    <値>hadoop1:8032</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.resourcemanager.scheduler.address</name>
    <値>hadoop1:8030</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <値>hadoop1:8031</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.resourcemanager.admin.address</name>
    <値>hadoop1:8033</値>
  </プロパティ>
  <プロパティ>
    <name>yarn.resourcemanager.webapp.address</name>
    <値>hadoop1:8088</値>
  </プロパティ>

ハドゥープ2
ハドゥープ3

scp -r $HADOOP_HOME/hadoop2:/usr/local/
scp -r $HADOOP_HOME/hadoop3:/usr/local/

scp -r /home/hadoop hadoop2:/
scp -r /home/hadoop hadoop3:/

docker exec -it hadoop1 bash
docker exec -it hadoop2 bash
docker exec -it hadoop3 bash

vi ~/.bashrc

PATH=$PATH:$HADOOP_HOME/sbin をエクスポートします

ソース ~/.bashrc

hdfs ネームノード -フォーマット

すべて開始.sh

#ハドプ1
1748年
490 ネームノード
846 リソースマネージャー
686 セカンダリネームノード

#ハドップ2
400 データノード
721 日本
509 ノードマネージャー

#ハドプ3
425 ノードマネージャー
316 データノード
591 日本

hdfs dfs -mkdir /mwf

エコー hello > a.txt
hdfs dfs -put a.txt /mwf

hdfs dfs -ls /mwf

1 件のアイテムが見つかりました
drwxr-xr-x - ルート スーパーグループ 0 2020-09-04 11:14 /mwf