DockerでHadoopを実行しイメージを作成する方法

車輪の再発明として、ここでは再パッケージ化を使用して Docker ベースの Hadoop イメージを生成します。

Hadoop クラスターが依存するソフトウェアは jdk、ssh などです。したがって、これら 2 つの項目と Hadoop 関連パッケージがイメージにパッケージ化されている限り、

設定ファイルの準備

1. Hadoop 関連の設定ファイル: core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop-env.sh
2. ssh設定ファイル: ssh_config
3. Hadoop クラスターの起動ファイル: start-hadoop.sh

画像を作成する

1. インストールの依存関係

apt-get update を実行 && \
 apt-get install -y openssh-server openjdk-8-jdk wget

2. Hadoopパッケージをダウンロードする

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz && \ を実行します。
tar -xzvf hadoop-2.10.0.tar.gz && \
ローカルの hadoop ディレクトリを /usr/local/hadoop ディレクトリにコピーします。
rm hadoop-2.10.0.tar.gz && \
rm /usr/local/hadoop/share/doc -rf

3. 環境変数を設定する

環境変数 JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
環境変数 HADOOP_HOME=/usr/local/hadoop 
環境変数PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

4. パスワード不要のノードログイン用のSSHキーを生成する

ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \ を実行します。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5. Hadoop 関連のディレクトリを作成し、関連する設定ファイルをコピーし、関連するファイルに実行権限を追加し、最後にネームノードノードをフォーマットします。各ノードが起動したら、ssh サービスを開始します。

mkdir -p ~/hdfs/namenode && \ を実行します。 
mkdir -p ~/hdfs/datanode && \
$HADOOP_HOME/logs に移動します。
config/* /tmp/ をコピーします
#ssh、hadoop 設定関連をコピー RUN mv /tmp/ssh_config ~/.ssh/config && \
ディレクトリを /tmp/hadoop-env.sh に変更します。 /usr/local/hadoop/etc/hadoop/hadoop-env.sh も変更します。
hdfs-site.xml をコピーして、ディレクトリを HADOOP_HOME/etc/hadoop/hdfs-site.xml にコピーします。 
mv /tmp/core-site.xml $HADOOP_HOME/etc/hadoop/core-site.xml && \
mv /tmp/mapred-site.xml $HADOOP_HOME/etc/hadoop/mapred-site.xml && \
yarn-site.xml を HADOOP_HOME/etc/hadoop/yarn-site.xml にコピーします。
mv /tmp/slaves $HADOOP_HOME/etc/hadoop/slaves && \
mv /tmp/start-hadoop.sh ~/start-hadoop.sh && \
mv /tmp/run-wordcount.sh ~/run-wordcount.sh
#実行権限を追加 RUN chmod +x ~/start-hadoop.sh && \
chmod +x ~/run-wordcount.sh && \
chmod +x $HADOOP_HOME/sbin/start-dfs.sh && \
chmod +x $HADOOP_HOME/sbin/start-yarn.sh 
#フォーマットネームノード
/usr/local/hadoop/bin/hdfs namenode -formatを実行します。

Docker で Hadoop クラスターを実行する

上記の Dockerfile を通じてイメージが生成されたら、上記で生成されたイメージを使用して Hadoop クラスターを構築できます。ここでは、マスターノードと 2 つのスレーブノードを起動します。

ブリッジネットワークを追加します。

docker ネットワーク作成 --driver=bridge solinx-hadoop

マスターノードを起動します。

docker run -itd --net=solinx-hadoop -p 10070:50070 -p 8088:8088 --name solinx-hadoop-master --hostname solinx-hadoop-master solinx/hadoop:0.1

Slave1 ノードを起動します。

docker run -itd --net=solinx-hadoop --name solinx-hadoop-slave1 --hostname solinx-hadoop-slave1 solinx/hadoop:0.1

Slave2 ノードを起動します。

docker run -itd --net=solinx-hadoop --name solinx-hadoop-slave2 --hostname solinx-hadoop-slave1 solinx/hadoop:0.1

マスターノードに入り、スクリプトを実行して Hadoop クラスターを起動します。

要約する

以上が、Docker での Hadoop の実行とイメージ作成についてご紹介した内容です。お役に立てれば幸いです。ご質問がございましたら、メッセージを残していただければ、すぐに返信させていただきます。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。
この記事が役に立ったと思われた方は、ぜひ転載していただき、出典を明記してください。ありがとうございます!

以下もご興味があるかもしれません: