VMware + Ubuntu18.04 による Hadoop クラスタ環境の構築に関するグラフィック チュートリアル

sudo useradd -m hadoop -s /bin/bash

sudo パスワード hadoop

sudo adduser hadoop sudo

スハドゥープ

sudo apt-getアップデート

sudo apt-get で openssh-server をインストールします

ssh ローカルホスト
出口 
cd ~/.ssh/ 
ssh-keygen -t rsa #Enter キーを押し続けます cat ./id_rsa.pub >> ./authorized_keys

ssh ローカルホスト
出口 
cd ~/.ssh/ 
ssh-keygen -t rsa #Enter キーを押し続けます cat ./id_rsa.pub >> ./authorized_keys

sudo apt-get で default-jre と default-jdk をインストールします

vim ~/.bashrc

JAVA_HOME=/usr/lib/jvm/default-java をエクスポートします。

ソース ~/.bashrc

java バージョン

sudo vim /etc/ホスト名

リブート

ifconfig -a

sudo apt インストール net-tools

sudo vim /etc/hosts

cd ~/.ssh 
rm ./id_rsa* # 以前に生成された公開鍵を削除します（ある場合）
ssh-keygen -t rsa # Enter キーを押し続けます cat ./id_rsa.pub >> ./authorized_keys
scp ~/.ssh/id_rsa.pub hadoop@node1:/home/hadoop/
scp ~/.ssh/id_rsa.pub hadoop@node2:/home/hadoop/ 

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub # 使用後は削除してください

ssh ノード1
出口
ssh ノード2
出口

cd /home/hadoop
sudo tar -zxf hadoop-3.2.1.tar.gz -C /usr/local #解凍 cd /usr/local/
sudo mv ./hadoop-3.2.1/ ./hadoop # フォルダ名をhadoopに変更します
sudo chown -R hadoop ./hadoop # ファイルの権限を変更する

cd /usr/local/hadoop
./bin/hadoop バージョン

vim ~/.bashrc

HADOOP_HOME=/usr/local/hadoop をエクスポートします。
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

ソース ~/.bashrc

cd /usr/local/hadoop
mkdir dfs
cd dfs
mkdir 名前 データ tmp
cd /usr/local/hadoop
mkdir tmp

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

JAVA_HOME=/usr/lib/jvm/default-java をエクスポートします。

cd /usr/local/hadoop/etc/hadoop

vimワーカー

ノード1
ノード2

vim コアサイト.xml

<構成>
 <プロパティ>
 <name>fs.default.name</name>
 <値>hdfs://マスター:9000</値>
 </プロパティ>
 
 <プロパティ>
 <name>hadoop.tmp.dir</name>
 <値>/usr/local/hadoop/tmp</値>
 </プロパティ>
</構成>

vim hdfs-site.xml

<構成>
 <プロパティ>
 <name>dfs.namenode.secondary.http-address</name>
 <value>マスター:9001</value>
 </プロパティ>
 
 <プロパティ>
 <name>dfs.namenode.name.dir</name>
 <値>ファイル:/usr/local/hadoop/dfs/name</値>
 </プロパティ>
 
 <プロパティ>
 <name>dfs.datanode.data.dir</name>
 <値>ファイル:/usr/local/hadoop/dfs/data</値>
 </プロパティ>
 
 <プロパティ>
 <name>dfs.replication</name>
 <値>2</値>
 </プロパティ>
</構成>

vim mapred-site.xml

<構成>
 <プロパティ> 
 <name>mapreduce.framework.name</name>
 <value>糸</value>
 </プロパティ>
</構成>

vim 糸サイト.xml

<構成>
 <プロパティ>
 <name>yarn.resourcemanager.ホスト名</name>
 <value>マスター</value>
 </プロパティ>
 
 <プロパティ>
 <name>yarn.nodemanager.aux-services</name>
 <値>mapreduce_shuffle</値> 
 </プロパティ>
 
 <プロパティ>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <値>偽</値>
 </プロパティ>
</構成>

/usr/local に移動します
tar -zcf ~/hadoop.master.tar.gz ./hadoop #圧縮 cd ~

scp ./hadoop.master.tar.gz node1:/home/hadoop

scp ./hadoop.master.tar.gz node2:/home/hadoop

sudo rm -r /usr/local/hadoop # 古いものを削除します（存在する場合）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local #解凍 sudo chown -R hadoop /usr/local/hadoop #権限の変更

hdfs ネームノード -フォーマット

#上記のテキストを参照してください。直接コピーしないでください。rm -rf $HADOOP_HOME/dfs/data/*
rm -rf $HADOOP_HOME/dfs/名前/*

すべて開始.sh
mr-jobhistory-daemon.sh 履歴サーバーを起動します

jps

すべて停止.sh
mr-jobhistory-daemon.sh 履歴サーバーを停止します