擬似分散グラフィックを実現するための VMware 構成 Hadoop チュートリアル

2. Linuxネットワーク環境を準備する

1.0 VMware ショートカットをクリックし、右クリックしてファイルの場所を開きます -> vmnetcfg.exe をダブルクリック -> VMnet1 ホストのみ -> サブネット IP を変更して、ネットワーク セグメントを 192.168.150.0、サブネット マスクを 255.255.255.0 に設定します -> 適用 -> OK

Windows に戻り、ネットワークと共有センターを開きます -> アダプターの設定を変更します -> VMnet1 を右クリック -> プロパティ -> IPv4 をダブルクリック -> Windows IP: 192.168.150.110、サブネット マスク: 255.255.255.0 を設定します -> OK をクリックします

仮想化ソフトウェアで、[マイ コンピューター] -> 仮想マシンを選択 -> 右クリック -> 設定 -> ネットワーク アダプター -> ホストのみ -> OK

3. ホスト名を設定する

ホスト名を変更する（永続的に変更）
ホストファイルを変更する

4. CentOSでIPを変更する

Linux グラフィカル インターフェイスを介して変更する (強く推奨)

Linux グラフィカル インターフェイスに入る -> 右上隅にある 2 台の小さなコンピューターを右クリック -> [接続の編集] をクリック -> 現在のネットワーク システム eth0 を選択 -> [編集] ボタンをクリック -> [IPv4] を選択 -> [方法として手動を選択] -> [追加] ボタンをクリック -> [IP: 192.168.150.110]、[サブネット マスク: 255.255.255.0]、[ゲートウェイ: 192.168.150.1] を追加 -> [適用]

5. ファイアウォールを完全にオフにする

ファイアウォールの状態を確認する

ファイアウォールを停止する

ファイアウォールを永久にオフにする

6. JDKを解凍する

環境変数を変更してソースする

7. Hadoopを解凍する

8. 設定ファイルの変更 (5)

まず、/cloud/hadoop-2.8.5/etc/hadoop の下にある hadoop-env.sh

約 27 行目を変更します。行番号を確認するには、ファイルを vi し、esc キーを押してコロンを入力し、set nu と入力して Enter キーを押すと、行番号が表示されます。

JAVA_HOME=/usr/java/jdk1.8.0_181 をエクスポートします。 

2番目: core-site.xml

<構成>
		<!-- HDFS ボス (namenode) の通信アドレスを指定します -->
		<プロパティ>
				<name>fs.defaultFS</name>
				<値>hdfs://itcast01:9000</値>
		</プロパティ>
		<!-- 実行時に Hadoop によって生成されるファイルの保存パスを指定します -->
		<プロパティ>
				<name>hadoop.tmp.dir</name>
				<値>/cloud/hadoop-2.8.5/tmp</値>
		</プロパティ>
	</構成> 

3番目: mapred-site.xml.template の名前を変更する必要があります: mv mapred-site.xml.template mapred-site.xml

	<構成>
<!-- フレームワーク MR に YARN を使用するように通知します -->
<プロパティ>
		<name>mapreduce.framework.name</name>
		<value>糸</value>
</プロパティ>
		</構成> 

ここで終了したら、xmlファイルの名前を入力して変更します

mv mapred-site.xml.テンプレート mapred-site.xml

4番目: hdfs-site.xml

	<構成>
<!-- HDFS レプリカの数を設定します -->
<プロパティ>
		<name>dfs.replication</name>
		<値>1</値>
</プロパティ>
		</構成> 

5番目: yarn-site.xml

	<構成>
<!-- リデューサーがデータを取得する方法は mapreduce_shuffle です -->
<プロパティ>
	<name>yarn.nodemanager.aux-services</name>
	<値>mapreduce_shuffle</値>
</プロパティ>
		</構成> 

9. 環境変数にhadoopを追加する

vim /etc/プロファイル

	JAVA_HOME=/usr/java/jdk1.8.0_181 をエクスポートします。
HADOOP_HOME=/cloud/hadoop-2.8.5 をエクスポートします。
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin をエクスポートします。
	
		ソース /etc/profile 

10. 初めて使用するときに HDFS (namenode) をフォーマットする (スクリーンショットを撮り忘れました)

hadoop ネームノード -フォーマット

11. Hadoopを起動する

すべて開始
/cloud/hadoop/sbin/に./start-all.shと入力します。

パスワードを入力し続けると、

12. jpsと入力して、設定が成功したかどうかを確認します。

赤いボックスの中には 6 つのものがあり、どれも欠けてはいけません。そうでない場合は、何かが正しく構成されていません。クラスメートの経験によると、ネットワークが正しく構成されていないか、上記の 5 つの構成ファイルが正しく記述されていないかのどちらかです。見つからない場合は、最も単純で、最も粗雑で、面倒ですが効果的な方法は、マシンを最初からインストールすることです。私は 1 回で成功しました。

Centosでブラウザに入る

ブラウザからcentosのIPポート番号50070を入力すると、次の画像が表示されます。

ブラウザからcentosのIPポート番号8088を入力すると、次の画像が表示され、成功です。

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。