Linux7 ベースの Hadoop のインストールと構成の詳細なグラフィック説明

上記のように材料を準備します（ps: hadoop-3.1.2-srcはhadoop-3.1.2に変更されます）

ソースファイルの src はどういう意味ですか? とにかく変更しました。下のスクリーンショットに注意してください。間違いがあれば、時間があるときに修正します。

Centos7をインストール

デスクトップを右クリックしてターミナルを開きます - ifconfigと入力します - ens33のIPアドレスを確認します - 覚えておいてxftp6を開きます

新規をクリック

複数の材料を選択し、右クリックして転送します。イントラネットの転送速度は速くもなく遅くもありません。

完璧です。

hadoopインストールパッケージを解凍します。tar -zxvf hadoop-3.1.2-src.tar.gz

Centos7を再インストールし、解凍時にフォルダに分割しました

上記のように書く

xshellを開いて新規作成

ホストIPを入力し、ユーザー認証にユーザー名とパスワードを入力してください

はい、それです。3台のマシンの名前を変更する必要があります。

時間同期のタイムゾーンは一貫しています。ホスト時間が正確に設定されるためには、各マシンのタイムゾーンが一貫している必要があります。実験では、ネットワーク時間を同期する必要があるため、最初に同じタイムゾーンを選択する必要があります。まずタイムゾーンが同じであることを確認してください。そうでないと、同期後にタイムゾーンに違いが生じます。 dateコマンドを使用してマシンの時刻を確認できます。タイムゾーンを選択してください: tzselect

1. ファイアウォールをオフにする

ステータスが dead の場合、ファイアウォールは閉じられます。 ファイアウォールを閉じる: systemctl stop firewalld ステータスを表示する: systemctl status firewalld

2. ホストファイルの設定（3台のマシン）各ノードのIPアドレスを以下のように入力します。

3. マスターは NTP サーバーとして機能し、NTP 構成ファイルを変更します。 (マスター上で実行)

vi /etc/ntp.conf
	サーバー 127.127.1.0 # ローカルクロック
	fudge 127.127.1.0 stratum 10 #stratumを他の値に設定することも可能です。範囲は0〜15です。 

	ntp サービスを再起動します。
	/bin/systemctl ntpd.service を再起動します

	他のマシンが同期する（スレーブ1、スレーブ2）
	約 5 分間待ってから、他のマシンのマスター サーバーの時間を同期します。
	ntpdate マスター

	構成プラットフォームに外部ネットワーク接続がない場合は、次のコマンドを入力して 3 台のマシンを同じ時刻に設定できます。
	日付 -s 10:00 (時刻) 

ようやく本題に入りましたか? ? ?慌てないで。

1. パスワードなしのSSH

（１）各ノードは公開鍵と秘密鍵を生成する。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (3 台のマシン)
キー生成ディレクトリは、ユーザーのホーム ディレクトリの下の .ssh ディレクトリにあります。表示するには、対応するディレクトリを入力します。
cd .ssh/

(2) id_dsa.pub は公開鍵、id_dsa は秘密鍵です。公開鍵ファイルを authorized_keys ファイルにコピーします。(マスターのみ)

cat id_dsa.pub >> authorized_keys (これは .ssh/ パスで実行されることに注意してください)

ホスト上で自分自身に接続することを、ssh ループバックとも呼びます。
SSH マスター

（3）マスターノードがパスワードなしでSSH経由で2つのスレーブノードにログインできるようにします。 （スレーブでの操作）

この機能を実現するには、マスターが 2 つのスレーブ ノードに正常かつ安全にアクセスできるように、2 つのスレーブ ノードの公開鍵ファイルにマスター ノードの公開鍵情報が含まれている必要があります。
slave1 ノードは scp コマンドを使用してマスター ノードにリモートでログインし、マスターの公開キー ファイルを現在のディレクトリにコピーして、名前を master_das.pub に変更します。このプロセスではパスワードの検証が必要です。

scp master:~/.ssh/id_dsa.pub ./master_das.pub

マスター ノードの公開キー ファイルを authorized_keys ファイルに追加します。

cat master_das.pub >> authorized_keys

(1) 各ノードの公開鍵と秘密鍵を生成します: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (3 台のマシン) 鍵生成ディレクトリは、ユーザーのホーム ディレクトリの下の .ssh ディレクトリにあります。 対応するディレクトリに移動して確認します: cd .ssh/ (2) id_dsa.pub が公開鍵、id_dsa が秘密鍵です。次に、公開鍵ファイルを authorized_keys ファイルにコピーします: (マスターのみ) cat id_dsa.pub >> authorized_keys (操作は .ssh/ パスの下にあることに注意してください) ホスト上の自分自身に接続することを、ssh 内部ループとも呼びます。 SSH マスター

現時点では、

マスターはスレーブ1に接続できるようになりました。

スレーブ 1 ノードが初めて接続されるとき、「はい」で接続を確認する必要があります。つまり、マスター ノードはスレーブ 1 ノードに接続するときに手動で確認する必要があり、自動的に接続することはできません。はいを入力すると、接続が成功し、ログアウトしてマスター ノードに戻ります。

スレーブ2でも同じ操作が行われます

JDKは以前にインストールされていたので、Windows（3台のマシン）で環境変数を設定するのと同じように、環境を直接設定します。

環境変数を変更する: vi /etc/profile
> 次のコンテンツを追加します。
> JAVA_HOME=/usr/java/jdk1.8.0_241 をエクスポートします
> エクスポート CLASSPATH=$JAVA_HOME/lib/export
> PATH=$PATH:$JAVA_HOME/bin
> PATH JAVA_HOME CLASSPATHをエクスポートする

環境変数を有効にするには: source /etc/profile

ちょっとしたトリックSCPを挿入する

scp /etc/profile slave1:/etc/profile ##このようにslave1とslave2に渡すことができます

ついに Hadoop にたどり着いた？ ? ? おめでとうございます、ニン！

環境変数を設定します。
vi /etc/プロファイル
HADOOP_HOME=/usr/hadoop/hadoop-3.1.2 をエクスポートします。
エクスポート CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
PATH=$PATH:$HADOOP_HOME/bin をエクスポートします。

私がよく忘れてしまうステップを大きな声で教えてください！

プロファイルを有効にするには、次のコマンドを使用します: source /etc/profile

ご注意：以下は設定ファイルの内容です。この記事では今のところ内容については説明しませんが、標準の設定ファイルを用意しました。

Hadoop環境設定ファイルhadoop-env.shを編集する

JAVA_HOME=/usr/java/jdk1.8.0_241 をエクスポートします。
このファイルには多くのコメントが含まれます。設定するテンプレートを見つけて、ポンド記号を削除します。

それから、私が怠けてしまう部分があります! ！ ！ ！ ！いくつかの設定ファイルをアップロードしました。このフォルダにコピーできます。上書きするかどうかを尋ねられたら、y と入力します。

core-site.xml yarn-site.xml hdfs-site.xml mapred-site.xml 

また、スレーブファイルを作成し、以下のようにslave1 slave2を追加する必要があります。

マスターファイルもあります

（9）Hadoopを配布する：
scp -r /usr/hadoop ルート@slave1:/usr/
scp -r /usr/hadoop ルート@slave2:/usr/

マスターhadoop namenode -formatでhadoopをフォーマットします。エラーが報告された場合は、次のリンクでエラーに解決策があるかどうかを確認してください。

要約する

以上が編集者が紹介した Linux 7 ベースの Hadoop のインストールと構成の詳細な図解です。皆様のお役に立てれば幸いです。