CentOS 6.8 での Hadoop 3.1.1 完全分散インストール ガイド (推奨)

CentOS 6.8 での Hadoop 3.1.1 完全分散インストール ガイド (推奨)

上記:

このドキュメントは、3 台の仮想マシンが相互に ping を実行できること、ファイアウォールがオフになっていること、hosts ファイルが変更されていること、SSH パスワードなしのログイン、ホスト名の変更などが行われていることを前提としています。

1つ。受信ファイル

1. インストールディレクトリを作成する

mkdir /usr/local/soft

2. xftpを開き、対応するディレクトリを見つけて、必要なインストールパッケージをそこに渡します。

インストールパッケージを表示します: cd /usr/local/soft

二。 JAVAをインストールする

1. JDKがインストールされているかどうかを確認します: java -version

2. インストールされていない場合は、Javaインストールパッケージを解凍します: tar -zxvf jdk-8u181-linux-x64.tar.gz

(各人のインストールパッケージは異なる場合がありますので、ご自身で参照してください)

3. jdkの名前を変更し、現在の場所を確認します: mv jdk1.8.0_181 java

4. jdk環境を設定します: vim /etc/profile.d/jdk.sh

JAVA_HOME=/usr/local/soft/java をエクスポートします。
エクスポート PATH=$PATH:$JAVA_HOME/bin
エクスポート CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

5. 環境変数を更新して検証する: source /etc/profile

三つ。 Hadoopをインストールする

1. hadoopインストールパッケージを解凍します: tar -zxvf hadoop-3.1.1.tar.gz

2. 確認して名前を変更します: mv hadoop-3.1.1 hadoop

3. Hadoop設定ファイルを設定する

3.1 core-site.xml設定ファイルを変更する: vim hadoop/etc/hadoop/core-site.xml

<プロパティ>

<name>fs.defaultFS</name>

<値>hdfs://master:9000</値>

</プロパティ>

<プロパティ>

<name>hadoop.tmp.dir</name>

<値>ファイル:/usr/local/soft/hadoop/tmp</値>

<description>他の一時ディレクトリのベースです。</description>

</プロパティ>

<プロパティ>

 <name>fs.trash.interval</name>

 <値>1440</値>

</プロパティ>

3.2 hdfs-site.xml 設定ファイルを変更する: vim hadoop/etc/hadoop/hdfs-site.xml

<プロパティ>
<name>dfs.namenode.secondary.http-address</name>
<値>ノード1:50090</値>
</プロパティ>
<プロパティ>
<name>dfs.replication</name>
<値>3</値>
</プロパティ>
<プロパティ>
<name>dfs.namenode.name.dir</name>
<値>ファイル:/usr/local/soft/hadoop/tmp/dfs/name</値>
</プロパティ>
<プロパティ>
<name>dfs.datanode.data.dir</name>
<値>ファイル:/usr/local/soft/hadoop/tmp/dfs/data</値>
</プロパティ>

3.3 ワーカー設定ファイルを変更する: vim hadoop/etc/hadoop/workers

3.4 hadoop-env.shファイルを変更する: vim hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME=/usr/local/soft/java をエクスポートします。

3.5 yarn-site.xml ファイルを変更します: vim hadoop/etc/hadoop/yarn-site.xml

<プロパティ>
<name>yarn.resourcemanager.ホスト名</name>
<value>マスター</value>
</プロパティ>
<プロパティ>
<name>yarn.nodemanager.aux-services</name>
<値>mapreduce_shuffle</値>
</プロパティ>

3.6 設定ファイルを更新する: source hadoop/etc/hadoop/hadoop-env.sh

3.7 start-dfs.sh 設定ファイルを変更する: im hadoop/sbin/start-dfs.sh

エクスポート HDFS_NAMENODE_SECURE_USER=root
エクスポート HDFS_DATANODE_SECURE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.8 stop-dfs.sh 設定ファイルを変更する: vim hadoop/sbin/stop-dfs.sh

エクスポート HDFS_NAMENODE_SECURE_USER=root
エクスポート HDFS_DATANODE_SECURE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.9 start-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/start-yarn.sh

YARN_RESOURCEMANAGER_USER=root をエクスポートする
HADOOP_SECURE_DN_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.10 stop-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root をエクスポートする
HADOOP_SECURE_DN_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.11 警告情報の出力をキャンセルする: vim hadoop/etc/hadoop/log4j.properties

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=エラー

4つ。構成情報を同期します:

1. ノード1を同期する: scp -r soft root@node1:/usr/local/

node2 を同期します: scp -r soft root@node2:/usr/local/

2. すべての転送が完了するまで待ち、プロファイルファイルを設定します: vim /etc/profile.d/hadoop.sh

#HADOOPを設定する
HADOOP_HOME=/usr/local/soft/hadoop をエクスポートします。
HADOOP_INSTALL=$HADOOP_HOME をエクスポートします
HADOOP_MAPRED_HOME=$HADOOP_HOMEをエクスポートします
HADOOP_COMMON_HOME=$HADOOP_HOMEをエクスポートする
HADOOP_HDFS_HOMEをエクスポートする=$HADOOP_HOME
YARN_HOME=$HADOOP_HOMEをエクスポートする
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native をエクスポートします。
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3. 転送を続行する

node1 の場合: scp /etc/profile.d/jdk.sh root@node1:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node1:/etc/profile.d/

node2 の場合: scp /etc/profile.d/jdk.sh root@node2:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node2:/etc/profile.d/

4. 3つの仮想マシンすべてで実行する

ソース /etc/profile

ソース /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh

(1つだけ表示)

5. HDFS ファイルシステムをフォーマットします: hdfs namenode -format (マスターのみ)

五。クラスターを起動する

cd /usr/local/soft/hadoop/sbin/

./start-all.sh

起動後、3つの仮想マシンにそれぞれjpsと入力します。

結果は次のとおりです。

Windows での Google ブラウザ テスト:

http://192.168.204.120:8088/cluster (マスターの IP アドレスを入力してください)

http://192.168.204.120:9870

Hadoopテスト(MapReduce実行計算テスト):

hadoop jar /usr/local/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar ワードカウント /input /output

実行結果を表示します:

以上でhadoopの設定は完了です。

要約する

上記は、編集者が紹介した Centos6.8 での hadoop3.1.1 の完全な分散インストール ガイドです。皆様のお役に立てれば幸いです。ご質問がある場合は、メッセージを残してください。編集者がすぐに返信します。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。
この記事が役に立ったと思われた方は、ぜひ転載していただき、出典を明記してください。ありがとうございます!

以下もご興味があるかもしれません:
  • CentOSをベースとしたHadoop分散環境の構築と開発
  • CentOS 6.5 への hadoop 1.2.1 のインストール チュートリアル 詳細解説 [プロテスト版]
  • CentOS で Hadoop を構築する詳細な手順
  • Hadoop2.X/YARN環境構築 - CentOS7.0 JDK設定
  • Hadoop2.X/YARN環境構築 - CentOS7.0 システム構成

<<:  JavaScript は自由に移動するウィンドウのマウス制御を実装します

>>:  データベースの冗長フィールドを合理的に使用する方法

推薦する

mysql 複数テーブル接続削除関数の削除

単一のテーブルを削除する: tableName から columnName = value を削除し...

MySQL でよく使用される SQL 文を表示する (詳細な説明)

#mysql -uroot -pパスワードを入力してくださいmysql> show full...

MySQL の異なるテーブル間でフィールドをコピーする

場合によっては、フィールドから別の新しいフィールドにデータの列全体をコピーする必要があります。これは...

vsftpdで仮想ユーザーログインを設定する方法

yum で vsftpd をインストールします [root@localhost など]# yum -...

Dockerでnginxを実行し、ローカルディレクトリをイメージにマウントする方法

1 hupからイメージを取得する docker プル nginx 2 マウントするディレクトリを作成...

コード例を通してページ置換アルゴリズムの原理を理解する

ページ置換アルゴリズム: 本質は、限られたメモリをワイヤレス プロセスに対応できるようにすることです...

Vue.js での $emit の使用に関する詳細な説明

1. 親コンポーネントは props を使用して子コンポーネントにデータを渡すことができます。 2....

Vue の大容量ファイルアップロードとブレークポイント再開アップロードの実装

目次ファイルアップロードのための2つのソリューションファイルストリーム(フォームデータ)に基づくクラ...

MySQLデータベースのスケジュールバックアップを実装する方法

1. シェルスクリプトを作成する vim バックアップdb.sh 次のようにスクリプトを作成します。...

Reactスロットの使い方

目次必要コアアイデアReactでスロットを実装する2つの方法必要コンポーネントを自分で書きました。コ...

HTML マーキー文字フラグメントのスクロール

その特性は次のとおりです。方向アクティブな字幕のスクロール方向を設定するコードは次のとおりです。 &...

CSSはグラデーションを巧みに利用して高度な背景光アニメーションを実現します

成し遂げるこの効果は CSS を使用して完全に再現することは困難です。 CSS でシミュレートされた...

Nginx を使用して DoNetCore を Alibaba Cloud にデプロイする方法

基本的な環境設定まずはご自身でドメイン名とサーバーを購入してくださいクラウドサーバーECSに基づいて...

Linuxでkv設定ファイルを変更するにはsedコマンドを使用します

sed は Unix の文字ストリーム エディタ、つまりストリーム エディタです。行指向であり、行単...

MySQLテーブルをコピーする方法

目次1.mysqlダンプ実行プロセス:特徴2. CSVファイルをエクスポートする(最も柔軟性が高い)...