CentOS 6.8 での Hadoop 3.1.1 完全分散インストール ガイド (推奨)

CentOS 6.8 での Hadoop 3.1.1 完全分散インストール ガイド (推奨)

上記:

このドキュメントは、3 台の仮想マシンが相互に ping を実行できること、ファイアウォールがオフになっていること、hosts ファイルが変更されていること、SSH パスワードなしのログイン、ホスト名の変更などが行われていることを前提としています。

1つ。受信ファイル

1. インストールディレクトリを作成する

mkdir /usr/local/soft

2. xftpを開き、対応するディレクトリを見つけて、必要なインストールパッケージをそこに渡します。

インストールパッケージを表示します: cd /usr/local/soft

二。 JAVAをインストールする

1. JDKがインストールされているかどうかを確認します: java -version

2. インストールされていない場合は、Javaインストールパッケージを解凍します: tar -zxvf jdk-8u181-linux-x64.tar.gz

(各人のインストールパッケージは異なる場合がありますので、ご自身で参照してください)

3. jdkの名前を変更し、現在の場所を確認します: mv jdk1.8.0_181 java

4. jdk環境を設定します: vim /etc/profile.d/jdk.sh

JAVA_HOME=/usr/local/soft/java をエクスポートします。
エクスポート PATH=$PATH:$JAVA_HOME/bin
エクスポート CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

5. 環境変数を更新して検証する: source /etc/profile

三つ。 Hadoopをインストールする

1. hadoopインストールパッケージを解凍します: tar -zxvf hadoop-3.1.1.tar.gz

2. 確認して名前を変更します: mv hadoop-3.1.1 hadoop

3. Hadoop設定ファイルを設定する

3.1 core-site.xml設定ファイルを変更する: vim hadoop/etc/hadoop/core-site.xml

<プロパティ>

<name>fs.defaultFS</name>

<値>hdfs://master:9000</値>

</プロパティ>

<プロパティ>

<name>hadoop.tmp.dir</name>

<値>ファイル:/usr/local/soft/hadoop/tmp</値>

<description>他の一時ディレクトリのベースです。</description>

</プロパティ>

<プロパティ>

 <name>fs.trash.interval</name>

 <値>1440</値>

</プロパティ>

3.2 hdfs-site.xml 設定ファイルを変更する: vim hadoop/etc/hadoop/hdfs-site.xml

<プロパティ>
<name>dfs.namenode.secondary.http-address</name>
<値>ノード1:50090</値>
</プロパティ>
<プロパティ>
<name>dfs.replication</name>
<値>3</値>
</プロパティ>
<プロパティ>
<name>dfs.namenode.name.dir</name>
<値>ファイル:/usr/local/soft/hadoop/tmp/dfs/name</値>
</プロパティ>
<プロパティ>
<name>dfs.datanode.data.dir</name>
<値>ファイル:/usr/local/soft/hadoop/tmp/dfs/data</値>
</プロパティ>

3.3 ワーカー設定ファイルを変更する: vim hadoop/etc/hadoop/workers

3.4 hadoop-env.shファイルを変更する: vim hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME=/usr/local/soft/java をエクスポートします。

3.5 yarn-site.xml ファイルを変更します: vim hadoop/etc/hadoop/yarn-site.xml

<プロパティ>
<name>yarn.resourcemanager.ホスト名</name>
<value>マスター</value>
</プロパティ>
<プロパティ>
<name>yarn.nodemanager.aux-services</name>
<値>mapreduce_shuffle</値>
</プロパティ>

3.6 設定ファイルを更新する: source hadoop/etc/hadoop/hadoop-env.sh

3.7 start-dfs.sh 設定ファイルを変更する: im hadoop/sbin/start-dfs.sh

エクスポート HDFS_NAMENODE_SECURE_USER=root
エクスポート HDFS_DATANODE_SECURE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.8 stop-dfs.sh 設定ファイルを変更する: vim hadoop/sbin/stop-dfs.sh

エクスポート HDFS_NAMENODE_SECURE_USER=root
エクスポート HDFS_DATANODE_SECURE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.9 start-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/start-yarn.sh

YARN_RESOURCEMANAGER_USER=root をエクスポートする
HADOOP_SECURE_DN_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.10 stop-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root をエクスポートする
HADOOP_SECURE_DN_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.11 警告情報の出力をキャンセルする: vim hadoop/etc/hadoop/log4j.properties

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=エラー

4つ。構成情報を同期します:

1. ノード1を同期する: scp -r soft root@node1:/usr/local/

node2 を同期します: scp -r soft root@node2:/usr/local/

2. すべての転送が完了するまで待ち、プロファイルファイルを設定します: vim /etc/profile.d/hadoop.sh

#HADOOPを設定する
HADOOP_HOME=/usr/local/soft/hadoop をエクスポートします。
HADOOP_INSTALL=$HADOOP_HOME をエクスポートします
HADOOP_MAPRED_HOME=$HADOOP_HOMEをエクスポートします
HADOOP_COMMON_HOME=$HADOOP_HOMEをエクスポートする
HADOOP_HDFS_HOMEをエクスポートする=$HADOOP_HOME
YARN_HOME=$HADOOP_HOMEをエクスポートする
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native をエクスポートします。
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3. 転送を続行する

node1 の場合: scp /etc/profile.d/jdk.sh root@node1:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node1:/etc/profile.d/

node2 の場合: scp /etc/profile.d/jdk.sh root@node2:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node2:/etc/profile.d/

4. 3つの仮想マシンすべてで実行する

ソース /etc/profile

ソース /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh

(1つだけ表示)

5. HDFS ファイルシステムをフォーマットします: hdfs namenode -format (マスターのみ)

五。クラスターを起動する

cd /usr/local/soft/hadoop/sbin/

./start-all.sh

起動後、3つの仮想マシンにそれぞれjpsと入力します。

結果は次のとおりです。

Windows での Google ブラウザ テスト:

http://192.168.204.120:8088/cluster (マスターの IP アドレスを入力してください)

http://192.168.204.120:9870

Hadoopテスト(MapReduce実行計算テスト):

hadoop jar /usr/local/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar ワードカウント /input /output

実行結果を表示します:

以上でhadoopの設定は完了です。

要約する

上記は、編集者が紹介した Centos6.8 での hadoop3.1.1 の完全な分散インストール ガイドです。皆様のお役に立てれば幸いです。ご質問がある場合は、メッセージを残してください。編集者がすぐに返信します。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。
この記事が役に立ったと思われた方は、ぜひ転載していただき、出典を明記してください。ありがとうございます!

以下もご興味があるかもしれません:
  • CentOSをベースとしたHadoop分散環境の構築と開発
  • CentOS 6.5 への hadoop 1.2.1 のインストール チュートリアル 詳細解説 [プロテスト版]
  • CentOS で Hadoop を構築する詳細な手順
  • Hadoop2.X/YARN環境構築 - CentOS7.0 JDK設定
  • Hadoop2.X/YARN環境構築 - CentOS7.0 システム構成

<<:  JavaScript は自由に移動するウィンドウのマウス制御を実装します

>>:  データベースの冗長フィールドを合理的に使用する方法

推薦する

MySQL 8.0.21 の最新バージョンのダウンロード、インストール、設定に関する詳細なチュートリアル

1. ダウンロード1. インストールパッケージをダウンロードするMySQL ダウンロード パス: h...

Dockerでプロジェクトを実行する方法

1. プロジェクトwarが保存されているディレクトリを入力しますDockerfileを編集する vi...

MySQLのビューの詳細な説明

ビュー: MySQL のビューはテーブルと多くの類似点があります。ビューも複数のフィールドと複数のレ...

Linux TTY/PTS の違いの概要

キーボードで文字を入力すると、対応するプロセスにどのように送信されるのでしょうか? ps や who...

Docker が PostgreSQL を起動するときに複数のデータベースを作成するためのソリューション

1 はじめに「DockerでPostgreSQLを起動する方法といくつかの接続ツールのおすすめ」の記...

CSSレイアウトにおけるフロート属性と位置属性の違い

CSS レイアウト - position プロパティposition 属性は、要素に適用する配置方法...

ビジュアルデザインとインタラクションデザインについて

<br />製品設計プロセス全体において、ビジュアルデザインとインタラクションデザインの...

Mybatisの特殊文字処理の詳細な説明

序文: Mybatis の特殊文字処理、Mybatis の xml ファイル内の特殊文字の処理、ここ...

JavaScript フォーム検証の例

HTML フォームは、名前、電子メール アドレス、場所、年齢などのユーザー情報を収集するためによく使...

SQL ファジー クエリ レポート: ORA-00909: パラメータの数が無効です。解決策

あいまいクエリにOracleデータベースを使用する場合、コンソール エラーは次の図に表示されます。理...

yum の基本的な使い方と例(推奨)

yumコマンドYum (フルネームは Yellow dog Updater, Modified) ...

iframeを透明にするパラメータ

<iframe src="./ads_top_tian.html" all...

MySQL データベース接続例外の概要 (収集する価値あり)

Centos にプロジェクトをデプロイするときに奇妙な問題が見つかりました。データベース接続で例外...

あまり多くのコードを書かずに、ハイパーリンクを使ってシンプルで美しいカスタムチェックボックスを実装できます。

今日ふと、HTML でチェックボックスのスタイルを変更できる範囲が限られていることと、チェックボック...

遭遇したいくつかのブラウザ互換性の問題について簡単に説明します

背景ブラウザの互換性の問題を解決するのは非常に面倒なことです。高度な技術はそれほど必要ありませんが、...