上記: このドキュメントは、3 台の仮想マシンが相互に ping を実行できること、ファイアウォールがオフになっていること、hosts ファイルが変更されていること、SSH パスワードなしのログイン、ホスト名の変更などが行われていることを前提としています。 1つ。受信ファイル 1. インストールディレクトリを作成する
2. xftpを開き、対応するディレクトリを見つけて、必要なインストールパッケージをそこに渡します。 インストールパッケージを表示します: cd /usr/local/soft 二。 JAVAをインストールする 1. JDKがインストールされているかどうかを確認します: java -version 2. インストールされていない場合は、Javaインストールパッケージを解凍します: tar -zxvf jdk-8u181-linux-x64.tar.gz (各人のインストールパッケージは異なる場合がありますので、ご自身で参照してください) 3. jdkの名前を変更し、現在の場所を確認します: mv jdk1.8.0_181 java 4. jdk環境を設定します: vim /etc/profile.d/jdk.sh JAVA_HOME=/usr/local/soft/java をエクスポートします。 エクスポート PATH=$PATH:$JAVA_HOME/bin エクスポート CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar 5. 環境変数を更新して検証する: source /etc/profile 三つ。 Hadoopをインストールする 1. hadoopインストールパッケージを解凍します: tar -zxvf hadoop-3.1.1.tar.gz 2. 確認して名前を変更します: mv hadoop-3.1.1 hadoop 3. Hadoop設定ファイルを設定する 3.1 core-site.xml設定ファイルを変更する: vim hadoop/etc/hadoop/core-site.xml <プロパティ> <name>fs.defaultFS</name> <値>hdfs://master:9000</値> </プロパティ> <プロパティ> <name>hadoop.tmp.dir</name> <値>ファイル:/usr/local/soft/hadoop/tmp</値> <description>他の一時ディレクトリのベースです。</description> </プロパティ> <プロパティ> <name>fs.trash.interval</name> <値>1440</値> </プロパティ> 3.2 hdfs-site.xml 設定ファイルを変更する: vim hadoop/etc/hadoop/hdfs-site.xml <プロパティ> <name>dfs.namenode.secondary.http-address</name> <値>ノード1:50090</値> </プロパティ> <プロパティ> <name>dfs.replication</name> <値>3</値> </プロパティ> <プロパティ> <name>dfs.namenode.name.dir</name> <値>ファイル:/usr/local/soft/hadoop/tmp/dfs/name</値> </プロパティ> <プロパティ> <name>dfs.datanode.data.dir</name> <値>ファイル:/usr/local/soft/hadoop/tmp/dfs/data</値> </プロパティ> 3.3 ワーカー設定ファイルを変更する: vim hadoop/etc/hadoop/workers 3.4 hadoop-env.shファイルを変更する: vim hadoop/etc/hadoop/hadoop-env.sh JAVA_HOME=/usr/local/soft/java をエクスポートします。 3.5 yarn-site.xml ファイルを変更します: vim hadoop/etc/hadoop/yarn-site.xml <プロパティ> <name>yarn.resourcemanager.ホスト名</name> <value>マスター</value> </プロパティ> <プロパティ> <name>yarn.nodemanager.aux-services</name> <値>mapreduce_shuffle</値> </プロパティ> 3.6 設定ファイルを更新する: source hadoop/etc/hadoop/hadoop-env.sh 3.7 start-dfs.sh 設定ファイルを変更する: im hadoop/sbin/start-dfs.sh エクスポート HDFS_NAMENODE_SECURE_USER=root エクスポート HDFS_DATANODE_SECURE_USER=root エクスポート HDFS_SECONDARYNAMENODE_USER=root エクスポート HDFS_NAMENODE_USER=root エクスポート HDFS_DATANODE_USER=root エクスポート HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root をエクスポートする YARN_NODEMANAGER_USER=root をエクスポートする 3.8 stop-dfs.sh 設定ファイルを変更する: vim hadoop/sbin/stop-dfs.sh エクスポート HDFS_NAMENODE_SECURE_USER=root エクスポート HDFS_DATANODE_SECURE_USER=root エクスポート HDFS_SECONDARYNAMENODE_USER=root エクスポート HDFS_NAMENODE_USER=root エクスポート HDFS_DATANODE_USER=root エクスポート HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root をエクスポートする YARN_NODEMANAGER_USER=root をエクスポートする 3.9 start-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/start-yarn.sh YARN_RESOURCEMANAGER_USER=root をエクスポートする HADOOP_SECURE_DN_USER=root をエクスポートする YARN_NODEMANAGER_USER=root をエクスポートする 3.10 stop-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/stop-yarn.sh YARN_RESOURCEMANAGER_USER=root をエクスポートする HADOOP_SECURE_DN_USER=root をエクスポートする YARN_NODEMANAGER_USER=root をエクスポートする 3.11 警告情報の出力をキャンセルする: vim hadoop/etc/hadoop/log4j.properties log4j.logger.org.apache.hadoop.util.NativeCodeLoader=エラー 4つ。構成情報を同期します: 1. ノード1を同期する: scp -r soft root@node1:/usr/local/ node2 を同期します: scp -r soft root@node2:/usr/local/ 2. すべての転送が完了するまで待ち、プロファイルファイルを設定します: vim /etc/profile.d/hadoop.sh #HADOOPを設定する HADOOP_HOME=/usr/local/soft/hadoop をエクスポートします。 HADOOP_INSTALL=$HADOOP_HOME をエクスポートします HADOOP_MAPRED_HOME=$HADOOP_HOMEをエクスポートします HADOOP_COMMON_HOME=$HADOOP_HOMEをエクスポートする HADOOP_HDFS_HOMEをエクスポートする=$HADOOP_HOME YARN_HOME=$HADOOP_HOMEをエクスポートする HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native をエクスポートします。 エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 3. 転送を続行する node1 の場合: scp /etc/profile.d/jdk.sh root@node1:/etc/profile.d/ scp /etc/profile.d/hadoop.sh root@node1:/etc/profile.d/ node2 の場合: scp /etc/profile.d/jdk.sh root@node2:/etc/profile.d/ scp /etc/profile.d/hadoop.sh root@node2:/etc/profile.d/ 4. 3つの仮想マシンすべてで実行する ソース /etc/profile ソース /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh (1つだけ表示) 5. HDFS ファイルシステムをフォーマットします: hdfs namenode -format (マスターのみ) 五。クラスターを起動する cd /usr/local/soft/hadoop/sbin/ ./start-all.sh 起動後、3つの仮想マシンにそれぞれjpsと入力します。 結果は次のとおりです。 Windows での Google ブラウザ テスト: http://192.168.204.120:8088/cluster (マスターの IP アドレスを入力してください) http://192.168.204.120:9870 Hadoopテスト(MapReduce実行計算テスト): hadoop jar /usr/local/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar ワードカウント /input /output 実行結果を表示します: 以上でhadoopの設定は完了です。 要約する 上記は、編集者が紹介した Centos6.8 での hadoop3.1.1 の完全な分散インストール ガイドです。皆様のお役に立てれば幸いです。ご質問がある場合は、メッセージを残してください。編集者がすぐに返信します。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。 以下もご興味があるかもしれません:
|
<<: JavaScript は自由に移動するウィンドウのマウス制御を実装します
1. ダウンロード1. インストールパッケージをダウンロードするMySQL ダウンロード パス: h...
1. プロジェクトwarが保存されているディレクトリを入力しますDockerfileを編集する vi...
ビュー: MySQL のビューはテーブルと多くの類似点があります。ビューも複数のフィールドと複数のレ...
キーボードで文字を入力すると、対応するプロセスにどのように送信されるのでしょうか? ps や who...
1 はじめに「DockerでPostgreSQLを起動する方法といくつかの接続ツールのおすすめ」の記...
CSS レイアウト - position プロパティposition 属性は、要素に適用する配置方法...
<br />製品設計プロセス全体において、ビジュアルデザインとインタラクションデザインの...
序文: Mybatis の特殊文字処理、Mybatis の xml ファイル内の特殊文字の処理、ここ...
HTML フォームは、名前、電子メール アドレス、場所、年齢などのユーザー情報を収集するためによく使...
あいまいクエリにOracleデータベースを使用する場合、コンソール エラーは次の図に表示されます。理...
yumコマンドYum (フルネームは Yellow dog Updater, Modified) ...
<iframe src="./ads_top_tian.html" all...
Centos にプロジェクトをデプロイするときに奇妙な問題が見つかりました。データベース接続で例外...
今日ふと、HTML でチェックボックスのスタイルを変更できる範囲が限られていることと、チェックボック...
背景ブラウザの互換性の問題を解決するのは非常に面倒なことです。高度な技術はそれほど必要ありませんが、...