序文 この記事は主にubantu 16.4 Hadoop完全分散構築に関する関連コンテンツを紹介し、皆さんの参考と学習のために共有します。詳しい紹介を見てみましょう。 仮想マシン 1. 仮想マシンをNATネットワークカードモードでマウントする 2. 使用する複数の仮想マシンのホスト名を変更するのが最善です。静的IP /etc/network/interface、ここに3つのホストs101 s102 s103 ubantuがあります、/etc/hostnameファイルを変更します 3. sshをインストールする 最初のホストでは、s101は公開鍵と秘密鍵を作成します。 id_rsa.pubを他のホストに転送し、.sshディレクトリに置く サーバー経由 クライアント Hadoop/jdkのインストールを開始する 1. Windows 10からUbuntuへのファイルのドラッグを容易にするためにVMツールをインストールする 2. ディレクトリ /soft を作成する 3. グループ chown ubantu:ubantu /soft を変更して、権限によるファイル転送を容易にします。 4. ファイルを /soft に置きます (デスクトップから cp/mv src dst を使用できます) tar -zxvf jdkまたはhadoopは自動的に解凍ディレクトリを作成します。 インストール環境を構成する (/etc/environment) 1. JAVA_HOME=/soft/jdk-...jdkディレクトリを追加します。 2. HADOOP_HOME=/soft/hadoop (Hadoopディレクトリ)を追加します。 3. パスに /soft/jdk-...jdk/bin:/soft/hadoop/bin/:/soft/hadoop/sbin を追加します。 4. java -versionでバージョン番号を確認します。 5.hadoopバージョンにバージョン番号がある成功 4つの主要なHDFSファイルcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xmlの設定を開始します。 コアサイト.xml <構成> <プロパティ> <name>fs.defaultFS</name> <値>hdfs://s101:9000</値> </プロパティ> </構成> 2.hdfs-サイト.xml <構成> <!-- NameNode の構成: --> <プロパティ> <name>dfs.replication</name> <値>2</値> </プロパティ> <プロパティ> <name>dfs.namenode.name.dir</name> <値>ファイル:/data/hdfs/名前</値> </プロパティ> <プロパティ> <name>dfs.datanode.data.dir</name> <値>ファイル:/data/hdfs/data</値> </プロパティ> <プロパティ> <name>dfs.namenode.secondary.http-address</name> <値>s101:50090</値> </プロパティ> <プロパティ> <name>dfs.namenode.http-address</name> <値>s101:50070</値> <説明> dfs ネームノード Web UI がリッスンするアドレスとベース ポート。 ポートが 0 の場合、サーバーは空きポートで起動します。 </説明> </プロパティ> <プロパティ> <name>dfs.namenode.checkpoint.dir</name> <値>ファイル:/data/hdfs/checkpoint</値> </プロパティ> <プロパティ> <name>dfs.namenode.checkpoint.edits.dir</name> <値>ファイル:/data/hdfs/edits</値> </プロパティ> </構成> 3. mapred-site.xml <構成> <プロパティ> <name>mapreduce.framework.name</name> <value>糸</value> </プロパティ> </構成> 4.yarn-site.xml <構成> <!-- サイト固有の YARN 構成プロパティ --> <プロパティ> <name>yarn.nodemanager.aux-services</name> <値>mapreduce_shuffle</値> </プロパティ> <プロパティ> <name>yarn.resourcemanager.ホスト名</name> <値>s101</値> </プロパティ> </構成> これで戦いの半分は終わった。 。 。 。 。 。 。 。 。 。 。 。 。 。 フォルダを作成する mkdir /data/hdfs/tmp mkdir /data/hdfs/var mkdir /data/hdfs/logs mkdir /data/hdfs/dfs mkdir /data/hdfs/data mkdir /data/hdfs/name mkdir /data/hdfs/チェックポイント mkdir /data/hdfs/edits ディレクトリの権限を変更することを忘れないでください
次に、/softフォルダを他のホストに転送します xsync実行ファイルを作成する
#!/bin/bash pcount=$# if((pcount<1));then 引数なしをエコーします。 出口; フィ $1 を 0 にする fname=`ベース名 $p1` pdir=`cd -P $(dirname $p1);pwd` cuser=`whoami` for((ホスト=102; ホスト<105; ホスト=ホスト+1));do エコー --------s$host-------- rsync -rvl $pdir/$fname $cuser@s$host:$pdir 終わり
他のホストにコマンドを渡すためのxcallを作成する #!/bin/bash pcount=$# if((pcount<1));then 引数なしをエコーします。 出口; フィ エコー --------localhost-------- $@ ((ホスト=102;ホスト<105;ホスト=ホスト+1));を実行する エコー --------$shost-------- ssh s$ホスト$@ 終わり 心配しないでください、もうすぐ終わります。 価格を尋ねるようにワーカーを設定する必要もあります
重要な点に注意する まず
プロセス ウェブサイトへ 本当に泣きたかったの?成功したよ! ! ! 途中で多くの問題がありました 1. rsync権限が不十分: フォルダを削除し、フォルダ権限を変更する chown 2. ログの読み方を学ぶ 要約する 上記はこの記事の全内容です。この記事の内容が皆さんの勉強や仕事に一定の参考学習価値を持つことを願っています。ご質問があれば、メッセージを残してコミュニケーションしてください。123WORDPRESS.COM を応援していただきありがとうございます。 以下もご興味があるかもしれません:
|
>>: 指定フィールドによるMySQLカスタムリストのソートの実装
目次序文yumソース、epelソースを設定するCephソースの設定Cephとそのコンポーネントをイン...
目次1. インストール2. vue2でEchartsを使用するmain.jsファイル内コンテナが与え...
1. Linuxのインストール(rootユーザー操作) 1. vncserver をインストールしま...
なぜ高さを設定できるのでしょうか。<h1 /> などの要素とは異なり、「セミインライン」...
この記事では、ボタン切り替え画像を実現するためのVueの具体的なコードを例として紹介します。具体的な...
目次1. 制約の概念と分類2. 5つの制約の追加と削除2.1 制約を追加する6つの方法2.2 制約を...
Linux で Go 環境を構築するのは非常に簡単です。 1. go1.2.1.linux-386....
解決策1完全にアンインストールしてすべてのデータを削除します。まず、MySQLに関連するすべてのプロ...
プログラマーが日常的に TypeScript/JavaScript 開発を行う場合、複雑な Java...
transform:scale()比例したズームインまたはズームアウトを実現できます。 transi...
この記事では、MySQL 8.0.24のインストールチュートリアルを参考までに紹介します。具体的な内...
Baidu には slot-scope に関する記事が既にたくさんありますが、以前よく学習しておら...
この記事では、マウスがテーブルの行を通過するときにJavaScriptを使用して色ラベルを表示する方...
この記事では主に、ElementUI テーブルのヘッダー アイコンにフローティング プロンプトを追加...
概要zabbix バージョン 5.0 以降では、zabbix-agent2 という新しい機能が追加さ...