序文 この記事は主にubantu 16.4 Hadoop完全分散構築に関する関連コンテンツを紹介し、皆さんの参考と学習のために共有します。詳しい紹介を見てみましょう。 仮想マシン 1. 仮想マシンをNATネットワークカードモードでマウントする 2. 使用する複数の仮想マシンのホスト名を変更するのが最善です。静的IP /etc/network/interface、ここに3つのホストs101 s102 s103 ubantuがあります、/etc/hostnameファイルを変更します 3. sshをインストールする 最初のホストでは、s101は公開鍵と秘密鍵を作成します。 id_rsa.pubを他のホストに転送し、.sshディレクトリに置く サーバー経由 クライアント Hadoop/jdkのインストールを開始する 1. Windows 10からUbuntuへのファイルのドラッグを容易にするためにVMツールをインストールする 2. ディレクトリ /soft を作成する 3. グループ chown ubantu:ubantu /soft を変更して、権限によるファイル転送を容易にします。 4. ファイルを /soft に置きます (デスクトップから cp/mv src dst を使用できます) tar -zxvf jdkまたはhadoopは自動的に解凍ディレクトリを作成します。 インストール環境を構成する (/etc/environment) 1. JAVA_HOME=/soft/jdk-...jdkディレクトリを追加します。 2. HADOOP_HOME=/soft/hadoop (Hadoopディレクトリ)を追加します。 3. パスに /soft/jdk-...jdk/bin:/soft/hadoop/bin/:/soft/hadoop/sbin を追加します。 4. java -versionでバージョン番号を確認します。 5.hadoopバージョンにバージョン番号がある成功 4つの主要なHDFSファイルcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xmlの設定を開始します。 コアサイト.xml <構成> <プロパティ> <name>fs.defaultFS</name> <値>hdfs://s101:9000</値> </プロパティ> </構成> 2.hdfs-サイト.xml <構成> <!-- NameNode の構成: --> <プロパティ> <name>dfs.replication</name> <値>2</値> </プロパティ> <プロパティ> <name>dfs.namenode.name.dir</name> <値>ファイル:/data/hdfs/名前</値> </プロパティ> <プロパティ> <name>dfs.datanode.data.dir</name> <値>ファイル:/data/hdfs/data</値> </プロパティ> <プロパティ> <name>dfs.namenode.secondary.http-address</name> <値>s101:50090</値> </プロパティ> <プロパティ> <name>dfs.namenode.http-address</name> <値>s101:50070</値> <説明> dfs ネームノード Web UI がリッスンするアドレスとベース ポート。 ポートが 0 の場合、サーバーは空きポートで起動します。 </説明> </プロパティ> <プロパティ> <name>dfs.namenode.checkpoint.dir</name> <値>ファイル:/data/hdfs/checkpoint</値> </プロパティ> <プロパティ> <name>dfs.namenode.checkpoint.edits.dir</name> <値>ファイル:/data/hdfs/edits</値> </プロパティ> </構成> 3. mapred-site.xml <構成> <プロパティ> <name>mapreduce.framework.name</name> <value>糸</value> </プロパティ> </構成> 4.yarn-site.xml <構成> <!-- サイト固有の YARN 構成プロパティ --> <プロパティ> <name>yarn.nodemanager.aux-services</name> <値>mapreduce_shuffle</値> </プロパティ> <プロパティ> <name>yarn.resourcemanager.ホスト名</name> <値>s101</値> </プロパティ> </構成> これで戦いの半分は終わった。 。 。 。 。 。 。 。 。 。 。 。 。 。 フォルダを作成する mkdir /data/hdfs/tmp mkdir /data/hdfs/var mkdir /data/hdfs/logs mkdir /data/hdfs/dfs mkdir /data/hdfs/data mkdir /data/hdfs/name mkdir /data/hdfs/チェックポイント mkdir /data/hdfs/edits ディレクトリの権限を変更することを忘れないでください
次に、/softフォルダを他のホストに転送します xsync実行ファイルを作成する
#!/bin/bash pcount=$# if((pcount<1));then 引数なしをエコーします。 出口; フィ $1 を 0 にする fname=`ベース名 $p1` pdir=`cd -P $(dirname $p1);pwd` cuser=`whoami` for((ホスト=102; ホスト<105; ホスト=ホスト+1));do エコー --------s$host-------- rsync -rvl $pdir/$fname $cuser@s$host:$pdir 終わり
他のホストにコマンドを渡すためのxcallを作成する #!/bin/bash pcount=$# if((pcount<1));then 引数なしをエコーします。 出口; フィ エコー --------localhost-------- $@ ((ホスト=102;ホスト<105;ホスト=ホスト+1));を実行する エコー --------$shost-------- ssh s$ホスト$@ 終わり 心配しないでください、もうすぐ終わります。 価格を尋ねるようにワーカーを設定する必要もあります
重要な点に注意する まず
プロセス ウェブサイトへ 本当に泣きたかったの?成功したよ! ! ! 途中で多くの問題がありました 1. rsync権限が不十分: フォルダを削除し、フォルダ権限を変更する chown 2. ログの読み方を学ぶ 要約する 上記はこの記事の全内容です。この記事の内容が皆さんの勉強や仕事に一定の参考学習価値を持つことを願っています。ご質問があれば、メッセージを残してコミュニケーションしてください。123WORDPRESS.COM を応援していただきありがとうございます。 以下もご興味があるかもしれません:
|
>>: 指定フィールドによるMySQLカスタムリストのソートの実装
MySQL で使用される自動インクリメント ID には多くの種類があり、各自動インクリメント ID ...
序文ページの HTML 構造にネストされたボックスが多数含まれている場合、ページに複数の垂直スクロー...
目次1. トリガーソリューション2. パーティションテーブルソリューション3. 一般的な表領域ソリュ...
Linux 仮想マシン: VMware + Ubuntu 16.04.4 Windows ネイティブ...
重要なポイント: 1. CSS3 3Dアニメーションをマスターする2. ページめくり後のページ内容の...
MongoDB は高性能なデータベースですが、使用していくうちにパフォーマンスの問題が発生することが...
目次1. 配列の平坦化(配列の次元削減とも呼ばれる)方法1: 削減メソッドを使用する方法2: スタッ...
Linux に VMWare をインストールするには、公式 Web サイト https://www....
NFS とは何ですか?ネットワークファイルシステムネットワーク上でファイルを保存および整理するための...
MySQL 4.x 以降では、全文検索 MATCH ... AGAINST モード (大文字と小文字...
この記事の例では、検索ボックスでファジークエリを実装するためのNodeの具体的なコードを参考までに共...
準備のメリットPrepare SQL が生成される理由。まず、MySQL サーバー上で SQL を実...
目次MySQL 切り捨ての使用1. 構文を切り捨てる2. Truncateの使用上の注意3. TRU...
この記事では、reduce()、filter()、map()、every()、some()、spre...
mysql の権限とインデックスmysql の最高権限ユーザーは root です。 CREATE U...