Linux で Hadoop クラスターをインストールするための詳細な手順

#ハドゥープ
HADOOP_HOME=/usr/hadoop/hadoop-2.6.0 をエクスポートします。
エクスポート CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
PATH=$PATH:$HADOOP_HOME/bin をエクスポートします。 

ソース /etc/profile 

/usr/hadoop/hadoop-2.6.0/etc/hadoop をコピーします。 

JAVA_HOME=/usr/java/jdk1.8.0_181 をエクスポートします。 

<構成>
<プロパティ>
        <name>hadoop.tmp.dir</name>
        <値>ファイル:/root/hadoop/tmp</値>
</プロパティ>
<!--ポート番号 9000-->
<プロパティ>
        <name>fs.default.name</name>
        <値>hdfs://z1:9000</値>
</プロパティ>
<!--数分でゴミ箱のメカニズムをオンにします-->
<プロパティ>
    <name>fs.trash.insterval</name>
    <値>10080</値>
</プロパティ>
<!-- バッファ サイズ、実際の作業はサーバーのパフォーマンスに依存します -->
<プロパティ>
    <name>io.file.buffer.sizei</name>
    <値>4096</値>
</プロパティ>
</構成>
                                                                                                                                                                  39,9 下

cp mapred-site.xml.テンプレート mapred-site.xml
vim mapred-site.xml

<構成>
<プロパティ>
<!--yarn 上で実行するように Mapreduce を指定します-->
   <name>mapreduce.framework.name</name>
   <value>糸</value>
 </プロパティ>
<!--MapReduce の小規模タスク モードを開始します-->
<プロパティ>
      <name>mapred.job.ubertask.enable</name>
      <値>真</値>
</プロパティ>
<プロパティ>
      <name>mapred.job.tracker</name>
      <値>z1:9001</値>
</プロパティ>
 
<プロパティ>
<name>mapreduce.jobhistory.address</name>
<値>Cマスター:10020</値>
</プロパティ>
</構成> 

vim 糸サイト.xml

<構成>
 
<!-- サイト固有の YARN 構成プロパティ -->
 
<!--yarn マスター ノードの場所を設定します-->
<プロパティ>
        <name>yarn.resourcemanager.ホスト名</name>
        <値>z1</値>
</プロパティ>
<プロパティ>
<!-- mapreduce、shuff1e 実行時にデータを取得する方法。-->
<description>RM 内のアプリケーション マネージャー インターフェイスのアドレス。</description>
     <name>yarn.resourcemanager.address</name>
     <値>z1:8032</値>
</プロパティ>
<プロパティ>
  <name>yarn.resourcemanager.scheduler.address</name>
  <値>z1:8030</値>
</プロパティ>
 
<プロパティ>
  <name>yarn.resourcemanager.webapp.address</name>
  <値>z1:8088</値>
</プロパティ>
 
<プロパティ>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <値>z1:8090</値>
</プロパティ>
<プロパティ>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <値>z1:8031</値>
</プロパティ>
<プロパティ>
  <name>yarn.resourcemanager.admin.address</name>
  <値>z1:8033</値>
</プロパティ>
<property><!-- mapreduce が shuff1e を実行するときにデータを取得する方法 -->
  <name>yarn.nodemanager.aux-services</name>
  <値>mapreduce_shuffle</値>
</プロパティ>
<プロパティ>
<!-- メモリの設定、yarn のメモリ割り当て -->
  <name>yarn.scheduler.maximum-a11ocation-mb</name>
  <値>2024</値>
  <discription>ノードあたりの使用可能なメモリ、単位: M、デフォルト: 8182 MB</discription>
</プロパティ>
<プロパティ>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <値>2.1</値>
</プロパティ>
<プロパティ>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <値>1024</値>
</プロパティ>
<プロパティ>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <値>偽</値>
</プロパティ>
 
<プロパティ>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<値>org.apache.hadoop.mapred.ShuffleHandler</値>
</プロパティ>
 
 
</構成>
                                                    

vim hdfs-site.xml 

<構成>
<プロパティ>
        <name>dfs.namenode.name.dir</name>
        <値>ファイル:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</値>
</プロパティ>
 <プロパティ>
        <name>dfs.datanode.data.dir</name>
        <値>ファイル:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</値>
    </プロパティ>
<プロパティ>
<!--コピー数-->
<name>dfs.replication</name>
<値>3</値>
</プロパティ>
<!--hdfs ファイルの権限を設定する-->
<プロパティ>
<name>dfs.permissions</name>
<値>偽</値>
</プロパティ>
<!-- ファイルスライスのサイズを 128m に設定します -->
<プロパティ>
<name>dfs.bloksize</name>
<値>134217728</値>
</プロパティ>
</構成>

vim スレーブ

scp -r /etc/profile root@z2:/etc/profile #環境変数プロファイル ファイルを z2 ノードに配布します scp -r /etc/profile root@z3:/etc/profile #環境変数プロファイル ファイルを z3 ノードに配布します scp -r /usr/hadoop root@z2:/usr/ #hadoop ファイルを z2 ノードに配布します scp -r /usr/hadoop root@z3:/usr/ #hadoop ファイルを z3 ノードに配布します

ソース /etc/profile

hadoop ネームノード -フォーマット

cd /usr/hadoop/hadoop-2.6.0
sbin/start-all.shはHadoopを起動し、マスターノードでのみ動作します。