Hadoop 3.2.0 クラスターの構築に関する一般的な考慮事項

Hadoop 3.2.0 クラスターの構築に関する一般的な考慮事項

1つのポートの変更

バージョン 3.2.0 では、ネームノード ページ ポートは 9870、データノード管理ポートは 8088 であるため、Web ページにアクセスするにはこれら 2 つのポートを開く必要があります。

しかし、YARN_RESOURCEMANAGER_USER が定義されていません。操作を中止します

hadoop-env.sh では、java-home だけでなく、次のユーザー変数も設定する必要があります。

JAVA_HOME=/usr/local/jdk/jdk1.8.0_191 をエクスポートします。
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.2.0 バージョンの mapred-site.xml ファイル構成に mapreduce.application.classpath 属性を追加する必要があります。

<プロパティ> <名前>mapreduce.application.classpath</名前> <値> /usr/local/hadoop3/etc/hadoop、/usr/local/hadoop3/share/hadoop/common/*、/usr/local/hadoop3/share/hadoop/common/lib/*、/usr/local/hadoop3/share/hadoop/hdfs/*、/usr/local/hadoop3/share/hadoop/hdfs/lib/*、/usr/local/hadoop3/share/hadoop/mapreduce/*、/usr/local/hadoop3/share/hadoop/mapreduce/lib/*、/usr/local/hadoop3/share/hadoop/yarn/*、/usr/local/hadoop3/share/hadoop/yarn/lib/* </値> </プロパティ>

4つのsalaveファイルがworkersファイルにプログラムされており、コンテンツ構成は同じです

5. 起動はエラーなく成功しましたが、最も厄介な問題はライブノードの数が0であることです

解決手順:

まずデータノードのログを確認します。

これが発生した場合は、接続構成に問題があることを意味します。データノードと namnode 間の通信を構成するために使用される core-site.xml 構成を確認してください。

一目でわかる

ここで設定された接続アドレスに問題があります

hdfs は、データノードのアドレスではなく、namnode のアドレスとして設定する必要があります。すべてのノードは同じアドレスを持ちます。設定後、再起動は成功します。

/etc/hots の解決に失敗したという報告もオンラインであります。これも理由の 1 つです。ドメイン名のマッピングを設定するだけです。重要なのは、まずログ分析を見て、何が問題なのかを見つけることです。

最後の成功したページ

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • Tencent Cloud 上で Hadoop 3.x 疑似クラスターを構築する方法を説明します
  • ZooKeeper をベースにした Hadoop 高可用性クラスタの構築のチュートリアル図
  • Hadoop 分散クラスターを構築するための方法と手順
  • Ubuntu DockerでHadoopクラスタ環境を構築する方法
  • Docker を使用した Hadoop および HBase クラスターの構築の詳細な説明
  • Ubuntu版Hadoopクラスタ構築の詳細な説明
  • Dockerを使用してHadoopクラスタ環境をゼロから素早く構築する方法を詳しく説明します
  • Docker を使用して Hadoop 分散クラスターを構築する方法の詳細な説明

<<:  React NativeプロジェクトでLottieアニメーションを使用する方法

>>:  MySQL 8.0.22.0 のダウンロード、インストール、設定方法のグラフィックチュートリアル

推薦する

MySQLデータ内の多数の改行と復帰に対する解決策

目次問題を見つける1. 改行と復帰を削除する方法2. SELECTクエリで「改行と復帰」を無視する方...

MySQL Server 8.0.3 のインストールと設定方法のグラフィックチュートリアル

この文書はMySQL Server 8.0.3のインストールと設定方法を参考のために記録したものです...

Vueのdiffアルゴリズムについての簡単な説明

目次概要バーチャルドム原理実装プロセスパッチ方式sameVnode関数patchVnode関数upd...

ウェブページの画像の回転を実現するjs

この記事では、Webページの画像の回転を実現するためのjsの具体的なコードを参考までに共有します。具...

jQuery はラブエフェクトをクリックする

この記事では、jQueryのクリック時のラブエフェクトの具体的なコードを参考までに共有します。具体的...

Linux 最速のテキスト検索ツール ripgrep (grep の最良の代替)

序文テキスト検索ツールといえば、Linux で最も便利でよく使われるツールの 1 つである grep...

1 つの記事で Nginx の現在の制限を理解する (簡単な実装)

Nginx は現在、最も人気のあるロード バランサーの 1 つです。インターネット トラフィックの...

MySQLクエリ構文の概要

序文:この記事では主に、MySQL の where、group by、order by、limit、...

MySQL ルートパスワードをリセットする方法

目次1. ルートパスワードを忘れてしまい、データベースにアクセスできない: DBA にとって、スーパ...

PythonはデータベースMySQLの解凍バージョンのインストール構成に接続し、問題が発生しました

導入今日は Python でデータベースに接続する方法を学んだので、MySQL データベースをインス...

nginx のフロントエンドとバックエンドに同じドメイン名を設定する方法

この記事では、主にnginxのフロントエンドとバックエンドに同じドメイン名を設定する方法を紹介し、皆...

Vueモバイル端末の適応化問題の詳細説明

1. vue uiでプロジェクトを作成する 2. 基本設定項目を選択する 3. プロジェクトを実行す...

React 手書きタブ切り替え問題

親ファイル React をインポートし、{useState} を 'react' か...

Nginx の書き換え正規マッチング書き換え方法の例

Nginx の書き換え機能は、リダイレクトと同様に、URL アドレスを一時的または永続的に新しい場所...