Hadoop 3.2.0 クラスターの構築に関する一般的な考慮事項

Hadoop 3.2.0 クラスターの構築に関する一般的な考慮事項

1つのポートの変更

バージョン 3.2.0 では、ネームノード ページ ポートは 9870、データノード管理ポートは 8088 であるため、Web ページにアクセスするにはこれら 2 つのポートを開く必要があります。

しかし、YARN_RESOURCEMANAGER_USER が定義されていません。操作を中止します

hadoop-env.sh では、java-home だけでなく、次のユーザー変数も設定する必要があります。

JAVA_HOME=/usr/local/jdk/jdk1.8.0_191 をエクスポートします。
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.2.0 バージョンの mapred-site.xml ファイル構成に mapreduce.application.classpath 属性を追加する必要があります。

<プロパティ> <名前>mapreduce.application.classpath</名前> <値> /usr/local/hadoop3/etc/hadoop、/usr/local/hadoop3/share/hadoop/common/*、/usr/local/hadoop3/share/hadoop/common/lib/*、/usr/local/hadoop3/share/hadoop/hdfs/*、/usr/local/hadoop3/share/hadoop/hdfs/lib/*、/usr/local/hadoop3/share/hadoop/mapreduce/*、/usr/local/hadoop3/share/hadoop/mapreduce/lib/*、/usr/local/hadoop3/share/hadoop/yarn/*、/usr/local/hadoop3/share/hadoop/yarn/lib/* </値> </プロパティ>

4つのsalaveファイルがworkersファイルにプログラムされており、コンテンツ構成は同じです

5. 起動はエラーなく成功しましたが、最も厄介な問題はライブノードの数が0であることです

解決手順:

まずデータノードのログを確認します。

これが発生した場合は、接続構成に問題があることを意味します。データノードと namnode 間の通信を構成するために使用される core-site.xml 構成を確認してください。

一目でわかる

ここで設定された接続アドレスに問題があります

hdfs は、データノードのアドレスではなく、namnode のアドレスとして設定する必要があります。すべてのノードは同じアドレスを持ちます。設定後、再起動は成功します。

/etc/hots の解決に失敗したという報告もオンラインであります。これも理由の 1 つです。ドメイン名のマッピングを設定するだけです。重要なのは、まずログ分析を見て、何が問題なのかを見つけることです。

最後の成功したページ

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • Tencent Cloud 上で Hadoop 3.x 疑似クラスターを構築する方法を説明します
  • ZooKeeper をベースにした Hadoop 高可用性クラスタの構築のチュートリアル図
  • Hadoop 分散クラスターを構築するための方法と手順
  • Ubuntu DockerでHadoopクラスタ環境を構築する方法
  • Docker を使用した Hadoop および HBase クラスターの構築の詳細な説明
  • Ubuntu版Hadoopクラスタ構築の詳細な説明
  • Dockerを使用してHadoopクラスタ環境をゼロから素早く構築する方法を詳しく説明します
  • Docker を使用して Hadoop 分散クラスターを構築する方法の詳細な説明

<<:  React NativeプロジェクトでLottieアニメーションを使用する方法

>>:  MySQL 8.0.22.0 のダウンロード、インストール、設定方法のグラフィックチュートリアル

推薦する

Ubuntu ターミナル マルチウィンドウ 分割画面 ターミネーター

1. インストールターミネーターの最大の特徴は、1つのウィンドウで複数のターミナルを開くことができる...

VMWare を使用して Windows 上で Linux 環境を構築する手順 (画像とテキスト)

Mac を返却して以来、元のラップトップは使用されていません。このラップトップの構成は非常に良好で...

ウェブページを白黒に変換します(Google、Firefox、IE、その他のブラウザと互換性があります)

CSSファイルに書き込むコードをコピーコードは次のとおりです。 01.html {グレイスケール(1...

MySQLのスイッチングデータ保存ディレクトリの実装方法

MySQLのスイッチングデータ保存ディレクトリの実装方法今日、仕事中に、mysql が保存されている...

ReactでuseStateを使用する詳細な例

使用状態useState は、関数コンポーネント内で呼び出すことで、コンポーネントに内部状態を追加し...

HTMLにビデオを挿入してすべてのブラウザと互換性を持たせる方法

HTML にビデオを挿入するために最もよく使用される方法は 2 つあります。1 つは古い <o...

MYSQL は、指定されたユーザーのランキングとクエリを実装します。ランキング関数 (並列ランキング関数) のサンプルコード

序文この記事は主に、MYSQL でランキングを実現し、指定ユーザーランキング関数 (並列ランキング関...

MySQL が「operate_time」エラーのデフォルト値が無効であると報告する問題を解決する

データベースでcreate tableステートメントを実行する テーブル `sys_acl` を作成...

Google の新しい UI から学べること (画像とテキスト)

2011 年に最も顕著なウェブサイトの変更は、一連の製品に新しいユーザー インターフェースを導入した...

ウェブページの読み込み速度を上げる25の方法とヒント

はじめに<br />誰もが高速インターネット接続にアクセスできるわけではありません。たと...

CSSは親コンテナのdivをimg画像で埋め、コンテナのサイズに適応します。

ページに複数の画像を導入すると、画像のサイズがばらつくことがあります。しかし、それらを一貫したサイズ...

HTML pre タグ内の自動改行

このとき、overflow:auto;(コードがコンテナの境界を超えたときにスクロールボックスを表示...

なぜCSSをヘッドタグに配置する必要があるのか

考えてみてください。なぜcss 、 javascriptのようにbodyタグの末尾ではなく、 hea...

Docker に Kong ゲートウェイをインストールする方法の例

1. Dockerネットワークを作成する docker ネットワーク作成 kong-net 2. デ...

MySQLのデッドロックチェック処理の通常の方法

通常、デッドロックが発生すると、重みが最も小さい接続が強制終了され、ロールバックされます。ただし、最...