Hadoop におけるネームノードとセカンダリネームノードの動作メカニズムの説明

1) プロセス

2) FSImageと編集

NodeNode は HDFS の頭脳です。ファイルシステム全体のディレクトリ ツリーと、ディレクトリ ツリー内のすべてのファイルとディレクトリを管理します。この情報は、2 種類のファイルでファイルシステムに保存されます。1 つは、HDFS メタデータの完全なスナップショットである名前空間イメージ (ファイルシステム イメージ、File System Image、FSImage とも呼ばれます) です。NameNode が起動するたびに、最新の名前空間イメージがデフォルトでロードされます。もう 1 つは、コマンド スペース イメージの編集ログです。

FSImage ファイルは実際にはファイル システム メタデータの永続的なチェックポイントですが、すべての書き込み操作でこのファイルが更新されるわけではありません。FSImage は大きなファイルであるため、書き込み操作が頻繁に実行されると、システムの実行速度が非常に遅くなります。解決策は、NameNode が変更のみを事前にログに書き込むこと、つまり、名前空間イメージの編集ログを書き込むことです。時間が経つにつれて、編集ログはどんどん大きくなります。障害が発生すると、操作をロールバックするのに多くの時間がかかります。そのため、従来のリレーショナル データベースと同様に、FSImage と編集ログを定期的にマージする必要があります。マージ操作をNameNodeで実行すると、NameNodeがクラスターにサービスを提供する際に十分なリソースを提供できなくなる可能性があります。この問題を完全に解決するために、SecondaryNameNodeが誕生しました。

3) フェーズ1: ネームノードの起動

• （1）ネームノードが起動され、初めてフォーマットされると、fsimageファイルとeditsファイルが作成されます。初回起動でない場合は、編集ログとイメージファイルを直接メモリに読み込みます。
• （２）クライアントがメタデータの追加、削除、または変更を要求します。
• （３）ネームノードは操作ログを記録し、ローリングログを更新する。
• （4）ネームノードはメモリ内のデータを追加、削除、変更、照会します。

4) フェーズ2: セカンダリネームノードの作業

• （１）セカンダリネームノードはネームノードにチェックポイントが必要かどうかを問い合わせる。結果を確認するには、直接 namenode に戻します。
• （２）セカンダリネームノードがチェックポイントの実行を要求する。
• （３）セカンダリネームノードは、書き込まれている編集ログのローリングアップデートを実行するようにネームノードに指示します。
• （4）セカンダリネームノードはFSImageファイルを読み込み、編集ログを再生し、それをFSImageにマージし、新しいFSImageファイルを圧縮してディスクに書き込みます。
• （5）fsimageをnamenodeにコピーします。
• （6）Namenodeはfsimageをfsimageに名前変更します。

デフォルトでは、このプロセスは 1 時間に 1 回、または NameNode 編集ログ ファイルがデフォルトのサイズである 64 MB に達したときに実行されます。

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。