Hadoop 2.x と 3.x の 22 ポイントの比較、Hadoop 3.x の 2.x に対する改善点

Hadoop 2.x と 3.x の 22 ポイントの比較、Hadoop 3.x の 2.x に対する改善点

質問ガイド
1. Hadoop 3.x はどのようにして障害を許容するのでしょうか?
2. Hadoop 3.x ではストレージのオーバーヘッドがどの程度削減されましたか?
3.Hadoop 3.x MR API は Hadoop 1.x と互換性がありますか?

1. 目的

この記事では、Hadoop 2.x と Hadoop 3.x の比較について説明します。 Hadoop 3 バージョンにはどのような新機能が追加されましたか? Hadoop 3 で互換性のある Hadoop 2 プログラムは何ですか? Hadoop 2 と Hadoop 3 の違いは何ですか?

2. Hadoop 2.x と Hadoop 3.x の比較

このセクションでは、Hadoop 2.x と Hadoop 3.x の 22 の違いについて説明します。 それではそれぞれについて議論しましょう

2.1ライセンス

Hadoop 2.x - Apache 2.0、オープンソース
Hadoop 3.x - Apache 2.0、オープンソース

2.2 サポートされている最小Javaバージョン

Hadoop 2.x - サポートされている Java の最小バージョンは Java 7 です
Hadoop 3.x - サポートされているJavaの最小バージョンはJava 8です

2.3 フォールトトレランス

Hadoop 2.x - レプリケーションによってフォールト トレランスを処理できます (スペースを無駄にします)。
Hadoop 3.x - イレイジャーコーディングを通じてフォールトトレランスを処理できます。

2.4 データバランス

Hadoop 2.x − データバランスには HDFS バランサーを使用します。
Hadoop 3.x − データ バランシングには、HDFS ディスク バランサー CLI を通じて呼び出されるデータ ノード内バランサーを使用します。

2.5 ストレージスキーム

Hadoop 2.x - 3Xレプリカスキームを使用する
Hadoop 3.x − HDFS での消去コーディングをサポートします。

2.6 ストレージオーバーヘッド

Hadoop 2.x - HDFS ではストレージ スペースに 200% のオーバーヘッドがあります。
Hadoop 3.x - ストレージのオーバーヘッドはわずか 50% です。

2.7 ストレージオーバーヘッドの例

Hadoop 2.x - ブロックが 6 個ある場合、レプリケーション スキームにより、スペースを占有するブロックは 18 個になります。
Hadoop 3.x - ブロックが 6 つある場合、スペースは 9 ブロックで、6 ブロックのスペースと 3 ブロックがパリティに使用されます。

2.8YARNタイムラインサービス

Hadoop 2.x - スケーラビリティの問題がある古いタイムライン サービスを使用します。
Hadoop 3.x - Timeline Service v2 が改善され、Timeline Service のスケーラビリティと信頼性が向上します。

2.9 デフォルトのポート範囲

Hadoop 2.x − Hadoop 2.0 では、一部のデフォルト ポートは Linux の一時ポート範囲内にあります。そのため、起動時にはバインドできません。
Hadoop 3.x − ただし、Hadoop 3.0 では、これらのポートは一時範囲から移動されました。

2.10 ツール

Hadoop 2.x − Hive、pig、Tez、Hama、Giraph、その他の Hadoop ツールを使用します。
Hadoop 3.x − Hive、pig、Tez、Hama、Giraph、その他の Hadoop ツールを使用できます。

2.11互換ファイルシステム

Hadoop 2.x − HDFS (デフォルト FS)、FTP ファイル システム: すべてのデータをリモート アクセス可能な FTP サーバーに保存します。 Amazon S3 (Simple Storage Service) ファイル システム、Windows Azure Storage Blob (WASB) ファイル システム。
Hadoop 3.x − 以前のすべてのバージョンと Microsoft Azure Data Lake ファイル システムをサポートします。

2.12データノードリソース

Hadoop 2.x − データノード リソースは MapReduce 専用ではないため、他のアプリケーションに使用できます。
Hadoop 3.x − ここでは、データ ノード リソースを他のアプリケーションにも使用できます。

2.13MR API 互換性

Hadoop 2.x - Hadoop 1.x プログラムと互換性があり、Hadoop 2.X で実行可能な MR API
Hadoop 3.x − ここで、MR APIはHadoop 3.X上で実行するためにHadoop 1.xプログラムと互換性を持たせています。

2.14 Microsoft Windows のサポート

Hadoop 2.x − Windows にデプロイできます。
Hadoop 3.x − Windows もサポートします。

2.15 スロット/コンテナ

Hadoop 2.x − Hadoop 1 はスロットの概念に基づいて動作していましたが、Hadoop 2.X はコンテナの概念に基づいて動作します。コンテナを通じて、共通のタスクを実行できます。
Hadoop 3.x − コンテナの概念でも動作します。

2.16 単一障害点

Hadoop 2.x − SPOF 機能を備えているため、Namenode に障害が発生しても自動的に回復します。
Hadoop 3.x − SPOF 機能を備えているため、Namenode に障害が発生しても自動的に回復し、それを克服するために人間の介入は必要ありません。

2.17 HDFSアライアンス

Hadoop 2.x − Hadoop 1.0 では、すべての名前空間を管理する NameNode は 1 つしかありませんでしたが、Hadoop 2.0 では、複数の名前空間に複数の NameNode が使用されます。
Hadoop 3.x − Hadoop 3.x にも複数の名前空間のための複数の名前空間があります。

2.18 スケーラビリティ

Hadoop 2.x - クラスターごとに最大 10,000 ノードまで拡張できます。
Hadoop 3.x - スケーラビリティが向上しました。 クラスターあたり 10,000 ノード以上に拡張できます。

2.19 データへの高速アクセス

Hadoop 2.x − データ ノード キャッシュにより、データにすばやくアクセスできます。
Hadoop 3.x - ここでも、Datanode キャッシュを通じてデータに素早くアクセスできます。

2.20HDFSスナップショット

Hadoop 2.x − Hadoop 2 ではスナップショットのサポートが追加されました。 災害復旧とユーザーエラーからの保護を提供します。
Hadoop 3.x - Hadoop 2 もスナップショット機能をサポートしています。

2.21 プラットフォーム

Hadoop 2.x - さまざまなデータ分析、イベント処理の実行、ストリーミング、リアルタイム操作のためのプラットフォームとして使用できます。
Hadoop 3.x - ここでも、イベント処理、ストリーミング、リアルタイム操作を YARN 上で実行できます。

2.22 クラスタリソース管理

Hadoop 2.x − クラスター リソース管理には YARN を使用します。 スケーラビリティ、高可用性、マルチテナント性が向上します。
Hadoop 3.x − クラスターの場合、リソース管理にはすべての機能を備えた YARN が使用されます。

hadoop2.x に対する hadoop3.X の改良点

共通の主要な改善点:
シェルスクリプトの書き換え
非推奨の API の削除

HDFS の改善:
消失訂正符号化をサポート
2つ以上のネームノードをサポート
データバランス
複数のサービスポートが変更されました

糸の改良:
YARN タイムライン サービス v.2
オポチュニスティックコンテナと分散スケジューリングのサポート

MapRduece の改善:
MapReduce タスクレベルのネイティブ最適化
デーモンとタスクヒープ管理の改良

その他の新機能:
共有クライアント jar

結論

Hadoop 2.x と Hadoop 3.x の 22 の重要な違いと 3.x の改善点について説明してきたので、Hadoop 2 と Hadoop 3 のどちらが優れているかがわかるようになりました。

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。

以下もご興味があるかもしれません:
  • Hadoop ネームノード フェデレーション
  • Hadoop 2.Xの新機能、ごみ箱機能の説明
  • Hadoopカウンターとデータクリーニングの適用
  • Ubuntu 16.4 で完全に分散された Hadoop 環境を構築するための実践的なチュートリアル
  • Ubuntu DockerでHadoopクラスタ環境を構築する方法
  • CentOS で Hadoop を構築する詳細な手順
  • Hadoop ワードカウントのサンプルコード
  • Java/Web が MapReduce 用に Hadoop を呼び出すサンプル コード
  • Hadoop におけるネームノードとセカンダリネームノードの動作メカニズムの説明

<<:  LinuxにMySQLをインストールするための詳細なチュートリアル

>>:  Element-ui アップロードファイルのアップロード制限の解決策

推薦する

show processlist コマンドによる MySQL パフォーマンス検査の説明

show processlist コマンドは非常に便利です。MySQL の実行が 50% 以上になる...

MySQL データ挿入効率の比較

データを挿入するとき、以前オフィス システムに取り組んでいたときにはデータベースのパフォーマンスにつ...

Apache Flink の任意の Jar パッケージのアップロードにより、リモート コード実行の脆弱性が再発する問題が発生する (脆弱性警告)

脆弱性の説明Apache Flink は、分散ストリームおよびバッチ データ処理用のオープン ソース...

Dockerコンテナの個別展開のためのLNMPの実装

1. 環境整備各コンテナの IP アドレス: nginx: 172.16.10.10マイSQL: 1...

Tencent インタビュー: SQL ステートメントの実行が非常に遅くなる理由は何ですか? ---後悔シリーズは見ないで(推奨)

正直に言うと、この質問には MySQL のコア知識がかなり必要で、コンピュータ ネットワークの知識を...

HTML要素のID属性とName属性の違い

今日、私は <a href="#13"></a> につい...

ARGB、RGB、RGBAの違いと紹介

ARGB は、アルファ (透明度) チャネルが追加された RGB カラー モードであり、32 ビット...

Redis イメージの Docker インストールと設定手順

目次序文環境インストールMySQLコンテナを作成して起動する落とし穴を避けるための注意MySQLコン...

CSS の歪んだ影の実装コード

この記事では、CSS ワープ シャドウの実装コードを紹介し、皆さんと共有します。詳細は以下の通りです...

MySQL MyISAM と InnoDB の違い

違い: 1. InnoDB はトランザクションをサポートしていますが、MyISAM はサポートしてい...

純粋な CSS で DIV サスペンションを実装するサンプル コード (固定位置)

DIV フローティング効果 (固定位置) は CSS のみで実装されており、IE8、360、Fir...

MySQL 5.7.20 無料インストールバージョンの設定方法グラフィックチュートリアル

インターネット上で多くの関連チュートリアルを見てきましたが、インストール プロセスにはまだいくつかの...

ページリファクタリングスキル - コンテンツ

雑談はここまでにして、インターネット上で見つかる高性能な Yahoo ウェブサイトを構築するための数...

HTTP 戻りコード一覧(中国語と英語の説明)

httpリターンコードリスト(以下は概要です)詳細な中国語の説明についてはここをクリックしてくださ...

CentOS7 で ethereum/Ethereum を最初からインストールする

目次序文sudo書き込み権限を追加するgit 2.9.0をインストールopenssl 1.1.1l ...