質問ガイド 1. 目的 この記事では、Hadoop 2.x と Hadoop 3.x の比較について説明します。 Hadoop 3 バージョンにはどのような新機能が追加されましたか? Hadoop 3 で互換性のある Hadoop 2 プログラムは何ですか? Hadoop 2 と Hadoop 3 の違いは何ですか? 2. Hadoop 2.x と Hadoop 3.x の比較 このセクションでは、Hadoop 2.x と Hadoop 3.x の 22 の違いについて説明します。 それではそれぞれについて議論しましょう 2.1ライセンス Hadoop 2.x - Apache 2.0、オープンソース 2.2 サポートされている最小Javaバージョン Hadoop 2.x - サポートされている Java の最小バージョンは Java 7 です 2.3 フォールトトレランス Hadoop 2.x - レプリケーションによってフォールト トレランスを処理できます (スペースを無駄にします)。 2.4 データバランス Hadoop 2.x − データバランスには HDFS バランサーを使用します。 2.5 ストレージスキーム Hadoop 2.x - 3Xレプリカスキームを使用する 2.6 ストレージオーバーヘッド Hadoop 2.x - HDFS ではストレージ スペースに 200% のオーバーヘッドがあります。 2.7 ストレージオーバーヘッドの例 Hadoop 2.x - ブロックが 6 個ある場合、レプリケーション スキームにより、スペースを占有するブロックは 18 個になります。 2.8YARNタイムラインサービス Hadoop 2.x - スケーラビリティの問題がある古いタイムライン サービスを使用します。 2.9 デフォルトのポート範囲 Hadoop 2.x − Hadoop 2.0 では、一部のデフォルト ポートは Linux の一時ポート範囲内にあります。そのため、起動時にはバインドできません。 2.10 ツール Hadoop 2.x − Hive、pig、Tez、Hama、Giraph、その他の Hadoop ツールを使用します。 2.11互換ファイルシステム Hadoop 2.x − HDFS (デフォルト FS)、FTP ファイル システム: すべてのデータをリモート アクセス可能な FTP サーバーに保存します。 Amazon S3 (Simple Storage Service) ファイル システム、Windows Azure Storage Blob (WASB) ファイル システム。 2.12データノードリソース Hadoop 2.x − データノード リソースは MapReduce 専用ではないため、他のアプリケーションに使用できます。 2.13MR API 互換性 Hadoop 2.x - Hadoop 1.x プログラムと互換性があり、Hadoop 2.X で実行可能な MR API 2.14 Microsoft Windows のサポート Hadoop 2.x − Windows にデプロイできます。 2.15 スロット/コンテナ Hadoop 2.x − Hadoop 1 はスロットの概念に基づいて動作していましたが、Hadoop 2.X はコンテナの概念に基づいて動作します。コンテナを通じて、共通のタスクを実行できます。 2.16 単一障害点 Hadoop 2.x − SPOF 機能を備えているため、Namenode に障害が発生しても自動的に回復します。 2.17 HDFSアライアンス Hadoop 2.x − Hadoop 1.0 では、すべての名前空間を管理する NameNode は 1 つしかありませんでしたが、Hadoop 2.0 では、複数の名前空間に複数の NameNode が使用されます。 2.18 スケーラビリティ Hadoop 2.x - クラスターごとに最大 10,000 ノードまで拡張できます。 2.19 データへの高速アクセス Hadoop 2.x − データ ノード キャッシュにより、データにすばやくアクセスできます。 2.20HDFSスナップショット Hadoop 2.x − Hadoop 2 ではスナップショットのサポートが追加されました。 災害復旧とユーザーエラーからの保護を提供します。 2.21 プラットフォーム Hadoop 2.x - さまざまなデータ分析、イベント処理の実行、ストリーミング、リアルタイム操作のためのプラットフォームとして使用できます。 2.22 クラスタリソース管理 Hadoop 2.x − クラスター リソース管理には YARN を使用します。 スケーラビリティ、高可用性、マルチテナント性が向上します。 hadoop2.x に対する hadoop3.X の改良点 共通の主要な改善点: HDFS の改善: 糸の改良: MapRduece の改善: その他の新機能: 結論 Hadoop 2.x と Hadoop 3.x の 22 の重要な違いと 3.x の改善点について説明してきたので、Hadoop 2 と Hadoop 3 のどちらが優れているかがわかるようになりました。 要約する 以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。 以下もご興味があるかもしれません:
|
<<: LinuxにMySQLをインストールするための詳細なチュートリアル
>>: Element-ui アップロードファイルのアップロード制限の解決策
show processlist コマンドは非常に便利です。MySQL の実行が 50% 以上になる...
データを挿入するとき、以前オフィス システムに取り組んでいたときにはデータベースのパフォーマンスにつ...
脆弱性の説明Apache Flink は、分散ストリームおよびバッチ データ処理用のオープン ソース...
1. 環境整備各コンテナの IP アドレス: nginx: 172.16.10.10マイSQL: 1...
正直に言うと、この質問には MySQL のコア知識がかなり必要で、コンピュータ ネットワークの知識を...
今日、私は <a href="#13"></a> につい...
ARGB は、アルファ (透明度) チャネルが追加された RGB カラー モードであり、32 ビット...
目次序文環境インストールMySQLコンテナを作成して起動する落とし穴を避けるための注意MySQLコン...
この記事では、CSS ワープ シャドウの実装コードを紹介し、皆さんと共有します。詳細は以下の通りです...
違い: 1. InnoDB はトランザクションをサポートしていますが、MyISAM はサポートしてい...
DIV フローティング効果 (固定位置) は CSS のみで実装されており、IE8、360、Fir...
インターネット上で多くの関連チュートリアルを見てきましたが、インストール プロセスにはまだいくつかの...
雑談はここまでにして、インターネット上で見つかる高性能な Yahoo ウェブサイトを構築するための数...
httpリターンコードリスト(以下は概要です)詳細な中国語の説明についてはここをクリックしてくださ...
目次序文sudo書き込み権限を追加するgit 2.9.0をインストールopenssl 1.1.1l ...