1. Spark と Hadoop1.1 Haoopの欠点
1.2 Hadoop MR に対する利点
2. Sparkエコシステム2.1 ビッグデータ処理の3つのタイプ1. 複雑なバッチデータ処理時間の範囲は数十分から数時間です Haoop マップリデュース 2. 履歴データに基づくインタラクティブなクエリ時間の範囲は数十秒から数分です Cloudera と Impala のリアルタイム パフォーマンスは Hive よりも優れています。 3. リアルタイムデータストリームに基づくデータ処理時間の範囲は数百ミリ秒から数秒です 嵐 2.2 BDASアーキテクチャ2.3 Sparkエコシステム3. 基本概念とアーキテクチャ設計3.1 基本概念3.2 運用アーキテクチャExecutor を使用した Spark の利点: (Hadoop の MR と比較して)
3.3 さまざまな概念の関係
アプリケーションを実行すると、ドライバーはクラスター マネージャーからリソースを要求し、エグゼキューターを起動します。 そして、アプリケーションコードとファイルをExecutorに送信し、Executor上でタスクを実行します。実行が完了すると、 実行結果はドライバーに返されるか、HDFS または他のデータベースに書き込まれます。 4. Sparkは基本プロセスを実行します4.1 操作プロセス1. アプリケーションの基本的な動作環境を構築します。つまり、ドライバーはリソースを申請し、タスクを割り当て、それらを監視するための SparkContext を作成します。 2. リソース マネージャーは、エグゼキュータにリソースを割り当て、エグゼキュータ プロセスを開始します。
4. タスクは Executor 上で実行され、実行結果を TaskScheduler にフィードバックし、次に DAGScheduler にフィードバックします。実行が完了すると、データが書き込まれ、すべてのリソースが解放されます。 4.2 運用アーキテクチャの機能1. 各アプリケーションには独自の Executor プロセスがあり、アプリケーションの実行中はプロセスが常駐します。 Executor プロセスは、タスクをマルチスレッド方式で実行します。 2. Spark 実行プロセスは、Executor プロセスを取得して通信を維持できる限り、リソース マネージャーとは関係ありません。 3. タスクは、データの局所性や投機的実行などの最適化メカニズムを使用します。 (計算がデータに近づきます。) 5. Sparkの導入と適用方法5.1 Sparkの3つの展開方法5.1.1 スタンドアロンMR1.0 と同様に、スロットはリソース割り当て単位ですが、パフォーマンスは良くありません。 5.1.2 Mesos 上の SparkMesos と Spark には一定の親和性があります。 5.1.3 YARN 上の SparkMesosとYarnのつながり 5.2 Hadoop+StormアーキテクチャからSparkアーキテクチャへHadoop+Stormアーキテクチャこの展開方法はより複雑です。 Sparkアーキテクチャを使用してバッチ処理とストリーム処理のニーズを満たすSpark は高速な小規模バッチ コンピューティングを使用してストリーム コンピューティングをシミュレートしますが、実際のストリーム コンピューティングではありません。 ミリ秒レベルのストリーム コンピューティングを実現することは不可能です。ミリ秒レベルのリアルタイム応答を必要とするエンタープライズ アプリケーションでは、Storm などのストリーム コンピューティング フレームワークが依然として必要です。 Spark アーキテクチャの利点:
5.3 Hadoop と Spark の統合デプロイメントYARNでは異なるコンピューティングフレームワークが均一に実行されるメリットは次のとおりです。
現状: 1. Spark は現在、Hadoop エコシステムの一部のコンポーネントによって実装されている機能を置き換えることはできません。 2. Hadoop コンポーネントを使用して開発された既存のアプリケーションを Spark に完全に移行するには、一定の費用がかかります。 Sparkの紹介とHadoopとの比較分析に関するこの記事はこれで終わりです。SparkとHadoopの関連コンテンツについては、123WORDPRESS.COMの過去の記事を検索するか、以下の関連記事を引き続き閲覧してください。今後とも123WORDPRESS.COMをよろしくお願いいたします。 以下もご興味があるかもしれません:
|
>>: 標準的なHTMLの書き方は、Dreamweaverによって自動的に生成されるものとは異なります。
コンテナデータボリュームとはデータがコンテナ内にある場合、コンテナを削除するとデータは失われます。例...
序文Linux オペレーティング システムでは、デバイス ファイルは特別なタイプのファイルです。これ...
目次MySQL ベースの検索エンジンの実装1. ngram全文パーサー2. 全文インデックスを作成す...
システム トレイ アイコンは、今日でも魔法のような機能です。アイコンを右クリックして目的のアクション...
Django アプリケーションを構築して拡張していくと、必然的に特定のタスクをバックグラウンドで自動...
目次序文1. 親コンポーネントが子コンポーネントに値を渡す2. サブコンポーネントのprops型制約...
MySQL 5.7 のインストール私たちは学校で MySQL データベースを学んでいます。先生は私た...
目次序文チェック制約作成、削除、表示制限要約する序文MySQL 8.0 では、チェック制約という非常...
どの for ループまたは反復子がニーズに適しているかを知ることで、アプリケーションのパフォーマンス...
需要シナリオ: 既存の PXC 環境には大量のデータがあります。新しく購入したサーバーをこのクラスタ...
背景すべての業務を Docker の運用管理に移行してから、一連の落とし穴に遭遇しましたが、今回は ...
フレーム構造タグ <frameset></frameset>フレームを使用す...
導入データベースを使用したことがある人なら、機能面での like 記号と = 記号の類似点と相違点を...
Tensorflow バージョンと Cuda および CUDNN の対応: https://tens...
需要背景チームには統合テストが必要であり、そのためには、mysql や rabbitmq などのミド...