2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?

2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?

この記事は、2018 年 9 月 19 日に Adob​​e Systems Inc で開催された Apache Spark Meetup からの抜粋です。

今後リリースされる Apache Spark 2.4 は、2.x シリーズの 5 番目のリリースです。 この記事では、Apache Spark 2.4 の主な機能と拡張機能の概要を説明します。

  • 新しいスケジューリング モデル (バリア スケジューリング) により、ユーザーは分散ディープラーニング トレーニングを Spark ステージに適切に埋め込むことができ、分散トレーニング ワークフローを簡素化できます。
  • Spark SQL の配列/マップ操作用の高階関数を 35 個追加しました。
  • Databricks の spark-avro モジュールに基づく新しいネイティブ AVRO データ ソースが追加されました。
  • PySpark では、教育とデバッグのために、すべての操作に対して積極的な評価モードも導入されています。
  • K8S 上の Spark は PySpark と R をサポートし、クライアント モードもサポートします。
  • 構造化ストリーミングのさまざまな機能強化。 たとえば、継続的な処理におけるステートフル演算子などです。
  • 組み込みデータ ソースのさまざまなパフォーマンスが改善されました。 たとえば、Parquet のネストされたスキーマのプルーニングなどです。
  • Scala 2.12 のサポート。

この PPT をダウンロードするには、Shishuo.com をクリックしてください。

要約する

以上が、2018 年にリリースされる Apache Spark 2.4 の新機能についてご紹介した内容です。お役に立てれば幸いです。ご質問がございましたら、メッセージを残していただければ、すぐに返信させていただきます。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • Spark と Scala を使用して Apache アクセス ログを分析する方法
  • Apache Spark 2.0ジョブは完了するまでに長い時間がかかります

<<:  Vueインスタンスで$refsを使用する際の注意点

>>:  Centos で MySQL パスワードを変更する方法

推薦する

JavaScript の一般的なステートメント ループ、判定、文字列から数値

目次1. スイッチ2. whileループ3. Do/Whileループ3. 文字列を数値に変換する1....

vue3 テレポートの詳細な使用例

公式ウェブサイトhttps://cli.vuejs.org/ja/ガイド/場合によっては、コンポーネ...

カンマで区切られたmysqlの分割関数の実装

1: 文字列を区切るためのストアドプロシージャを定義する 区切り文字 $$ `mess`$$ を使う...

Mac+IDEA+Tomcat の設定手順

目次1. ダウンロード2. インストールと解凍3. Tomcatを起動する4番目に、インストールが成...

Linux 環境で crontab コマンドを使用して、スケジュールされた定期的な実行タスクを設定します (PHP 実行コードを含む)

この記事では、Linux 環境で crontab コマンドを使用して、タスクの定期的な実行をスケジュ...

Node.jsはMySQLデータベースの実戦記録を追加、削除、変更、チェックします

目次プロジェクトでデータベースを操作する3つのステップデータベースを操作するための具体的な手順1: ...

Mongodb の GUID 表示の問題の詳細な分析

問題を見つける最近、プログラムのストレージを Mongodb に移行したところ、Guid 型が書き込...

Linx awk入門チュートリアルの詳細な説明

Awk はテキスト ファイルを処理するためのアプリケーションであり、ほぼすべての Linux システ...

iframe が HTML 内のページにジャンプするのを防ぎ、iframe を使用して WeChat Web バージョンをページに埋め込む方法

私は、WinForm と HTML5 を組み合わせた小さなものを作りたいだけなのですが、突然、そこに...

Mysqlチュートリアルでのグループランキングの実装例の詳細な説明

目次1. データソース2. データの総合順位1) 総合ランキング2) 同順位3) 同順位3. データ...

ウェブページ入力ボックスのスタイルトリガー効果

<br />この例では、主に onblur と onFocus という 2 つのパラメー...

Centos7のホスト名を変更する3つの方法

方法 1: hostnamectl の変更ステップ1 ホスト名を確認するホスト名ステップ2 ホスト名...

CSS 表示テーブルの適応的な高さと幅の問題の解決策

定義と使用法display プロパティは、要素が生成するボックスのタイプを指定します。例示するこの属...

シンプルなjQuery + CSSを使用してカスタムタグタイトルツールチップを作成します

導入シンプルな jQuery + CSS を使用して、ブラウザのデフォルトの動作を置き換えるカスタム...

MySQL5.7 並列レプリケーションの原理と実装

データ操作とメンテナンスに少しでも知識のある人なら、MySQL 5.5 以前では再生に単一の SQL...