2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?

2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?

この記事は、2018 年 9 月 19 日に Adob​​e Systems Inc で開催された Apache Spark Meetup からの抜粋です。

今後リリースされる Apache Spark 2.4 は、2.x シリーズの 5 番目のリリースです。 この記事では、Apache Spark 2.4 の主な機能と拡張機能の概要を説明します。

  • 新しいスケジューリング モデル (バリア スケジューリング) により、ユーザーは分散ディープラーニング トレーニングを Spark ステージに適切に埋め込むことができ、分散トレーニング ワークフローを簡素化できます。
  • Spark SQL の配列/マップ操作用の高階関数を 35 個追加しました。
  • Databricks の spark-avro モジュールに基づく新しいネイティブ AVRO データ ソースが追加されました。
  • PySpark では、教育とデバッグのために、すべての操作に対して積極的な評価モードも導入されています。
  • K8S 上の Spark は PySpark と R をサポートし、クライアント モードもサポートします。
  • 構造化ストリーミングのさまざまな機能強化。 たとえば、継続的な処理におけるステートフル演算子などです。
  • 組み込みデータ ソースのさまざまなパフォーマンスが改善されました。 たとえば、Parquet のネストされたスキーマのプルーニングなどです。
  • Scala 2.12 のサポート。

この PPT をダウンロードするには、Shishuo.com をクリックしてください。

要約する

以上が、2018 年にリリースされる Apache Spark 2.4 の新機能についてご紹介した内容です。お役に立てれば幸いです。ご質問がございましたら、メッセージを残していただければ、すぐに返信させていただきます。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • Spark と Scala を使用して Apache アクセス ログを分析する方法
  • Apache Spark 2.0ジョブは完了するまでに長い時間がかかります

<<:  Vueインスタンスで$refsを使用する際の注意点

>>:  Centos で MySQL パスワードを変更する方法

推薦する

VMware Workstation16 と Navicat リモート接続での Centos7 での MySQL8.0 インストール プロセス

目次1. CentOS7+MySQL8.0、yumソースインストール2. MySQLにログインしてパ...

IOSデータベースアップグレードデータ移行の詳細な例

IOSデータベースアップグレードデータ移行の詳細な例まとめ:昔、データベースのバージョン アップグレ...

CSS 命名: BEM、スコープ付き CSS、CSS モジュール、CSS-in-JS の説明

CSS の適用範囲はグローバルです。プロジェクトがどんどん大きくなり、参加する人が増えるにつれて、命...

Linux に MySql 5.7.21 をインストールするための詳細な手順

序文Linux で最も広く使用されているデータベースは MySQL です。この記事では、Linux ...

Vue は、デスクトップから Web ページにファイルをドラッグするためのサンプル コードを実装します (画像/オーディオ/ビデオを表示できます)

効果使用する場合は、コードとスタイルを自分で最適化してください。画像を表示しない/ビデオとオーディオ...

MySQLの起動と接続方法の例分析

目次mysqldの起動方法方法 1: mysqld方法 2: mysqld_safe方法3: mys...

MySQL 完全崩壊: クエリフィルタ条件の詳細な説明

概要実際のビジネス シナリオ アプリケーションでは、ビジネス条件に基づいて対象データを取得およびフィ...

MySQL の主キーがクエリを高速化するために数値を使用するか UUID を使用するかについての簡単な分析

実際の開発では、MySQL の主キーは重複できず、主キーが自動的にインクリメントされることがあります...

IE8互換表示(IE7モード)とスタンドアロンIE7の違いの詳細な説明

1つ。 IE8 互換表示の概要<br />新しいバージョンのブラウザが古い Web サイ...

初心者がdockerにmysqlをインストールするときに遭遇するさまざまな問題

序文最近、パソコンのシャットダウンに時間がかかることが多く、強制的にシャットダウンするには電源ボタン...

高い同時実行性の下でNginxのパフォーマンスを最適化する方法をまとめます

目次特徴利点インストールとコマンド設定ファイルプロキシモードとリバースプロキシ構成フォワードプロキシ...

proxy_pass を設定した後に Nginx が 404 を返す問題を解決する

目次1. proxy_pass を設定した後に Nginx が 404 を返す問題のトラブルシューテ...

MySql はデータを正常に挿入しますが、[Err] 1055 エラーが報告されます。解決策

1. 質問:最近、挿入操作を行っています。MySQLのバージョンは5.7です。挿入は成功しますが、エ...

TypeScript の Enum が問題となる理由

目次どうしたの?いつ使うか列挙の数を制御するビット値コントロールインデックス非数値列挙結論はType...

Docker-compose チュートリアルのインストールとクイックスタート

目次1. Compose の紹介2. ComposeとDockerの互換性3. Dockerをインス...