2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?

この記事は、2018 年 9 月 19 日に Adob​​e Systems Inc で開催された Apache Spark Meetup からの抜粋です。

今後リリースされる Apache Spark 2.4 は、2.x シリーズの 5 番目のリリースです。 この記事では、Apache Spark 2.4 の主な機能と拡張機能の概要を説明します。

• 新しいスケジューリング モデル (バリア スケジューリング) により、ユーザーは分散ディープラーニング トレーニングを Spark ステージに適切に埋め込むことができ、分散トレーニング ワークフローを簡素化できます。
• Spark SQL の配列/マップ操作用の高階関数を 35 個追加しました。
• Databricks の spark-avro モジュールに基づく新しいネイティブ AVRO データ ソースが追加されました。
• PySpark では、教育とデバッグのために、すべての操作に対して積極的な評価モードも導入されています。
• K8S 上の Spark は PySpark と R をサポートし、クライアント モードもサポートします。
• 構造化ストリーミングのさまざまな機能強化。 たとえば、継続的な処理におけるステートフル演算子などです。
• 組み込みデータ ソースのさまざまなパフォーマンスが改善されました。 たとえば、Parquet のネストされたスキーマのプルーニングなどです。
• Scala 2.12 のサポート。

この PPT をダウンロードするには、Shishuo.com をクリックしてください。

要約する

以上が、2018 年にリリースされる Apache Spark 2.4 の新機能についてご紹介した内容です。お役に立てれば幸いです。ご質問がございましたら、メッセージを残していただければ、すぐに返信させていただきます。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。