NVIDIA方面宣布與開源社區達成合作，為Apache Spark 3.0帶來端到端的 GPU 加速。Apache Spark 3.0 是一種用于大數據處理的分析引擎，目前已被全球超過 500,000 名數據科學家所使用。

按照計劃，隨著 Spark 3.0 于春季晚些時候發布，數據科學家和機器學習工程師將首次能夠把革命性的 GPU 加速應用于普遍使用 SQL 數據庫操作進行的 ETL(提取、轉換和加載)數據處理工作負載中。

此外，AI 模型訓練將能夠在相同的 Spark 集群上進行處理，而不是將工作負載作為單獨的流程在單獨的基礎架構上運行。這樣就可以對整個數據科學的處理流程進行高性能數據分析，對從數據湖到模型訓練所涉及的數十、乃至數千 TB 的數據進行加速，而且無需對已被應用于本地和云端 Spark 應用程序的現有代碼進行修改。

NVIDIA 企業計算部門負責人 Manuvir Das 表示：“數據分析是當今企業和研究人員面臨的最大的高性能計算挑戰。”“從 ETL 到培訓再到推理，整個 Spark 3.0 方案的原生 GPU 加速為用戶提供了最終將大數據潛力與 AI 性能相連所需的性能和規模。”

基于與 NVIDI A的戰略 AI 合作關系，Adobe 是最早在 Databricks 上運行 Spark 3.0 預覽版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速數據分析技術進行產品開發，并為各項推進數字化業務進程的功能提供支持。并且在初步測試中，其已將性能提高了 7 倍，以及節省了 90% 的成本。

性能提升后的 Spark 3.0 讓科學家能夠訓練包含有更大數據集的模型，并增加反復訓練模型的頻率，從而提高模型的精度。現在，數據科學家每天可以處理數TB的新數據，這對于需要為在線推薦系統提供支持或分析新研究數據的數據科學家們而言至關重要。此外，處理速度的加快，減少了交付結果所需的硬件資源，從而節省了大量成本。

Adobe 機器學習高級總監 William Yan 表示：“相比于在 CPU 上運行 Spark，NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴隨著 GPU 性能的飛躍性提升，也將為我們全套 Adobe Experience Cloud 應用中 AI 功能的提升帶來新的可能性。”

NVIDIA正在為 Apache Spark貢獻一種新的開源RAPIDS 加速器，以幫助數據科學家提高其數據流程的端到端性能。該加速器能夠將之前需要在 CPU 上運行的功能轉到 GPU 上運行，以發揮 GPU 的性能：

在無需更改任何代碼的情況下顯著提高 Spark SQL 和 DataFrame 的運行性能，從而加速 Spark 中的 ETL 數據流程。

無需獨立的機器學習和深度學習集群，即可在相同的基礎架構上加速數據準備和模型訓練。

加速 Spark 分布式集群中各節點之間的數據傳輸性能。這些資源庫使用 UCF Consortium 的開源 UCX(Unified Communication X)框架，并通過使數據直接在 GPU 內存之間移動來最大程度地減少延遲。

Spark 3.0 預覽版下載地址：https://spark.apache.org/downloads.html