叢集上的 Managed Service for Apache Spark 總覽

Managed Service for Apache Spark on clusters 可讓您運用開放原始碼資料工具,執行批次處理、查詢、串流和機器學習工作。透過 Managed Service for Apache Spark 的叢集自動化功能,您可以快速建立及輕鬆管理叢集,並關閉不需要的叢集來節省費用。省下管理作業所需的時間與費用之後,您就能專心處理工作與資料。

在叢集上使用 Managed Service for Apache Spark 的優點

相較於傳統地端部署產品和競爭對手的雲端服務,Managed Service for Apache Spark 為 3 到數百個節點的叢集提供多項獨特優勢:

  • 低成本:除了您使用的其他 Google Cloud 資源外,叢集上的 Managed Service for Apache Spark 定價為叢集中每個虛擬 CPU 每小時 1 美分。除了低廉的價格外,Managed Service for Apache Spark 叢集還可包含運算價格較低的先占執行個體,進一步降低成本。Managed Service for Apache Spark 叢集不會將用量四捨五入至最接近的小時,而是以秒為單位計費,且最低帳單週期僅一分鐘,因此您只需支付實際用量的費用。
  • 超快速:如果不使用 Managed Service for Apache Spark 叢集,而是自行在地端部署系統或透過 IaaS 供應商建立 Spark 和 Hadoop 叢集,通常需要 5 至 30 分鐘才能完成。相較之下,Managed Service for Apache Spark 叢集可以在短時間內啟動、擴充及關閉,每項作業平均在 90 秒內就能完成。這代表等候叢集的時間縮短了,可以有更多時間處理資料。
  • 整合:Managed Service for Apache Spark 叢集內建與其他 Google Cloud 服務的整合功能,例如 BigQuery、Cloud Storage、Bigtable、Cloud Logging 和 Cloud Monitoring,因此您不只擁有 Spark 或 Hadoop 叢集,還能享有完整的資料平台。舉例來說,您可以在叢集上使用 Managed Service for Apache Spark,輕鬆將數 TB 的原始記錄資料直接 ETL 至 BigQuery,用於製作業務報表。
  • 代管:使用 Spark 和 Hadoop 叢集,不必藉助管理員或特殊軟體的協助。您可以透過 Google Cloud 控制台、Cloud SDK 或 Managed Service for Apache Spark on clusters REST API,與叢集和 Spark 或 Hadoop 工作互動。完成工作後只需關閉叢集,就不會把錢浪費在閒置叢集上。Managed Service for Apache Spark 與 Cloud Storage、BigQuery 和 Bigtable 整合,因此您不必擔心資料遺失。
  • 簡單易用:您不必學習新的工具或 API,就能使用 Managed Service for Apache Spark on clusters,將現有專案移至 Managed Service for Apache Spark on clusters,不需重新開發。Spark、Hadoop、Pig 和 Hive 會經常更新,讓您更快提高工作效率。

Managed Service for Apache Spark on clusters 包含哪些項目?

如要查看 Managed Service for Apache Spark 叢集支援的開放原始碼 (Hadoop、Spark、Hive 和 Pig) 和 Google Cloud連接器版本清單,請參閱「Managed Service for Apache Spark 叢集映像檔版本清單」。

開始使用

如要開始使用,請參閱「在叢集上使用 Managed Service for Apache Spark」快速入門導覽課程。您可以透過下列方式,存取叢集上的 Managed Service for Apache Spark: