關於 Dataflow HPC 高度平行工作負載

高度平行工作負載 (也稱為「簡單平行處理」工作負載) 常見於金融、媒體和生命科學企業。對於這類平行工作負載,企業通常會部署運算節點叢集。每個節點都能執行獨立的處理工作,這種設定稱為網格運算。如要處理平行工作負載的資料,可以搭配使用 Apache Beam 和 Dataflow。如要進一步瞭解 Apache Beam,請參閱 Apache Beam 程式設計指南。

使用 Dataflow 處理高度平行工作負載有許多好處。

此外,Dataflow 還提供多項安全防護功能:

這些工作負載需要將資料分配給在多個核心上執行的函式。這類發布作業通常需要極高的並行讀取量,接著再由下游系統吸收大量扇出資料。Dataflow 的核心功能包括在資源之間分配批次和串流工作負載,以及管理這些資源的自動調度資源和動態重新平衡工作。因此,當您使用 Dataflow 處理高度平行工作負載時,系統會自動處理效能、擴充性、可用性和安全性需求。

將外部程式碼納入管道

Apache Beam 內建 Java、Python 和 Go 適用的 SDK。不過,許多高度平行工作負載會使用以 C++ 編寫的程式碼。您可以使用 Dataflow 和其他 Google Cloud 服務,透過 Apache Beam 將 C++ 二進位檔 (程式庫) 做為外部程式碼執行。納入 C++ 二進位檔後,您就能使用全代管服務,執行這類工作負載。您也可以使用複雜的有向無環圖 (DAG) 建構完整的管道。

執行 C++ 二進位檔的方法,也適用於以其他語言編寫、可編譯獨立二進位檔的程式碼。

端對端高度平行管道

您可以使用 Dataflow,在同一個管道中執行 I/O 讀寫處理、分析和工作輸出。這樣一來,您就能執行完整的 高度平行管道

舉例來說,HPC 高度平行工作負載可能包含下列步驟:

  1. 從內部和外部來源擷取原始資料。資料可能來自無限制或有限制的來源。無界限來源大多會轉換為有界限來源,以配合用於工作農場的技術。

  2. 將原始資料預先處理成工作農場元件可使用的資料形狀和編碼。

  3. 使用系統將計算作業分配給主機,並從來源擷取資料,然後將結果具體化,以便進行後續分析。

  4. 進行後續分析,將結果轉換為輸出內容。

您可以使用 Dataflow 在單一管道中管理所有步驟,同時運用 Dataflow 功能:

  • 由於單一系統負責所有階段,因此您不需要外部自動化調度管理系統來協調多個管道的執行。

  • 有了資料位置,您就不必在階段邊界之間明確具體化和取消具體化,進而提高效率。

  • 有了更完善的系統內遙測功能,您就能取得階段總位元組數的相關資訊,有助於設計後續階段。

  • 啟用自動調度資源功能後,當資料進入系統,資源會根據資料量在管道階段移動時進行調整。

核心 Dataflow HPC 高度平行管道使用現代 DAG 執行引擎。所有一般管道程序都可以在單一 DAG 中完成,因此可以在單一 Dataflow 管道中完成。您可以使用 Apache Beam 生成的有向非循環圖 (DAG) 定義管道形狀。

如果您要從工作農場系統遷移至高度平行工作流程,則必須從工作轉移至資料。PTransform 包含 DoFn,其中包含接收資料元素的處理函式。資料點可以是具有一或多個屬性的任何物件。

只要使用 DAG 和單一管道,即可在整個工作流程中載入系統內的所有資料。您不需要將資料輸出至資料庫或儲存空間。

Google Cloud 用於高度平行工作流程的元件

網格運算應用程式需將資料分散到在許多核心上執行的函式中。這樣的模式通常需要高度同步的資料讀取行為,且經常伴隨著大量由下游系統所吸收的擴散傳遞資料。

Dataflow 與其他 Google Cloud 代管服務整合,可吸收大規模平行化資料 I/O:

  • Pub/Sub:全域事件串流擷取服務
  • Bigtable:用於快取和提供資料的寬欄儲存庫
  • Cloud Storage:統一物件儲存庫
  • BigQuery:PB 規模的資料倉儲服務

這些服務搭配使用,可為高度平行工作負載提供出色的解決方案。

在Google Cloud 上執行高度平行工作負載的常見架構包括:

  • Apache Beam 的 Dataflow Runner。這個執行器會使用衍生自 DAG 的處理流程,將工作分配給網格節點。單一 Apache Beam DAG 可讓您定義複雜的多階段管道,其中平行管道階段可使用側邊輸入或彙整重新組合。

  • Cloud Storage。這項服務提供一個位置,用於暫存 C++ 二進位檔。如需儲存大型檔案 (例如許多媒體用途),這些檔案也會存放在 Cloud Storage 中。

  • Bigtable、BigQuery 和 Pub/Sub。這些服務可做為來源和接收器。

下圖概略說明範例工作流程的高階架構。

網格運算解決方案之系統架構

您也可以使用其他儲存系統。詳情請參閱 Apache Beam 說明文件管道 I/O 頁面中的儲存系統和串流來源清單。

Apache Beam 的 Dataflow 執行工具

使用 Dataflow,在串流和批次模式中轉換及充實資料。Dataflow 以 Apache Beam 為基礎。

Cloud Storage

Cloud Storage 是整合式物件儲存庫,涵蓋即時資料提供、資料分析、機器學習 (ML) 和資料封存。如要使用 Dataflow 處理高度平行工作負載,Cloud Storage 可讓您存取 C++ 二進位檔。在某些用途中,Cloud Storage 也會提供處理階段所需的資料位置。

網格運算需要高載量,因此您必須瞭解 Cloud Storage 的效能特性。如要進一步瞭解 Cloud Storage 資料服務效能,請參閱 Cloud Storage 說明文件中的「要求比率和存取權分配指南」。

Bigtable

Bigtable 是高效能的 NoSQL 資料庫服務,專為大型分析和作業工作負載最佳化。Bigtable 與 Dataflow 互補。Bigtable 的主要特色是讀寫延遲時間短 (第 90 個百分位數為 6 毫秒),可處理數千個並行用戶端和高載工作負載。這些功能使 Bigtable 成為 Dataflow 處理階段中 DoFn 函式內接收器和資料來源的理想選擇。

BigQuery

BigQuery 是一套速度飛快、經濟實惠且全代管的企業資料倉儲系統,適用於大規模的資料分析作業。網格結果通常用於分析,可讓您對網格的資料輸出執行大規模匯總。

Pub/Sub

Pub/Sub 是可擴充的非同步訊息服務,會分離產生訊息的服務與處理訊息的服務。您可以使用 Pub/Sub 進行串流分析和資料整合管道,以擷取及發布資料。無論是做為服務整合的訊息導向中介軟體,還是做為平行處理工作的佇列,都同樣有效。

Dataflow DAG

您可以使用 Apache Beam SDK 建構表達力強的 DAG,進而建立串流或批次多級式管道。資料移動由執行器處理,資料則以 PCollection 物件表示,這是不可變的平行元素集合。

下圖說明了這個流程。

使用 DAG 的流程

Apache Beam SDK 可讓您定義 DAG。在 DAG 中,您可以將使用者定義的程式碼納入為函式。通常,DAG 的宣告和使用者定義的程式碼會使用相同的程式設計語言 (Java、Python 或 Go)。您也可以使用非內建的程式碼 (例如 C++) 做為使用者定義的程式碼。

後續步驟

  • 瞭解使用 Dataflow HPC 高度平行管道的最佳做法。
  • 請按照教學課程的說明,建立使用 C++ 程式庫搭配自訂容器的管道。