Dataflow 以開放原始碼的 Apache Beam 專案為基礎。本文說明 Apache Beam 程式設計模型,概述其架構,並引導您瞭解核心概念。
Apache Beam 資料處理總覽
本節將概略介紹 Apache Beam 架構,詳細說明各元件如何協同運作,有效率地處理資料。Apache Beam 是開放原始碼的整合式模型,可用於定義批次和串流管道。Apache Beam 程式設計模型可簡化大規模資料處理的機制。您可以使用其中一個 Apache Beam SDK,建構定義管道的程式。接著,您可以在 Dataflow 等特定平台上執行管道。這個模型可讓您專注於資料處理工作的邏輯組成,而非管理平行處理的自動調度管理。
Apache Beam 可讓您免於處理分散式處理的低階細節,例如協調個別 worker、資料集資料分割和其他類似工作。Dataflow 會全代管這些低階細節。
「管道」是套用至資料集合的轉換圖。在 Apache Beam 中,集合稱為 PCollection,轉換則稱為 PTransform。PCollection 可以是受限或無限。有界限 PCollection 的大小已知且固定,可使用批次管道處理。無限制 PCollections 必須使用串流管道,因為資料會在送達時處理。
Apache Beam 提供連接器,可讀取和寫入不同系統,包括 Google Cloud 服務和 Apache Kafka 等第三方技術。
下圖顯示 Apache Beam 管道。

您可以編寫執行任意邏輯的 PTransforms。Apache Beam SDK 也提供實用的 PTransforms 程式庫,包括:
- 篩除所有不符合述詞的元素。
- 對每個元素套用 1 對 1 對應函式。
- 依鍵將元素分組。
- 計算集合中的元素數量。
- 計算鍵/值集合中與各鍵相關聯的元素數量。
如要使用 Dataflow 執行 Apache Beam 管道,請按照下列步驟操作:
- 使用 Apache Beam SDK 定義及建構管道。或者,您也可以使用 Dataflow 範本部署預先建構的管道。
- 使用 Dataflow 執行管道。Dataflow 會分配 VM 集區來執行工作、將程式碼部署至 VM,並自動調度資源來執行工作。
- Dataflow 會在後端執行最佳化作業,讓管道有效率地執行,並充分運用平行處理功能。
- 工作執行期間和完成後,您可以使用 Dataflow 管理功能監控進度和排解問題。
Apache Beam 程式設計概念
本節提供基本概念的摘要。
基本批次和串流處理概念
- 管道
- 管道會封裝讀取輸入資料、轉換資料和寫入輸出資料時,所涉及的整個運算系列。輸入來源和輸出接收器可以是相同或不同的類型,讓您將資料從一種格式轉換為另一種格式。Apache Beam 程式會先建構
Pipeline物件,然後使用該物件做為建立管道資料集的基礎。每個管道都代表一項可重複執行的工作。 - PCollection
PCollection代表可能分散的多元素資料集,可做為管道的資料。Apache Beam 轉換會使用PCollection物件,做為管道中每個步驟的輸入和輸出。PCollection可保留固定大小的資料集,或來自持續更新資料來源的無限制資料集。- 轉換作業
- 轉換代表轉換資料的處理作業。轉換會將一或多個
PCollection做為輸入內容,對該集合中的每個元素執行您指定的操作,並產生一或多個PCollection做為輸出內容。轉換幾乎可以執行任何類型的處理作業,包括對資料執行數學運算、將資料從一種格式轉換為另一種格式、將資料分組、讀取和寫入資料、篩選資料以僅輸出所需元素,或將資料元素合併為單一值。 - ParDo
ParDo是 Apache Beam SDK 的核心平行處理作業,會對輸入PCollection的每個元素叫用使用者指定的函式。ParDo會將零或多個輸出元素收集到輸出PCollection中。ParDo轉換會獨立處理元素,且可能同時處理。ParDo的 user-defined function 稱為DoFn。- 管道 I/O
- Apache Beam I/O 連接器可讓您將資料讀入管道,並從管道寫出輸出資料。I/O 連接器是由一個來源和一個接收器組成。所有 Apache Beam 來源和接收器都是轉換,可讓管道處理多種不同資料儲存格式的資料。您也可以編寫自訂 I/O 連接器。
- 匯總
- 「彙整」是指從多個輸入元素計算某個值的程序。在 Apache Beam 中,主要的匯總運算模式為將具有相同鍵和時間區間的所有元素分為一組,接著,系統會使用關聯和交換運算,合併每組元素。
- User-defined function (UDF)
- Apache Beam 中的某些作業可讓您執行使用者定義的程式碼,做為設定轉換的方式。如果是
ParDo,使用者定義的程式碼會指定要套用至每個元素的作業;如果是Combine,則會指定值的合併方式。管道包含的 UDF 可能是以與執行器不同的語言編寫而成,管道也可能包含以多種語言編寫的 UDF。 - 執行器
- 執行器是接受並執行管道的軟體。大多數執行器都是翻譯器或轉接器,可大規模平行處理大數據。另外還有其他執行工具,可用於本機測試和偵錯。
- 來源
- 從外部儲存系統讀取資料的轉換。管道通常會從來源讀取輸入資料。來源有類型,可能與接收器類型不同,因此您可以在資料通過管道時變更資料格式。
- 接收器
- 寫入外部資料儲存庫系統 (例如檔案或資料庫) 的轉換。
- TextIO
- 用於讀取及寫入文字檔案的
PTransform。TextIO來源和接收器支援以gzip和bzip2壓縮的檔案。TextIO輸入來源支援 JSON。不過,如要讓 Dataflow 服務平行處理輸入和輸出內容,來源資料必須以換行符號分隔。您可以使用規則運算式,指定TextIO來源中的特定檔案。Dataflow 支援一般萬用字元模式。glob 運算式可以出現在路徑中的任何位置。不過,Dataflow 不支援遞迴萬用字元 (**)。
進階批次和串流處理概念
- 事件時間
- 資料事件發生的時間,由資料元素本身的時間戳記決定。這與實際資料元素在管道中任何階段處理的時間不同。
- 時間區間設定
- 視窗化功能可根據個別元素的時間戳記,將無界限集合劃分為有限集合的視窗,藉此將無界限集合上的作業分組。視窗函式會指示執行器如何將元素指派給初始視窗,以及如何合併分組元素的視窗。Apache Beam 可讓您定義不同類型的視窗,或使用預先定義的視窗函式。
- 浮水印
- Apache Beam 會追蹤浮水印,也就是系統預期特定視窗中的所有資料何時會抵達管道。Apache Beam 會追蹤浮水印,因為資料不一定會按照時間順序或可預測的間隔抵達管道。此外,資料事件在管道中出現的順序不一定與生成順序相同。
- 觸發條件
- 觸發條件會決定何時在資料抵達時發出匯總結果。如果是受限資料,系統會在所有輸入都處理完畢後發送結果;如果是不受限資料,系統會在浮水印超過時間區間結尾時發送結果,表示其認為該時間區間的所有輸入資料均已處理完畢。Apache Beam 提供幾種預先定義的觸發條件,讓您自由搭配使用。
後續步驟
- 如要進一步瞭解使用 Apache Beam SDK 建構管道的基本概念,請參閱 Apache Beam 說明文件中的 Apache Beam 程式設計指南。
- 如要進一步瞭解 Dataflow 支援的 Apache Beam 功能,請參閱 Apache Beam 功能矩陣。