無界限 PCollections 或無界限集合代表串流管道中的資料。無限制集合包含來自持續更新資料來源 (例如 Pub/Sub) 的資料。
您無法只使用鍵來分組無限制集合中的元素。由於資料來源會不斷新增元素,因此串流資料中特定鍵的元素數量可能無限。您可以使用視窗、浮水印和觸發條件,匯總無限制集合中的元素。
視窗的概念也適用於代表批次管道中資料的受限 PCollection。如要瞭解批次管道中的視窗功能,請參閱 Apache Beam 說明文件中的「使用受限 PCollection 進行視窗處理」。
如果 Dataflow 管道具有有界資料來源 (即不含持續更新資料的來源),且管道使用 --streaming 旗標切換至串流模式,則當有界來源完全耗盡時,管道會停止執行。
使用串流模式
如要以串流模式執行管道,請在執行管道時,於指令列中設定 --streaming 旗標。您也可以在建構管道時以程式輔助方式設定串流模式。
串流模式不支援批次來源。
如果使用較大的 worker 集區更新管道,串流工作可能不會如預期擴充。對於不使用 Streaming Engine 的串流工作,擴充作業無法超過原始工作開始時分配的 worker 和 Persistent Disk 資源數量。更新 Dataflow 工作並在新工作中指定更多 worker 時,指定數量不得超過原始工作指定的 worker 數量上限。
使用下列旗標指定 worker 數量上限:
Java
--maxNumWorkers
Python
--max_num_workers
Go
--max_num_workers
時間區間和時間區間函式
視窗函式會將無界限集合劃分為邏輯元件或視窗。視窗函式會依個別元素的 timestamp,將無繫結集合分組。每個視窗包含有限數量的元素。
您可以使用 Apache Beam SDK 設定下列視窗:
滾動式時間區間
滾動式時間區間代表資料串流中一致且不重疊的時間間隔。
舉例來說,如果您設定 30 秒的滾動式時間區間,時間戳記值為 [0:00:00-0:00:30) 的元素會位於第一個時間區間。時間戳記值為 [0:00:30-0:01:00) 的元素則位於第二個視窗。
下圖說明如何將元素劃分為 30 秒的輪轉視窗。

跳躍式時間區間
跳躍式時間區間代表資料串流中的一致時間間隔。跳躍式時間區間可以重疊,而滾動式時間區間則不相交。
舉例來說,跳躍式時間區間可以每三十秒啟動一次,並擷取一分鐘的資料。跳躍式時間區間開始的頻率稱為「週期」。這個範例的時間範圍為一分鐘,週期為三十秒。
下圖說明如何將元素劃分為一分鐘的跳躍式時間區間,週期為三十秒。

如要取得資料的移動平均值,請使用跳躍式時間區間。您可以使用一分鐘的跳躍式時間區間,並設定三十秒的週期,每三十秒計算一次一分鐘的移動平均值。
工作階段時間區間
工作階段視窗包含與另一個元素相距在「間隔時間長度」內的元素。間隔時間長度是指資料串流中新資料之間的間隔。如果資料在間隔時間長度後才送達,則會指派至新的視窗。
舉例來說,工作階段視窗可以劃分代表使用者滑鼠活動的資料串流。這個資料串流可能會有長時間的閒置,中間穿插許多點擊。工作階段視窗可包含點擊產生的資料。
工作階段視窗會為每個資料索引鍵指派不同的視窗。不論資料索引鍵為何,輪轉和跳躍式時間區間都包含指定時間間隔內的所有元素。
下圖顯示元素如何劃分至工作階段視窗。

浮水印
浮水印是門檻,表示 Dataflow 預期視窗中的所有資料都已送達。如果浮水印已超過時間範圍結束時間,且新資料的時間戳記在時間範圍內,則該資料會視為「遲到資料」。詳情請參閱 Apache Beam 說明文件中的「浮水印和延遲資料」。
Dataflow 追蹤浮水印的原因如下:
- 資料不一定會按照時間順序或可預測的間隔送達。
- 資料事件不一定會按照產生順序出現在管道中。
資料來源會決定浮水印。您可以使用 Apache Beam SDK 允許延遲資料。
觸發條件
「觸發條件」可用來決定資料到達時發送匯總結果的時機。根據預設,當浮水印超過視窗結尾時,系統就會發出結果。
您可以使用 Apache Beam SDK,為串流管道中的每個集合建立或修改觸發條件。
Apache Beam SDK 可設定觸發條件,在下列條件的任意組合下運作:
- 事件時間,由每個資料元素的時間戳記表示。
- 處理時間:資料元素在管道中任何指定階段的處理時間。
- 集合中的資料元素數量。