本頁面提供升級串流管道的指南和建議。例如,您可能需要升級至新版 Apache Beam SDK,或更新管道程式碼。我們提供多種選項,可因應不同情境。
批次管道會在工作完成時停止,而串流管道通常會持續執行,以提供不中斷的處理作業。因此,升級串流管道時,請務必考量下列事項:
- 您可能需要盡量減少或避免管道中斷。在某些情況下,您可能可以容忍在部署新版管道時,暫時中斷處理作業。在其他情況下,應用程式可能無法容忍任何中斷。
- 管道更新程序必須以盡可能減少訊息處理和其他附加系統中斷的方式,處理結構定義變更。舉例來說,如果事件處理管道中的訊息結構定義有所變更,下游資料接收器也可能需要變更結構定義。
您可以根據管道和更新需求,使用下列其中一種方法更新串流管道:
如要進一步瞭解更新期間可能遇到的問題,以及如何預防這些問題,請參閱「驗證替換工作」和「工作相容性檢查」。
最佳做法
- 升級 Apache Beam SDK 版本時,請與任何管道程式碼變更分開進行。
- 每次變更後,請先測試管道,再進行其他更新。
- 定期升級管道使用的 Apache Beam SDK 版本。
- 盡可能使用自動化方法,例如執行中更新或自動化平行管道更新。
- 盡可能使用代管 I/O,以便享有連接器版本自動升級的好處。
執行執行中更新
您可以更新部分執行中的串流管道,而不必停止工作。這種情況稱為「執行中工作更新」。執行中的工作更新僅適用於特定情況:
- 工作必須使用 Streaming Engine。
- 工作必須處於執行中狀態。
- 您只會變更工作使用的 worker 數量。
詳情請參閱「自動水平調度資源」頁面的「設定自動調度資源範圍」一節。
如需執行中工作更新的操作說明,請參閱「更新現有管道」。
自動建立或更新 (upsert) 範本
使用範本 (傳統範本、Flex 範本、Terraform 或 Config Connector) 啟動管道時,可以透過 create_or_update_job 實驗使用建立或更新 (upsert) 功能。
在 additional_experiments 參數或 additional-experiments 旗標中指定 create_or_update_job 時:
- 如果已有執行中或正在排空的工作,且名稱與指定的工作名稱相同,範本服務會自動啟動新工作,做為現有工作的更新。
- 如果沒有名稱相同的作用中工作,範本服務會啟動新工作,做為新工作建立作業。
這項實驗可讓您在啟動範本時,不必透過程式輔助方式判斷要使用建立或更新 API 動作。
如需使用這項實驗的 Terraform 和 Config Connector 程式碼範例,請參閱下列各節:
啟動替換工作
如果更新後的工作與現有工作相容,您可以使用 update 選項更新管道。取代現有工作時,新工作會執行更新後的管道程式碼。Dataflow 服務會保留工作名稱,但會以更新後的工作 ID 執行替換工作。這個程序可能會導致停機,因為現有工作會停止、相容性檢查會執行,而新工作會啟動。詳情請參閱「取代工作的影響」。
Dataflow 會執行相容性檢查,確保更新後的管道程式碼可以安全部署至執行中的管道。某些程式碼變更會導致相容性檢查失敗,例如在現有步驟中新增或移除側邊輸入。如果相容性檢查失敗,就無法執行就地工作更新。
如需啟動替換工作的操作說明,請參閱「啟動替換工作」。
如果管道更新與目前工作不相容,您必須停止並更換管道。如果管道無法容許停機時間,請執行平行管道。
手動停止並更換
如要手動停止並替換,請取消或排空管道,然後替換為更新後的管道。取消管道會導致 Dataflow 立即停止處理,並盡快關閉資源,這可能會導致正在處理的部分資料遺失,也就是所謂的傳輸中資料。為避免資料遺失,在大多數情況下,建議您採取排空動作。您也可以使用 Dataflow 快照儲存串流管道的狀態,這樣就能啟動新版 Dataflow 工作,而不會遺失狀態。詳情請參閱「使用 Dataflow 快照」。
排空管道會立即關閉所有處理中的視窗,並觸發所有觸發條件。雖然傳輸中的資料不會遺失,但耗盡可能會導致視窗資料不完整。在這種情況下,處理中的視窗會發出部分或不完整的結果。詳情請參閱「排空工作的影響」。現有工作完成後,請啟動新的串流工作,其中包含更新後的管道程式碼,以便繼續處理。
採用這種方法時,從現有串流工作停止到替代管道準備好繼續處理資料,這段期間會產生一些停機時間。不過,取消或耗盡現有管道,然後使用更新後的管道啟動新工作,比執行平行管道更簡單。
詳情請參閱「排空 Dataflow 工作」。在您耗盡目前的工作後,請啟動名稱相同的新工作。
自動停止及替換
Dataflow 提供 API 支援,可啟動自動停止和取代更新。這種宣告式工作流程可免除手動程序步驟。您只要宣告要取代的工作,系統就會自動啟動新工作並協調轉換作業。
使用這個工作流程時,系統會在舊工作仍在執行時佈建新工作資源。舊工作會自動收到排空信號。舊工作完成排空或達到使用者指定的逾時時間後,新工作會立即開始處理資料。如果管道無法容忍重複資料或部分匯總,但可以接受在舊工作耗盡時短暫暫停處理,請使用這個工作流程。
傳送自動停止及替換更新要求
如要使用這個工作流程,請按照下列指示操作:
- 您必須設定
parallel_replace_job_max_stop_duration選項。 - 請勿設定
parallel_replace_job_min_parallel_pipelines_duration選項。設定並行時間長度會改為觸發自動並行管道更新工作流程。
使用下列服務選項,啟動自動停止並取代更新要求:
Java
方法 1:使用相同的工作名稱進行更新
--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
- 如要使用相同名稱執行自動停止和取代更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要改為執行就地更新,請使用
update_strategy_in_place_update。
方法 2:使用其他工作名稱更新
--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:停用自動取消功能
指定 parallel_replace_job_max_stop_duration 選項時,系統預設會啟用自動取消功能。如要停用自動取消功能,請將 parallel_replace_job_cancel_on_drain_timeout 選項設為 false。
--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=false"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
Python
方法 1:使用相同的工作名稱進行更新
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- 如要使用相同名稱執行自動停止和取代更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要改為執行就地更新,請使用
update_strategy_in_place_update。
方法 2:使用其他工作名稱更新
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:停用自動取消功能
指定 parallel_replace_job_max_stop_duration 選項時,系統預設會啟用自動取消功能。如要停用自動取消功能,請將 parallel_replace_job_cancel_on_drain_timeout 選項設為 false。
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
Go
方法 1:使用相同的工作名稱進行更新
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- 如要使用相同名稱執行自動停止和取代更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要改為執行就地更新,請使用
update_strategy_in_place_update。
方法 2:使用其他工作名稱更新
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:停用自動取消功能
指定 parallel_replace_job_max_stop_duration 選項時,系統預設會啟用自動取消功能。如要停用自動取消功能,請將 parallel_replace_job_cancel_on_drain_timeout 選項設為 false。
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
gcloud
方法 1:使用相同的工作名稱進行更新
--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
- 如要使用相同名稱執行自動停止和取代更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要改為執行就地更新,請使用
update_strategy_in_place_update。
方法 2:使用其他工作名稱更新
--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--additional-experiments="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:停用自動取消功能
指定 parallel_replace_job_max_stop_duration 選項時,系統預設會啟用自動取消功能。如要停用自動取消功能,請將 parallel_replace_job_cancel_on_drain_timeout 選項設為 false。
--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=false"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
選用:新增或更新 (建立或更新工作)
如要啟用 upsert (建立或更新工作) 行為,請按照下列步驟操作:
--additional-experiments="create_or_update_job"
Terraform
additional_experiments = [
"parallel_replace_job_max_stop_duration=DURATION",
"parallel_replace_job_cancel_on_drain_timeout=true",
"update_strategy_parallel_job_update",
"parallel_replace_job_preallocate_compute_resources=true",
"create_or_update_job"
]
Config Connector
metadata:
annotations:
# Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
# https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
alpha.cnrm.cloud.google.com/reconciler: direct
# Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
cnrm.cloud.google.com/on-delete: drain
# Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
cnrm.cloud.google.com/deletion-policy: abandon
spec:
...
additionalExperiments:
- "parallel_replace_job_max_stop_duration=DURATION"
- "parallel_replace_job_cancel_on_drain_timeout=true"
- "update_strategy_parallel_job_update"
- "parallel_replace_job_preallocate_compute_resources=true"
- "create_or_update_job"
請替換下列變數:
- 您必須提供
parallel_replace_job_name或parallel_replace_job_id,以識別要取代的工作:OLD_JOB_NAME:要取代的工作名稱。OLD_JOB_ID:要取代的工作 ID。
- 您必須提供
parallel_replace_job_max_stop_duration值,才能啟用自動停止及替換功能:DURATION::新工作 等待舊工作完成排空作業的時間上限。時間長度必須採用以s、m或h結尾的字串格式 (例如30m、1h)。
- 使用這個工作流程時,請勿設定
parallel_replace_job_min_parallel_pipelines_duration選項。設定這個選項會改為觸發自動平行管道更新工作流程。 - 選用:設定
parallel_replace_job_cancel_on_drain_timeout選項。設定parallel_replace_job_max_stop_duration選項時,系統預設會啟用自動取消功能 (預設為true),因此您不需要明確設定這個選項來啟用。- 如要保留預設行為,請省略這個選項或設為
true。 - 如要停用自動取消功能,請將這個選項設為
false。如果將這個選項設為false,且舊工作卡在「正在清空」狀態,則新舊工作會繼續並行。
- 如要保留預設行為,請省略這個選項或設為
- 選用:定義
parallel_replace_job_preallocate_compute_resources設定:- 指定是否在舊工作耗盡時,預先為新工作佈建 worker。值:
true(預設) 或false。如果是 Terraform 和 Config Connector,建議將這個選項設為true,以免資源佈建逾時。如果parallel_replace_job_preallocate_compute_resources設為false,新工作會維持在待處理狀態,直到舊工作耗盡為止。
- 指定是否在舊工作耗盡時,預先為新工作佈建 worker。值:
使用 Pub/Sub 快照和搜尋功能重新處理訊息
在某些情況下,替換或取消已排空的管道後,您可能需要重新處理先前傳送的 Pub/Sub 訊息。例如,您可能需要使用更新後的商業邏輯重新處理資料。Pub/Sub 搜尋功能可讓您重播 Pub/Sub 快照中的訊息。您可以使用 Pub/Sub Seek 搭配 Dataflow,從建立訂閱項目快照的時間點重新處理訊息。
在開發和測試期間,您也可以使用 Pub/Sub Seek 重複重播已知訊息,驗證管道的輸出內容。使用 Pub/Sub Seek 時,如果管道正在使用訂閱項目,請勿搜尋訂閱項目快照。否則,Dataflow 的浮水印邏輯可能會失效,進而影響 Pub/Sub 訊息的「僅一次」處理作業。
如要在終端機視窗中搭配使用 Pub/Sub Seek 和 Dataflow 管道,建議採用下列 gcloud CLI 工作流程:
如要建立訂閱項目的快照,請使用
gcloud pubsub snapshots create指令:gcloud pubsub snapshots create SNAPSHOT_NAME --subscription=PIPELINE_SUBSCRIPTION_NAME
如要排空或取消管道,請使用
gcloud dataflow jobs drain指令或gcloud dataflow jobs cancel指令:gcloud dataflow jobs drain JOB_ID
或
gcloud dataflow jobs cancel JOB_ID
如要跳轉至快照,請使用
gcloud pubsub subscriptions seek指令:gcloud pubsub subscriptions seek SNAPSHOT_NAME
部署新的管道,用於取用訂閱項目。
同時執行多個管道
如要在更新期間避免串流管道中斷,可以執行平行管道。這種方法可讓您使用更新後的管道程式碼啟動新的串流工作,並與現有工作平行執行。您可以使用 Dataflow 的自動化平行管道更新部署工作流程,也可以手動執行步驟。
並行管道總覽
建立新的管道時,請使用與現有管道相同的視窗策略。如果是手動工作流程,請讓現有管道繼續執行,直到其浮水印超過更新後管道處理的最早完整視窗時間戳記。接著,請排空或取消現有管道。如果使用自動化工作流程,系統會為您完成這項工作。更新後的管道會繼續在原處執行,並有效接管處理作業。
下圖說明了這個程序。
在圖表中,Pipeline B 是接替 Pipeline A 的更新工作。t 值是管道 B 處理的最早完整視窗時間戳記。w 值是管道 A 的浮水印。為求簡化,我們假設浮水印完美無缺,沒有延遲資料。處理時間和 wall time 則顯示在水平軸上。兩個管道都使用五分鐘的固定 (輪轉) 視窗。浮水印通過每個視窗的結尾後,系統就會觸發結果。
由於兩個管道重疊的時間範圍內會發生並行輸出,因此請將兩個管道設為將結果寫入不同的目的地。下游系統接著可以使用兩個目的地接收器的抽象化 (例如資料庫檢視表),查詢合併結果。這些系統也可以使用抽象層,簡化重疊期間的結果。詳情請參閱「處理重複輸出」。
限制
使用自動或手動平行管道更新時,有下列限制:
- 僅限自動更新:新的平行工作必須是 Streaming Engine 工作。
- 不得同時執行名稱相同的工作。不過,使用相同工作名稱執行自動停止並取代或平行管道更新時,可以重複使用工作名稱。在這種情況下,新工作必須在前一項工作開始後至少兩分鐘才能開始。這項限制可防止用戶端程式庫重複重試,或過時的遠端程序呼叫導致多個平行更新。
- 在相同輸入內容上平行執行兩個管道,可能會導致資料重複、部分匯總,以及資料插入接收器時可能發生排序問題。下游系統必須經過設計,能預測及管理這些結果。
- 從 Pub/Sub 來源讀取資料時,不建議多個管道使用相同訂閱項目,否則可能導致正確性問題。不過,在某些用途中 (例如擷取、轉換、載入 (ETL) 管道),在兩個管道中使用相同的訂閱項目,可能會減少重複。只要重疊時間長度不為零,自動調度資源就可能發生問題。使用執行中的工作更新功能,即可緩解這個問題。詳情請參閱「微調 Pub/Sub 串流管道的自動調度資源功能」。
- 如果是 Apache Kafka,您可以在 Kafka 中啟用偏移提交,盡可能減少重複項目。如要在 Kafka 中啟用偏移量提交功能,請參閱「提交回 Kafka」。
自動平行管道更新
Dataflow 提供 API 支援,可啟動平行替換工作。這個宣告式 API 可將執行程序步驟的手動工作抽象化。您宣告要更新的工作,然後新工作會與舊工作並行執行。新工作執行指定時間後,舊工作就會清空。這項功能可避免更新期間暫停處理作業。此外,這項功能也能減少更新不相容管道所需的操作。
如果管道可容忍部分重複或部分匯總,且插入資料時不需要嚴格排序,則最適合使用這種更新方法。這項功能非常適合用於 ETL 管道,以及採用至少一次串流模式和 Redistribute 轉換 (允許重複項目設為 true) 的管道。
自動化平行管道服務選項
如要自動平行更新管道,請使用下列服務選項:
| 服務選項 | 選填或必填 | 說明 | 依附元件或排除項目 |
|---|---|---|---|
update_strategy_parallel_job_update |
必填 (選項 1:使用相同工作名稱更新) | 在相同工作名稱下更新時,執行平行更新的指令,同時執行兩個管道,盡可能縮短停機時間。 | 必須與 --update 旗標和 parallel_replace_job_min_parallel_pipelines_duration 一併設定。 |
update_strategy_in_place_update |
選用 | 並行更新的替代方案。執行標準就地工作更新。 | 必須與 --update 旗標一併設定。
與 設定這個選項後,系統會忽略與平行工作相關的其他選項。 |
parallel_replace_job_min_parallel_pipelines_duration |
必要 | 指定兩個管道同時執行的最短時間長度。
這段時間過後,系統會將排空信號傳送至舊工作。
可接受的值範圍為 0s (建議用於零重疊) 到 744h (31 天)。
|
必須搭配指定舊工作的方式。下列其中一項:
|
parallel_replace_job_name 或 parallel_replace_job_id (擇一) |
必填 (方法 2:使用其他工作名稱更新) | 在不同名稱更新期間,依名稱或 ID 識別要取代的舊工作。 | 必須設定 parallel_replace_job_min_parallel_pipelines_duration。請勿搭配使用 |
parallel_replace_job_max_stop_duration |
選用 | 舊工作在觸發自動取消前,可允許的最長排空時間。例如:30m 或 1h。 |
必須設定平行更新工作流程 (方法 1 或方法 2)。 |
parallel_replace_job_cancel_on_drain_timeout |
選用 如果設定了最長停靠時間,則預設為 |
布林值選項,指定是否要在舊工作的排出時間超過 parallel_replace_job_max_stop_duration 時取消該工作。 |
與 parallel_replace_job_max_stop_duration 搭配使用。設為 |
傳送自動平行管道更新要求
如要使用自動化工作流程,請啟動新的串流工作。更新工作時,可以使用相同或不同的工作名稱。
Java
方法 1:使用相同的工作名稱進行更新
--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要使用相同名稱執行平行更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要執行就地更新,而不移除與平行工作相關的選項,請使用
update_strategy_in_place_update,而非update_strategy_parallel_job_update。
方法 2:使用其他工作名稱更新
--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:設定排空逾時和自動取消功能
您可以將下列選項附加至任一設定,設定排出逾時時間,並在舊工作卡住時自動取消。
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=true"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
Python
方法 1:使用相同的工作名稱進行更新
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要使用相同名稱執行平行更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要執行就地更新,而不移除與平行工作相關的選項,請使用
update_strategy_in_place_update,而非update_strategy_parallel_job_update。
方法 2:使用其他工作名稱更新
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:設定排空逾時和自動取消功能
您可以將下列選項附加至任一設定,設定排出逾時時間,並在舊工作卡住時自動取消。
--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
Go
方法 1:使用相同的工作名稱進行更新
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要使用相同名稱執行平行更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要執行就地更新,而不移除與平行工作相關的選項,請使用
update_strategy_in_place_update,而非update_strategy_parallel_job_update。
方法 2:使用其他工作名稱更新
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋具有新名稱的現有工作,導致發生錯誤。
選用:設定排空逾時和自動取消功能
您可以將下列選項附加至任一設定,設定排出逾時時間,並在舊工作卡住時自動取消。
--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
gcloud
方法 1:使用相同的工作名稱進行更新
--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要使用相同名稱執行平行更新,請使用
--update旗標和update_strategy_parallel_job_update選項。 - 如要執行就地更新,而不移除與平行工作相關的選項,請使用
update_strategy_in_place_update,而非update_strategy_parallel_job_update。
方法 2:使用其他工作名稱更新
--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- 如要依 ID (而非工作名稱) 指定舊工作,請使用
--additional-experiments="parallel_replace_job_id=OLD_JOB_ID"。 - 如果您指定新的工作名稱並使用
--update旗標,Dataflow 會搜尋名稱相同的新工作,導致發生錯誤。
選用:設定排空逾時和自動取消功能
您可以將下列選項附加至任一設定,設定排出逾時時間,並在舊工作卡住時自動取消。
--additional-experiments="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=true"
如果停用自動取消功能,且舊工作卡在排空狀態,則新舊工作會繼續並行。
選用:新增或更新 (建立或更新工作)
如要啟用 upsert (建立或更新工作) 行為,請按照下列步驟操作:
--additional-experiments="create_or_update_job"
Terraform
additional_experiments = [
"parallel_replace_job_min_parallel_pipelines_duration=DURATION",
"parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION",
"update_strategy_parallel_job_update",
"create_or_update_job"
]
Config Connector
metadata:
annotations:
# Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
# https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
alpha.cnrm.cloud.google.com/reconciler: direct
# Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
cnrm.cloud.google.com/on-delete: drain
# Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
cnrm.cloud.google.com/deletion-policy: abandon
spec:
...
additionalExperiments:
- "parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- "parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION"
- "update_strategy_parallel_job_update"
- "create_or_update_job"
請替換下列變數:
- 如果您使用不同的工作名稱進行更新 (選項 2),則必須提供
parallel_replace_job_name或parallel_replace_job_id,以識別要取代的工作。Terraform 或 Config Connector 不支援使用其他工作名稱進行更新。OLD_JOB_NAME:要取代的工作名稱。OLD_JOB_ID:要取代的工作 ID。
DURATION:兩個管道並行執行的最短時間,以整數或浮點數表示。建議將時間長度設為0s,避免重疊。這段時間過後,舊工作會收到排空信號。時間長度必須介於 0 秒 (
0s) 到 31 天 (744h) 之間。請使用s、m和h指定秒、分和小時。例如,10m是 10 分鐘。DRAIN_TIMEOUT_DURATION:選用。舊工作在觸發自動取消前,可耗盡的時間上限。時間長度必須採用以s、m或h結尾的字串格式 (例如30m、1h)。parallel_replace_job_cancel_on_drain_timeout:選用。如果先前的工作未在停止時間上限前完成排空,是否要取消該工作。如果提供耗盡逾時時間長度,則預設為true。如要停用自動取消功能,請將這個選項設為false。如果將這個選項設為false,且舊工作卡在「正在清空」狀態,則新舊工作會繼續並行。
啟動新工作時,Dataflow 會等待所有 worker 佈建完畢,再開始處理資料。如要監控部署作業的狀態,請查看 Dataflow 工作記錄。
手動執行平行管道
如果遇到更複雜的情況,或需要進一步控管更新程序,可以手動執行平行管道。讓現有管道繼續執行,直到其浮水印超過更新管道處理的最早完整視窗的時間戳記。接著,請排空或取消現有的管道。
處理重複的輸出內容
以下範例說明處理重複輸出內容的方法。這兩個管道會將輸出內容寫入不同的目的地、使用下游系統查詢結果,並簡化重疊期間的結果。這個範例使用的管道會從 Pub/Sub 讀取輸入資料、執行一些處理,並將結果寫入 BigQuery。
在初始狀態下,現有的串流管道 (管道 A) 正在執行,並使用訂閱項目 (訂閱項目 A) 從 Pub/Sub 主題 (主題) 讀取訊息。結果會寫入 BigQuery 資料表 (資料表 A)。結果會透過 BigQuery 檢視表使用,該檢視表可做為遮罩,隱藏基礎資料表變更。這項程序是外觀模式設計方法的應用。下圖顯示初始狀態。
為更新後的管道建立新的訂閱項目 (訂閱項目 B)。部署更新後的管道 (管道 B),使用訂閱項目 B 從 Pub/Sub 主題 (主題) 讀取資料,並寫入個別的 BigQuery 資料表 (資料表 B)。請參考下圖說明。
此時,管道 A 和管道 B 會平行執行,並將結果寫入不同的資料表。您將時間 t 記錄為「管道 B」處理的最早完整時間範圍的時間戳記。
當管道 A 的水位標記超過時間 t 時,請清空管道 A。當您排空管道時,所有開啟的視窗都會關閉,且處理中的資料會完成處理。如果管道包含視窗,且完整視窗很重要 (假設沒有延遲資料),請先讓兩個管道執行,直到有完整的重疊視窗,再耗盡管道 A。所有傳輸中的資料都處理完畢並寫入資料表 A後,停止管道 A 的串流工作。下圖顯示這個階段。
此時只有管道 B 正在執行。您可以從 BigQuery 檢視表 (Façade View) 進行查詢,該檢視表會做為資料表 A 和資料表 B 的外觀。如果兩個資料表中的資料列具有相同時間戳記,請設定檢視表,從資料表 B 傳回資料列,或者如果資料表 B 中沒有資料列,則改用資料表 A。下圖顯示檢視表 (Façade View) 從資料表 A 和資料表 B 讀取資料。
此時,您可以刪除訂閱項目 A。
如果偵測到新的管道部署作業有問題,平行管道可簡化復原作業。在這個範例中,您可能希望在監控管道 B 是否正常運作時,繼續執行管道 A。如果管道 B 發生任何問題,您可以復原至管道 A。
處理結構定義異動
資料處理系統通常需要隨著時間調整結構定義,有時是因為業務需求變更,有時則是基於技術原因。套用結構定義更新時,通常需要仔細規劃和執行,以免干擾業務資訊系統。
假設某個管道會從 Pub/Sub 主題讀取含有 JSON 酬載的訊息。管道會將每則訊息轉換為 TableRow 執行個體,然後將資料列寫入 BigQuery 資料表。輸出資料表的結構定義與管道處理的訊息類似。在下圖中,結構定義稱為「結構定義 A」。
隨著時間推移,訊息結構定義可能會發生重大變化。例如新增、移除或取代欄位。結構定義 A 演變成新的結構定義。在接下來的討論中,新結構定義稱為「結構定義 B」。在這種情況下,管道 A 必須更新,輸出資料表結構定義也必須支援結構定義 B。
您可以對輸出資料表執行部分結構定義變異,不需停機。舉例來說,您可以新增欄位或放寬資料欄模式 (例如將 REQUIRED 變更為 NULLABLE),而不會造成停機。這些異動通常不會影響現有查詢。不過,如果結構定義異動會修改或移除現有的結構定義欄位,則會破壞查詢或導致其他中斷。下列方法可因應變更,不需停機。
將管道寫入的資料分成主資料表和一或多個暫存資料表。主資料表會儲存管道寫入的歷來資料。暫存資料表會儲存最新的管道輸出內容。您可以針對主資料表和暫存資料表定義 BigQuery 外觀檢視表,讓消費者查詢歷來資料和最新資料。
下圖修訂了先前的管道流程,加入暫存資料表 (暫存資料表 A)、主資料表和外觀檢視表。
在修訂後的流程中,管道 A 會處理使用結構定義 A 的訊息,並將輸出內容寫入具有相容結構定義的暫存資料表 A。主資料表包含由先前版本管道寫入的歷來資料,以及定期從暫存資料表合併的結果。消費者可以使用外觀檢視表查詢最新資料,包括歷來資料和即時資料。
當訊息結構定義從「結構定義 A」變更為「結構定義 B」時,您可能需要更新管道程式碼,使其與使用「結構定義 B」的訊息相容。現有管道必須更新為新的實作方式。執行平行管道,可確保串流資料處理作業不中斷。終止並更換管道會導致處理作業中斷,因為有一段時間沒有管道在執行。
更新後的管道會寫入另一個使用結構定義 B 的暫存資料表 (暫存資料表 B)。您可以使用自動化工作流程建立新的暫存資料表,再更新管道。更新外觀檢視表,納入新暫存資料表的結果,可能需要使用相關的工作流程步驟。
下圖顯示更新後的流程,其中包含「Staging Table B」和「Schema B」,以及如何更新外觀檢視,納入主資料表和兩個暫存資料表的內容。
您可以定期或視需要將暫存資料表合併至主資料表,這項程序與管道更新作業分開。下圖顯示「Staging Table A」(暫存資料表 A) 如何合併至主資料表。
後續步驟
- 請參閱更新現有管道的詳細步驟。