本頁面說明如何找出及解決 Dataflow 中的記憶體不足 (OOM) 錯誤。
找出記憶體不足錯誤
如要判斷管道是否記憶體不足,請使用下列其中一種方法。
- 在「Jobs details」(工作詳細資料) 頁面的「Logs」(記錄) 窗格中,查看「Diagnostics」(診斷) 分頁。這個分頁會顯示與記憶體問題相關的錯誤,以及錯誤發生頻率。
- 在 Dataflow 監控介面中,使用「Memory utilization」(記憶體使用率) 圖表監控 worker 記憶體容量和用量。
- 在「Jobs details」(工作詳細資料) 頁面的「Logs」(記錄) 窗格中,選取「Worker logs」(工作站記錄),找出工作站記錄中的記憶體不足錯誤。
系統記錄中也可能顯示記憶體不足錯誤。如要查看這些記錄,請前往 Logs Explorer,並使用下列查詢:
resource.type="dataflow_step" resource.labels.job_id="JOB_ID" "out of memory" OR "OutOfMemory" OR "Shutting down JVM"將 JOB_ID 替換為工作 ID。
如果是 Java 工作,Java 記憶體監控工具會定期回報垃圾收集指標。如果用於垃圾收集的 CPU 作業時間比例長時間超過 50% 的門檻,SDK 框架就會失敗。您可能會看到類似以下範例的錯誤:
Shutting down JVM after 8 consecutive periods of measured GC thrashing. Memory is used/total/max = ...即使實體記憶體仍可用,也可能發生這項錯誤,通常表示管道的記憶體用量效率不佳。如要解決這個問題,請最佳化管道。
Java 記憶體監控工具是透過
MemoryMonitorOptions介面設定。
如果工作記憶體用量偏高或發生記憶體不足錯誤,請按照本頁建議,最佳化記憶體用量或增加可用記憶體。
解決記憶體不足錯誤
變更 Dataflow 管道或許能解決記憶體不足錯誤,或減少記憶體用量。可能採取的變更包括:
下圖顯示本頁所述的 Dataflow 疑難排解工作流程。

請嘗試下列緩解措施:
- 如果可以,請最佳化管道,減少記憶體用量。
- 如果工作是批次工作,請依序嘗試下列步驟:
- 使用每個 vCPU 記憶體較多的機型。
- 將執行緒數量減少至低於每個 worker 的 vCPU 數量。
- 使用每個 vCPU 記憶體較多的自訂機型。
- 如果工作是使用 Python 的串流工作,請將執行緒數量減少到 12 個以下。
- 如果工作是使用 Java 或 Go 的串流工作,請嘗試下列做法:
- 如果工作使用 Portable Runner,請將執行緒數量減少至 500 個以下;如果工作不使用 Portable Runner,請將執行緒數量減少至 300 個以下。
- 使用記憶體較多的機型。
- 如果是 Java 管道,當頻繁配置記憶體或垃圾收集顛簸時,發生記憶體不足錯誤,請嘗試使用其他 Java 垃圾收集器。
最佳化管道
多項管道作業可能會導致記憶體不足錯誤。本節提供減少管道記憶體用量的選項。如要找出耗用最多記憶體的管道階段,請使用 Cloud Profiler 監控管道效能。
您可以採用下列最佳做法,將管道最佳化:
- 使用 Apache Beam 內建 I/O 連接器讀取檔案
- 使用
GroupByKeyPTransforms 時重新設計作業 - 減少從外部來源輸入的資料
- 跨執行緒共用物件
- 使用記憶體效率高的元素表示法
- 縮減側邊輸入內容的大小
- 使用 Apache Beam 可分割 DoFn
使用 Apache Beam 內建 I/O 連接器讀取檔案
請勿在 DoFn 中開啟大型檔案。如要讀取檔案,請使用 Apache Beam 內建 I/O 連接器。在 DoFn 中開啟的檔案必須符合記憶體大小。由於多個 DoFn 執行個體會同時執行,因此在 DoFn 中開啟大型檔案可能會導致記憶體不足錯誤。
使用 GroupByKey PTransform 時重新設計作業
在 Dataflow 中使用 GroupByKey PTransform 時,系統會以單一執行緒處理每個鍵和每個視窗的值。這項資料會以串流形式從 Dataflow 後端服務傳遞至 worker,因此不需要符合 worker 記憶體大小。不過,如果值是在記憶體中收集,處理邏輯可能會導致記憶體不足錯誤。
舉例來說,如果某個鍵包含視窗的資料,而您將鍵值新增至記憶體內物件 (例如清單),就可能發生記憶體不足錯誤。在這種情況下,worker 可能沒有足夠的記憶體容量來保存所有物件。
如要進一步瞭解 GroupByKey PTransform,請參閱 Apache Beam Python GroupByKey 和 Java GroupByKey 說明文件。
以下列出設計管道的建議,可盡量減少使用 GroupByKey PTransform 時的記憶體消耗量。
- 如要減少每個索引鍵和每個視窗的資料量,請避免使用具有多個值的索引鍵,也就是熱鍵。
- 如要減少每個視窗收集的資料量,請縮小視窗。
- 如要使用視窗中的鍵值計算數字,請使用
Combine轉換。請勿在收集值後,於單一DoFn執行個體中進行計算。 - 在處理前篩選值或重複項目。詳情請參閱 Python
Filter和 JavaFilter轉換說明文件。
減少從外部來源輸入的資料
如果您呼叫外部 API 或資料庫來充實資料,傳回的資料必須能放入 worker 記憶體。如要批次處理呼叫,建議使用 GroupIntoBatches 轉換。如果發生記憶體不足錯誤,請縮減批次大小。如要進一步瞭解如何分組為批次,請參閱 Python GroupIntoBatches 和 Java GroupIntoBatches 轉換說明文件。
跨執行緒共用物件
在 DoFn 執行個體之間共用記憶體內資料物件,可提高空間和存取效率。在 DoFn 的任何方法中建立的資料物件,包括 Setup、StartBundle、Process、FinishBundle 和 Teardown,都會針對每個 DoFn 叫用。在 Dataflow 中,每個 worker 可能有多個 DoFn 執行個體。為提高記憶體用量使用效率,請將資料物件做為單例模式傳遞,以便在多個 DoFn 之間共用。詳情請參閱網誌文章「跨 DoFn 重複使用快取」。
使用節省記憶體的元素表示法
評估是否能使用記憶體用量較少的 PCollection 元素表示法。在管道中使用編碼器時,除了編碼後的 PCollection 元素表示法,也請考量解碼後的表示法。稀疏矩陣通常可以透過這類最佳化作業受益。
縮減側輸入項的大小
如果 DoFn 使用側邊輸入,請縮減側邊輸入的大小。如果側邊輸入是元素集合,建議使用可疊代檢視畫面,例如 AsIterable 或 AsMultimap,而非同時具體化整個側邊輸入的檢視畫面,例如 AsList。
減少執行緒數量
您可以減少執行 DoFn 執行個體的執行緒數量上限,藉此增加每個執行緒可用的記憶體。這項變更會降低平行處理程度,但可為每個 DoFn 提供更多記憶體。
下表列出 Dataflow 建立的預設執行緒數量:
| 工作類型 | Python SDK | Java/Go SDK |
|---|---|---|
| 批次 | 每個 vCPU 1 個執行緒 | 每個 vCPU 1 個執行緒 |
| 使用 Portable Runner (舊稱 Runner v2) 串流 | 每個 vCPU 12 個執行緒 | 每個 worker VM 500 個執行緒 |
| 不使用 Portable Runner (舊稱 Runner v2) 的串流 | 每個 vCPU 12 個執行緒 | 每個 worker VM 300 個執行緒 |
如要減少 Apache Beam SDK 執行緒數量,請設定下列管道選項:
Java
使用 --numberOfWorkerHarnessThreads 管道選項。
Python
使用 --number_of_worker_harness_threads 管道選項。
Go
使用 --number_of_worker_harness_threads 管道選項。
如果是批次工作,請將值設為小於 vCPU 數量的數字。
如果是串流工作,請先將這個值降為預設值的一半。如果這個步驟無法緩解問題,請繼續將值減半,並觀察每個步驟的結果。例如,使用 Python 時,請嘗試 6、3 和 1。
使用每個 vCPU 記憶體較多的機型
如要選取每個 vCPU 記憶體較多的 worker,請使用下列其中一種方法。
- 使用一般用途機器系列中的高記憶體使用率機型。高記憶體使用率機型的每個 vCPU 記憶體容量高於標準機型。使用高記憶體使用率機型,可增加每個 worker 和每個執行緒可用的記憶體,因為 vCPU 數量維持不變。因此,使用高記憶體使用率機型,是為每個 vCPU 選擇更多記憶體 worker 的經濟實惠方式。
- 如要更靈活地指定 vCPU 數量和記憶體容量,可以使用自訂機型。使用自訂機型時,您可以 256 MB 為單位增加記憶體。這些機型的價格與標準機型不同。
- 部分機器家族可讓您使用擴充記憶體自訂機型。擴充記憶體可提高每個 vCPU 的記憶體比率。費用較高。具有擴充記憶體的自訂機型範例包括
n2-custom-1-19456-ext和n2-custom-8-317440-ext。
如要設定 worker 類型,請使用下列管道選項。詳情請參閱「設定管道選項」和「管道選項」。
Java
使用 --workerMachineType 管道選項。
Python
使用 --machine_type 管道選項。
Go
使用 --worker_machine_type 管道選項。
僅使用一個 Apache Beam SDK 程序
如果是 Python 串流管道和使用可攜式執行器的 Python 管道,您可以強制 Dataflow 每個 worker 只啟動一個 Apache Beam SDK 程序。
嘗試這個選項前,請先嘗試使用其他方法解決問題。如要將 Dataflow worker VM 設為只啟動一個容器化 Python 程序,請使用下列管道選項:
--experiments=no_use_multiple_sdk_containers
採用這項設定時,Python 管道會為每個 worker 建立一個 Apache Beam SDK 程序。這項設定可避免每個 Apache Beam SDK 程序多次複製共用物件和資料。不過,這會限制 worker 上可用運算資源的有效使用。
將 Apache Beam SDK 程序數量減少至一個,不一定會減少 worker 上啟動的執行緒總數。此外,如果所有執行緒都在單一 Apache Beam SDK 程序上,可能會導致處理速度緩慢或管道停滯。因此,您可能也需要減少執行緒數量,如本頁「減少執行緒數量」一節所述。
您也可以使用只有一個 vCPU 的機型,強制 worker 僅使用一個 Apache Beam SDK 程序。
使用其他 Java 垃圾收集器
根據預設,Dataflow Java worker 會使用平行收集器 (-XX:+UseParallelGC),以低中繼資料負擔最大化 CPU 處理量。不過,它會使用 stop-the-world 暫停,並優先處理處理量,而非盡量減少堆積體積。由於它只會在完整收集期間回收舊世代,因此頻繁分配可能會導致堆積用量在收集執行前接近最大值,尤其是在 JDK 21 及更新版本中。如果再加上堆積外記憶體,這種尖峰成長可能會導致長時間暫停、垃圾收集顛簸或記憶體不足錯誤。
變更垃圾收集器不會減少管道使用的即時記憶體。如果使用中的物件超過 worker 記憶體,請最佳化管道、減少執行緒數量,或使用每個 vCPU 記憶體較多的機器類型。
如果頻繁分配記憶體時發生記憶體不足錯誤或顛簸,請使用 --experiments 管道選項嘗試其他收集器。支援的值為 --experiments=java_gc=UseG1GC 或 --experiments=java_gc=UseZGC (適用於 Java 17 以上版本)。
瞭解 Dataflow 記憶體用量
如要排解記憶體不足錯誤,建議您先瞭解 Dataflow 管道如何使用記憶體。
Dataflow 執行管道時,處理作業會分散到多個 Compute Engine 虛擬機器 (VM),通常稱為 worker。worker 會處理 Dataflow 服務的工作項目,並將工作項目委派給 Apache Beam SDK 程序。Apache Beam SDK 程序會建立 DoFn 的執行個體。DoFn 是 Apache Beam SDK 類別,用於定義分散式處理函式。
Dataflow 會在每個 worker 上啟動多個執行緒,每個 worker 的記憶體會由所有執行緒共用。執行緒是在較大程序中執行的單一可執行工作。預設執行緒數量取決於多項因素,且批次和串流工作之間有所不同。
如果管道需要的記憶體超過 worker 預設可用的記憶體量,您可能會遇到記憶體不足錯誤。
Dataflow 管道主要透過三種方式使用 worker 記憶體:
Worker 作業記憶體
Dataflow worker 需要記憶體來執行作業系統和系統程序。工作站記憶體用量通常不超過 1 GB。用量通常低於 1 GB。
- worker 上的各種程序會使用記憶體,確保管道正常運作。每個程序都可能保留少量記憶體供其運作。
- 如果管道未使用 Streaming Engine,額外的工作站程序會使用記憶體。
SDK 程序記憶體
Apache Beam SDK 程序可能會建立物件和資料,並在程序中的執行緒之間共用,本頁面稱為 SDK 共用物件和資料。這些 SDK 共用物件和資料的記憶體用量稱為 SDK 程序記憶體。以下列舉 SDK 共用物件和資料:
- 側邊輸入
- 機器學習模型
- 記憶體內單例模式物件
- 使用
apache_beam.utils.shared模組建立的 Python 物件 - 從外部來源 (例如 Cloud Storage 或 BigQuery) 載入的資料
不使用 Streaming Engine 的串流工作會將側邊輸入內容儲存在記憶體中。如果是 Java 和 Go 管道,每個 worker 都會有一份側邊輸入。如果是 Python 管道,每個 Apache Beam SDK 程序都會有一份側邊輸入。
使用 Streaming Engine 的串流工作,側邊輸入大小上限為 80 MB。側輸入會儲存在 worker 記憶體外部。
SDK 共用物件和資料的記憶體用量會隨著 Apache Beam SDK 程序數量線性增加。在 Java 和 Go 管道中,每個 worker 會啟動一個 Apache Beam SDK 程序。在 Python 管道中,每個 vCPU 會啟動一個 Apache Beam SDK 程序。在同一個 Apache Beam SDK 程序中,SDK 共用物件和資料會在執行緒之間重複使用。
DoFn記憶體用量
DoFn 是 Apache Beam SDK 類別,用於定義分散式處理函式。每個 worker 都能執行並行 DoFn 執行個體。每個執行緒都會執行一個 DoFn 執行個體。評估記憶體總用量時,計算工作集大小或應用程式繼續運作所需的記憶體量,可能會有幫助。舉例來說,如果個別 DoFn 最多使用 5 MB 的記憶體,且 worker 有 300 個執行緒,則 DoFn 記憶體用量可能會達到 1.5 GB 的峰值,或記憶體位元組數乘以執行緒數。視 worker 使用記憶體的方式而定,記憶體用量激增可能會導致 worker 記憶體不足。
很難估計 Dataflow 建立的 DoFn 執行個體數量。這個數量取決於多項因素,例如 SDK、機器類型和其他變數。此外,多個執行緒可能會連續使用 DoFn。Dataflow 服務不保證 DoFn 的叫用次數,也不保證在管道執行期間建立的 DoFn 執行個體確切數量。不過,下表提供一些有關預期平行處理程度的深入分析,並估算 DoFn 執行個體數量的上限。
Beam Python SDK
| 批次 | 不使用 Streaming Engine 串流 | Streaming Engine | |
|---|---|---|---|
| 平行處理工作數量 |
每個 vCPU 1 個程序 每個程序 1 個執行緒 每個 vCPU 1 個執行緒 |
每個 vCPU 1 個程序 每個程序 12 個執行緒 每個 vCPU 12 個執行緒 |
每個 vCPU 1 個程序 每個程序 12 個執行緒 每個 vCPU 12 個執行緒 |
並行 DoFn 執行個體數量上限 (所有數字隨時可能變動) |
每個討論串 1 個 每個 vCPU 1 |
每個討論串 1 個 每個 vCPU 12 |
每個討論串 1 個 每個 vCPU 12 |
Beam Java/Go SDK
| 批次 | 不含 Portable Runner 的 Streaming Appliance 和 Streaming Engine | 搭配使用 Streaming Engine 和 Portable Runner | |
|---|---|---|---|
| 平行處理工作數量 |
每個 worker VM 1 項程序 每個 vCPU 1 個執行緒 |
每個 worker VM 1 項程序 每個程序 300 個執行緒 每個 worker VM 300 個執行緒 |
每個 worker VM 1 項程序 每個程序 500 個執行緒 每個 worker VM 500 個執行緒 |
並行 DoFn 執行個體數量上限 (所有數字隨時可能變動) |
每個討論串 1 個 每個 vCPU 1 |
每個討論串 1 個 每個 worker VM 300 個 |
每個討論串 1 個 每個 worker VM 500 個 |
舉例來說,搭配使用 Python SDK 和 n1-standard-2 Dataflow worker 時,適用下列規則:
- 批次工作:Dataflow 會為每個 vCPU 啟動一個程序 (在本例中為兩個)。每個程序使用一個執行緒,每個執行緒建立一個
DoFn執行個體。 - 使用 Streaming Engine 的串流工作:Dataflow 會為每個 vCPU 啟動一個程序 (共兩個)。不過,每個程序最多可產生 12 個執行緒,每個執行緒都有自己的 DoFn 執行個體。
設計複雜的管道時,請務必瞭解 DoFn 生命週期。請確保 DoFn 函式可序列化,並避免直接在函式中修改元素引數。
如果您有多語言管道,且 worker 上執行多個 Apache Beam SDK,worker 會使用最低的每個程序執行緒平行處理程度。
Java、Go 和 Python 的差異
Java、Go 和 Python 管理程序和記憶體的方式不同。因此,排解記憶體不足錯誤時應採取的做法,會因管道使用 Java、Go 或 Python 而異。
Java 和 Go 管道
在 Java 和 Go 管道中:
- 每個 worker 都會啟動一個 Apache Beam SDK 程序。
- SDK 共用物件和資料 (例如側邊輸入和快取) 會在 worker 的所有執行緒之間共用。
- SDK 共用物件和資料使用的記憶體,通常不會根據 worker 的 vCPU 數量調整。
Python 管道
在 Python 管道中:
- 每個 worker 會為每個 vCPU 啟動一個 Apache Beam SDK 程序。
- SDK 共用物件和資料 (例如側邊輸入和快取) 會在每個 Apache Beam SDK 程序中的所有執行緒之間共用。
- worker 上的執行緒總數會根據 vCPU 數量線性調整。因此,SDK 共用物件和資料使用的記憶體會隨著 vCPU 數量線性增加。
- 執行工作的執行緒會分散在各個程序中。新的工作單位會指派給沒有工作項目的程序,或當時指派工作項目最少的程序。