排解 Dataflow 記憶體不足錯誤

本頁面說明如何找出及解決 Dataflow 中的記憶體不足 (OOM) 錯誤。

找出記憶體不足錯誤

如要判斷管道是否記憶體不足,請使用下列其中一種方法。

  • 在「Jobs details」(工作詳細資料) 頁面的「Logs」(記錄) 窗格中,查看「Diagnostics」(診斷) 分頁。這個分頁會顯示與記憶體問題相關的錯誤,以及錯誤發生頻率。
  • 在 Dataflow 監控介面中,使用「Memory utilization」(記憶體使用率) 圖表監控 worker 記憶體容量和用量。
  • 在「Jobs details」(工作詳細資料) 頁面的「Logs」(記錄) 窗格中,選取「Worker logs」(工作站記錄),找出工作站記錄中的記憶體不足錯誤。
  • 系統記錄中也可能顯示記憶體不足錯誤。如要查看這些記錄,請前往 Logs Explorer,並使用下列查詢:

    resource.type="dataflow_step"
    resource.labels.job_id="JOB_ID"
    "out of memory" OR "OutOfMemory" OR "Shutting down JVM"
    

    將 JOB_ID 替換為工作 ID。

  • 如果是 Java 工作,Java 記憶體監控工具會定期回報垃圾收集指標。如果用於垃圾收集的 CPU 作業時間比例長時間超過 50% 的門檻,SDK 框架就會失敗。您可能會看到類似以下範例的錯誤:

    Shutting down JVM after 8 consecutive periods of measured GC thrashing. Memory is used/total/max = ...
    

    即使實體記憶體仍可用,也可能發生這項錯誤,通常表示管道的記憶體用量效率不佳。如要解決這個問題,請最佳化管道。

    Java 記憶體監控工具是透過 MemoryMonitorOptions 介面設定。

如果工作記憶體用量偏高或發生記憶體不足錯誤,請按照本頁建議,最佳化記憶體用量或增加可用記憶體。

解決記憶體不足錯誤

變更 Dataflow 管道或許能解決記憶體不足錯誤,或減少記憶體用量。可能採取的變更包括:

下圖顯示本頁所述的 Dataflow 疑難排解工作流程。

頁面的疑難排解工作流程。

請嘗試下列緩解措施:

  • 如果可以,請最佳化管道,減少記憶體用量。
  • 如果工作是批次工作,請依序嘗試下列步驟:
    1. 使用每個 vCPU 記憶體較多的機型。
    2. 將執行緒數量減少至低於每個 worker 的 vCPU 數量。
    3. 使用每個 vCPU 記憶體較多的自訂機型。
  • 如果工作是使用 Python 的串流工作,請將執行緒數量減少到 12 個以下。
  • 如果工作是使用 Java 或 Go 的串流工作,請嘗試下列做法:
    1. 如果工作使用 Portable Runner,請將執行緒數量減少至 500 個以下;如果工作不使用 Portable Runner,請將執行緒數量減少至 300 個以下。
    2. 使用記憶體較多的機型。
  • 如果是 Java 管道,當頻繁配置記憶體或垃圾收集顛簸時,發生記憶體不足錯誤,請嘗試使用其他 Java 垃圾收集器。

最佳化管道

多項管道作業可能會導致記憶體不足錯誤。本節提供減少管道記憶體用量的選項。如要找出耗用最多記憶體的管道階段,請使用 Cloud Profiler 監控管道效能。

您可以採用下列最佳做法,將管道最佳化:

使用 Apache Beam 內建 I/O 連接器讀取檔案

請勿在 DoFn 中開啟大型檔案。如要讀取檔案,請使用 Apache Beam 內建 I/O 連接器。在 DoFn 中開啟的檔案必須符合記憶體大小。由於多個 DoFn 執行個體會同時執行,因此在 DoFn 中開啟大型檔案可能會導致記憶體不足錯誤。

使用 GroupByKey PTransform 時重新設計作業

在 Dataflow 中使用 GroupByKey PTransform 時,系統會以單一執行緒處理每個鍵和每個視窗的值。這項資料會以串流形式從 Dataflow 後端服務傳遞至 worker,因此不需要符合 worker 記憶體大小。不過,如果值是在記憶體中收集,處理邏輯可能會導致記憶體不足錯誤。

舉例來說,如果某個鍵包含視窗的資料,而您將鍵值新增至記憶體內物件 (例如清單),就可能發生記憶體不足錯誤。在這種情況下,worker 可能沒有足夠的記憶體容量來保存所有物件。

如要進一步瞭解 GroupByKey PTransform,請參閱 Apache Beam Python GroupByKey 和 Java GroupByKey 說明文件。

以下列出設計管道的建議,可盡量減少使用 GroupByKey PTransform 時的記憶體消耗量。

  • 如要減少每個索引鍵和每個視窗的資料量,請避免使用具有多個值的索引鍵,也就是熱鍵。
  • 如要減少每個視窗收集的資料量,請縮小視窗。
  • 如要使用視窗中的鍵值計算數字,請使用 Combine 轉換。請勿在收集值後,於單一 DoFn 執行個體中進行計算。
  • 在處理前篩選值或重複項目。詳情請參閱 Python Filter 和 Java Filter 轉換說明文件。

減少從外部來源輸入的資料

如果您呼叫外部 API 或資料庫來充實資料,傳回的資料必須能放入 worker 記憶體。如要批次處理呼叫,建議使用 GroupIntoBatches 轉換。如果發生記憶體不足錯誤,請縮減批次大小。如要進一步瞭解如何分組為批次,請參閱 Python GroupIntoBatches 和 Java GroupIntoBatches 轉換說明文件。

跨執行緒共用物件

在 DoFn 執行個體之間共用記憶體內資料物件,可提高空間和存取效率。在 DoFn 的任何方法中建立的資料物件,包括 Setup、StartBundle、Process、FinishBundle 和 Teardown,都會針對每個 DoFn 叫用。在 Dataflow 中,每個 worker 可能有多個 DoFn 執行個體。為提高記憶體用量使用效率,請將資料物件做為單例模式傳遞,以便在多個 DoFn 之間共用。詳情請參閱網誌文章「跨 DoFn 重複使用快取」。

使用節省記憶體的元素表示法

評估是否能使用記憶體用量較少的 PCollection 元素表示法。在管道中使用編碼器時,除了編碼後的 PCollection 元素表示法,也請考量解碼後的表示法。稀疏矩陣通常可以透過這類最佳化作業受益。

縮減側輸入項的大小

如果 DoFn 使用側邊輸入,請縮減側邊輸入的大小。如果側邊輸入是元素集合,建議使用可疊代檢視畫面,例如 AsIterable 或 AsMultimap,而非同時具體化整個側邊輸入的檢視畫面,例如 AsList。

減少執行緒數量

您可以減少執行 DoFn 執行個體的執行緒數量上限,藉此增加每個執行緒可用的記憶體。這項變更會降低平行處理程度,但可為每個 DoFn 提供更多記憶體。

下表列出 Dataflow 建立的預設執行緒數量:

工作類型 Python SDK Java/Go SDK
批次 每個 vCPU 1 個執行緒 每個 vCPU 1 個執行緒
使用 Portable Runner (舊稱 Runner v2) 串流 每個 vCPU 12 個執行緒 每個 worker VM 500 個執行緒
不使用 Portable Runner (舊稱 Runner v2) 的串流 每個 vCPU 12 個執行緒 每個 worker VM 300 個執行緒

如要減少 Apache Beam SDK 執行緒數量,請設定下列管道選項:

Java

使用 --numberOfWorkerHarnessThreads 管道選項。

Python

使用 --number_of_worker_harness_threads 管道選項。

Go

使用 --number_of_worker_harness_threads 管道選項。

如果是批次工作,請將值設為小於 vCPU 數量的數字。

如果是串流工作,請先將這個值降為預設值的一半。如果這個步驟無法緩解問題,請繼續將值減半,並觀察每個步驟的結果。例如,使用 Python 時,請嘗試 6、3 和 1。

使用每個 vCPU 記憶體較多的機型

如要選取每個 vCPU 記憶體較多的 worker,請使用下列其中一種方法。

  • 使用一般用途機器系列中的高記憶體使用率機型。高記憶體使用率機型的每個 vCPU 記憶體容量高於標準機型。使用高記憶體使用率機型,可增加每個 worker 和每個執行緒可用的記憶體,因為 vCPU 數量維持不變。因此,使用高記憶體使用率機型,是為每個 vCPU 選擇更多記憶體 worker 的經濟實惠方式。
  • 如要更靈活地指定 vCPU 數量和記憶體容量,可以使用自訂機型。使用自訂機型時,您可以 256 MB 為單位增加記憶體。這些機型的價格與標準機型不同。
  • 部分機器家族可讓您使用擴充記憶體自訂機型。擴充記憶體可提高每個 vCPU 的記憶體比率。費用較高。具有擴充記憶體的自訂機型範例包括 n2-custom-1-19456-ext 和 n2-custom-8-317440-ext。

如要設定 worker 類型,請使用下列管道選項。詳情請參閱「設定管道選項」和「管道選項」。

Java

使用 --workerMachineType 管道選項。

Python

使用 --machine_type 管道選項。

Go

使用 --worker_machine_type 管道選項。

僅使用一個 Apache Beam SDK 程序

如果是 Python 串流管道和使用可攜式執行器的 Python 管道,您可以強制 Dataflow 每個 worker 只啟動一個 Apache Beam SDK 程序。

嘗試這個選項前,請先嘗試使用其他方法解決問題。如要將 Dataflow worker VM 設為只啟動一個容器化 Python 程序,請使用下列管道選項:

--experiments=no_use_multiple_sdk_containers

採用這項設定時,Python 管道會為每個 worker 建立一個 Apache Beam SDK 程序。這項設定可避免每個 Apache Beam SDK 程序多次複製共用物件和資料。不過,這會限制 worker 上可用運算資源的有效使用。

將 Apache Beam SDK 程序數量減少至一個,不一定會減少 worker 上啟動的執行緒總數。此外,如果所有執行緒都在單一 Apache Beam SDK 程序上,可能會導致處理速度緩慢或管道停滯。因此,您可能也需要減少執行緒數量,如本頁「減少執行緒數量」一節所述。

您也可以使用只有一個 vCPU 的機型,強制 worker 僅使用一個 Apache Beam SDK 程序。

使用其他 Java 垃圾收集器

根據預設,Dataflow Java worker 會使用平行收集器 (-XX:+UseParallelGC),以低中繼資料負擔最大化 CPU 處理量。不過,它會使用 stop-the-world 暫停,並優先處理處理量,而非盡量減少堆積體積。由於它只會在完整收集期間回收舊世代,因此頻繁分配可能會導致堆積用量在收集執行前接近最大值,尤其是在 JDK 21 及更新版本中。如果再加上堆積外記憶體,這種尖峰成長可能會導致長時間暫停、垃圾收集顛簸或記憶體不足錯誤。

變更垃圾收集器不會減少管道使用的即時記憶體。如果使用中的物件超過 worker 記憶體,請最佳化管道、減少執行緒數量,或使用每個 vCPU 記憶體較多的機器類型。

如果頻繁分配記憶體時發生記憶體不足錯誤或顛簸,請使用 --experiments 管道選項嘗試其他收集器。支援的值為 --experiments=java_gc=UseG1GC 或 --experiments=java_gc=UseZGC (適用於 Java 17 以上版本)。

瞭解 Dataflow 記憶體用量

如要排解記憶體不足錯誤,建議您先瞭解 Dataflow 管道如何使用記憶體。

Dataflow 執行管道時,處理作業會分散到多個 Compute Engine 虛擬機器 (VM),通常稱為 worker。worker 會處理 Dataflow 服務的工作項目,並將工作項目委派給 Apache Beam SDK 程序。Apache Beam SDK 程序會建立 DoFn 的執行個體。DoFn 是 Apache Beam SDK 類別,用於定義分散式處理函式。

Dataflow 會在每個 worker 上啟動多個執行緒,每個 worker 的記憶體會由所有執行緒共用。執行緒是在較大程序中執行的單一可執行工作。預設執行緒數量取決於多項因素,且批次和串流工作之間有所不同。

如果管道需要的記憶體超過 worker 預設可用的記憶體量,您可能會遇到記憶體不足錯誤。

Dataflow 管道主要透過三種方式使用 worker 記憶體:

Worker 作業記憶體

Dataflow worker 需要記憶體來執行作業系統和系統程序。工作站記憶體用量通常不超過 1 GB。用量通常低於 1 GB。

  • worker 上的各種程序會使用記憶體,確保管道正常運作。每個程序都可能保留少量記憶體供其運作。
  • 如果管道未使用 Streaming Engine,額外的工作站程序會使用記憶體。

SDK 程序記憶體

Apache Beam SDK 程序可能會建立物件和資料,並在程序中的執行緒之間共用,本頁面稱為 SDK 共用物件和資料。這些 SDK 共用物件和資料的記憶體用量稱為 SDK 程序記憶體。以下列舉 SDK 共用物件和資料:

  • 側邊輸入
  • 機器學習模型
  • 記憶體內單例模式物件
  • 使用 apache_beam.utils.shared 模組建立的 Python 物件
  • 從外部來源 (例如 Cloud Storage 或 BigQuery) 載入的資料

不使用 Streaming Engine 的串流工作會將側邊輸入內容儲存在記憶體中。如果是 Java 和 Go 管道,每個 worker 都會有一份側邊輸入。如果是 Python 管道,每個 Apache Beam SDK 程序都會有一份側邊輸入。

使用 Streaming Engine 的串流工作,側邊輸入大小上限為 80 MB。側輸入會儲存在 worker 記憶體外部。

SDK 共用物件和資料的記憶體用量會隨著 Apache Beam SDK 程序數量線性增加。在 Java 和 Go 管道中,每個 worker 會啟動一個 Apache Beam SDK 程序。在 Python 管道中,每個 vCPU 會啟動一個 Apache Beam SDK 程序。在同一個 Apache Beam SDK 程序中,SDK 共用物件和資料會在執行緒之間重複使用。

DoFn記憶體用量

DoFn 是 Apache Beam SDK 類別,用於定義分散式處理函式。每個 worker 都能執行並行 DoFn 執行個體。每個執行緒都會執行一個 DoFn 執行個體。評估記憶體總用量時,計算工作集大小或應用程式繼續運作所需的記憶體量,可能會有幫助。舉例來說,如果個別 DoFn 最多使用 5 MB 的記憶體,且 worker 有 300 個執行緒,則 DoFn 記憶體用量可能會達到 1.5 GB 的峰值,或記憶體位元組數乘以執行緒數。視 worker 使用記憶體的方式而定,記憶體用量激增可能會導致 worker 記憶體不足。

很難估計 Dataflow 建立的 DoFn 執行個體數量。這個數量取決於多項因素,例如 SDK、機器類型和其他變數。此外,多個執行緒可能會連續使用 DoFn。Dataflow 服務不保證 DoFn 的叫用次數,也不保證在管道執行期間建立的 DoFn 執行個體確切數量。不過,下表提供一些有關預期平行處理程度的深入分析,並估算 DoFn 執行個體數量的上限。

Beam Python SDK

批次 不使用 Streaming Engine 串流 Streaming Engine
平行處理工作數量

每個 vCPU 1 個程序

每個程序 1 個執行緒

每個 vCPU 1 個執行緒

每個 vCPU 1 個程序

每個程序 12 個執行緒

每個 vCPU 12 個執行緒

每個 vCPU 1 個程序

每個程序 12 個執行緒

每個 vCPU 12 個執行緒

並行 DoFn 執行個體數量上限 (所有數字隨時可能變動)

每個討論串 1 個DoFn

每個 vCPU 1 DoFn

每個討論串 1 個DoFn

每個 vCPU 12 DoFn

每個討論串 1 個DoFn

每個 vCPU 12 DoFn

Beam Java/Go SDK

批次 不含 Portable Runner 的 Streaming Appliance 和 Streaming Engine 搭配使用 Streaming Engine 和 Portable Runner
平行處理工作數量

每個 worker VM 1 項程序

每個 vCPU 1 個執行緒

每個 worker VM 1 項程序

每個程序 300 個執行緒

每個 worker VM 300 個執行緒

每個 worker VM 1 項程序

每個程序 500 個執行緒

每個 worker VM 500 個執行緒

並行 DoFn 執行個體數量上限 (所有數字隨時可能變動)

每個討論串 1 個DoFn

每個 vCPU 1 DoFn

每個討論串 1 個DoFn

每個 worker VM 300 個DoFn

每個討論串 1 個DoFn

每個 worker VM 500 個DoFn

舉例來說,搭配使用 Python SDK 和 n1-standard-2 Dataflow worker 時,適用下列規則:

  • 批次工作:Dataflow 會為每個 vCPU 啟動一個程序 (在本例中為兩個)。每個程序使用一個執行緒,每個執行緒建立一個 DoFn 執行個體。
  • 使用 Streaming Engine 的串流工作:Dataflow 會為每個 vCPU 啟動一個程序 (共兩個)。不過,每個程序最多可產生 12 個執行緒,每個執行緒都有自己的 DoFn 執行個體。

設計複雜的管道時,請務必瞭解 DoFn 生命週期。請確保 DoFn 函式可序列化,並避免直接在函式中修改元素引數。

如果您有多語言管道,且 worker 上執行多個 Apache Beam SDK,worker 會使用最低的每個程序執行緒平行處理程度。

Java、Go 和 Python 的差異

Java、Go 和 Python 管理程序和記憶體的方式不同。因此,排解記憶體不足錯誤時應採取的做法,會因管道使用 Java、Go 或 Python 而異。

Java 和 Go 管道

在 Java 和 Go 管道中:

  • 每個 worker 都會啟動一個 Apache Beam SDK 程序。
  • SDK 共用物件和資料 (例如側邊輸入和快取) 會在 worker 的所有執行緒之間共用。
  • SDK 共用物件和資料使用的記憶體,通常不會根據 worker 的 vCPU 數量調整。

Python 管道

在 Python 管道中:

  • 每個 worker 會為每個 vCPU 啟動一個 Apache Beam SDK 程序。
  • SDK 共用物件和資料 (例如側邊輸入和快取) 會在每個 Apache Beam SDK 程序中的所有執行緒之間共用。
  • worker 上的執行緒總數會根據 vCPU 數量線性調整。因此,SDK 共用物件和資料使用的記憶體會隨著 vCPU 數量線性增加。
  • 執行工作的執行緒會分散在各個程序中。新的工作單位會指派給沒有工作項目的程序,或當時指派工作項目最少的程序。