Risolvere i problemi di memoria insufficiente di Dataflow

Questa pagina descrive come trovare e risolvere gli errori out of memory (OOM) in Dataflow.

Trova errori out of memory

Per determinare se la pipeline sta esaurendo la memoria, utilizza uno dei seguenti metodi.

  • Nella pagina Dettagli job, nel riquadro Log, visualizza la scheda Diagnostica. Questa scheda mostra gli errori relativi ai problemi di memoria e la frequenza con cui si verificano.
  • Nell'interfaccia di monitoraggio di Dataflow, utilizza il grafico Utilizzo della memoria per monitorare la capacità e l'utilizzo della memoria dei worker.
  • Nella pagina Dettagli job, nel riquadro Log, seleziona Log dei worker per trovare errori di memoria esaurita nei log dei worker.
  • Gli errori di memoria esaurita potrebbero essere visualizzati anche nei log di sistema. Per visualizzarli, vai a Esplora log e utilizza la seguente query:

    resource.type="dataflow_step"
    resource.labels.job_id="JOB_ID"
    "out of memory" OR "OutOfMemory" OR "Shutting down JVM"
    

    Sostituisci JOB_ID con l'ID del job.

  • Per i job Java, Java Memory Monitor genera periodicamente report sulle metriche di garbage collection. Se la frazione di tempo di CPU utilizzata per la garbage collection supera una soglia del 50% per un periodo di tempo prolungato, l'SDK Harness non va a buon fine. Potresti visualizzare un errore simile al seguente esempio:

    Shutting down JVM after 8 consecutive periods of measured GC thrashing. Memory is used/total/max = ...
    

    Questo errore può verificarsi quando la memoria fisica è ancora disponibile e di solito indica che la memoria utilizzata della pipeline è inefficiente. Per risolvere questo problema, ottimizza la pipeline.

    Java Memory Monitor è configurato dall'interfaccia MemoryMonitorOptions.

Se il job ha un utilizzo elevato della memoria utilizzata o errori out of memory, segui i consigli riportati in questa pagina per ottimizzare la memoria utilizzata o per aumentare la quantità di memoria disponibile.

Risolvi gli errori out of memory

Le modifiche alla pipeline di Dataflow potrebbero risolvere gli errori out of memory o ridurre la memoria utilizzata. Le possibili modifiche includono le seguenti azioni:

Il seguente diagramma mostra il workflow di risoluzione dei problemi di Dataflow descritto in questa pagina.

Workflow di risoluzione dei problemi della pagina.

Prova le seguenti mitigazioni:

  • Se possibile, ottimizza la pipeline per ridurre la memoria utilizzata.
  • Se il job è un job batch, prova i seguenti passaggi nell'ordine indicato:
    1. Utilizza un tipo di macchina con più memoria per vCPU.
    2. Riduci il numero di thread in modo che sia inferiore al numero di vCPU per worker.
    3. Utilizza un tipo di macchina personalizzata con più memoria per vCPU.
  • Se il job è un job di flussi di dati che utilizza Python, riduci il numero di thread a meno di 12.
  • Se il job è un job di flussi di dati che utilizza Java o Go, prova quanto segue:
    1. Riduci il numero di thread a meno di 500 per i job che utilizzano il runner portatile o a meno di 300 per i job che non utilizzano il runner portatile.
    2. Utilizza un tipo di macchina con più memoria.
  • Per le pipeline Java, se si verificano errori di out of memory durante allocazioni di memoria frequenti o thrashing della garbage collection, prova a utilizzare un garbage collector Java diverso.

Ottimizza la pipeline

Diverse operazioni della pipeline possono causare errori out of memory. Questa sezione fornisce opzioni per ridurre la memoria utilizzata dalla pipeline. Per identificare le fasi della pipeline che consumano più memoria, utilizza Cloud Profiler per monitorare le prestazioni della pipeline.

Per ottimizzare la pipeline, puoi utilizzare le seguenti best practice:

Utilizza i connettori I/O integrati di Apache Beam per leggere i file

Non aprire file di grandi dimensioni all'interno di un DoFn. Per leggere i file, utilizza i connettori I/O integrati di Apache Beam. I file aperti in un DoFn devono rientrare nella memoria. Poiché più istanze di DoFn vengono eseguite contemporaneamente, i file di grandi dimensioni aperti in DoFn possono causare errori out of memory.

Riprogetta le operazioni quando utilizzi le PTransform GroupByKey

Quando utilizzi un PTransform GroupByKey in Dataflow, i valori risultanti per chiave e per finestra vengono elaborati su un singolo thread. Poiché questi dati vengono trasmessi come stream dal servizio di backend Dataflow ai worker, non è necessario che rientrino nella memoria dei worker. Tuttavia, se i valori vengono raccolti in memoria, la logica di elaborazione potrebbe causare errori di out of memory.

Ad esempio, se hai una chiave che contiene dati per una finestra e aggiungi i valori della chiave a un oggetto in memoria, come un elenco, potrebbero verificarsi errori out of memory. In questo scenario, il worker potrebbe non avere una capacità di memoria sufficiente per contenere tutti gli oggetti.

Per saperne di più sulle PTransform GroupByKey, consulta la documentazione di Apache Beam per Python GroupByKey e Java GroupByKey.

Il seguente elenco contiene suggerimenti per progettare la pipeline in modo da ridurre al minimo il consumo di memoria quando utilizzi le PTransform GroupByKey.

  • Per ridurre la quantità di dati per chiave e per finestra, evita le chiavi con molti valori, note anche come hot key.
  • Per ridurre la quantità di dati raccolti per finestra, utilizza una finestra di dimensioni inferiori.
  • Se utilizzi i valori di una chiave in una finestra per calcolare un numero, utilizza una trasformazione Combine. Non eseguire il calcolo in un'unica istanza DoFn dopo aver raccolto i valori.
  • Filtra i valori o i duplicati prima dell'elaborazione. Per saperne di più, consulta la documentazione relativa alle trasformazioni Python Filter e Java Filter.

Riduci i dati in entrata da origini esterne

Se effettui chiamate a un'API esterna o a un database per l'arricchimento dei dati, i dati restituiti devono rientrare nella memoria del worker. Se raggruppi le chiamate in batch, ti consigliamo di utilizzare una trasformazione GroupIntoBatches. Se si verificano errori di out of memory, riduci le dimensioni del batch. Per saperne di più sul raggruppamento in batch, consulta la documentazione sulla trasformazione Python GroupIntoBatches e Java GroupIntoBatches.

Condividi oggetti tra i thread

La condivisione di un oggetto dati in memoria tra istanze DoFn può migliorare l'efficienza di spazio e accesso. Gli oggetti dati creati in qualsiasi metodo di DoFn, inclusi Setup, StartBundle, Process, FinishBundle e Teardown, vengono richiamati per ogni DoFn. In Dataflow, ogni worker potrebbe avere diverse istanze DoFn. Per un utilizzo più efficiente della memoria utilizzata, passa un oggetto dati come singleton per condividerlo tra più DoFn. Per saperne di più, consulta il blog post Riutilizzo della cache tra DoFn.

Utilizza rappresentazioni degli elementi efficienti dal punto di vista della memoria

Valuta se puoi utilizzare rappresentazioni per gli elementi PCollection che utilizzano meno memoria. Quando utilizzi i coder nella pipeline, considera non solo le rappresentazioni degli elementi PCollection codificate, ma anche quelle decodificate. Le matrici sparse possono spesso trarre vantaggio da questo tipo di ottimizzazione.

Riduci le dimensioni degli input secondari

Se i tuoi DoFn utilizzano input secondari, riduci le dimensioni dell'input secondario. Per gli input laterali che sono raccolte di elementi, valuta la possibilità di utilizzare viste iterabili, come AsIterable o AsMultimap, anziché viste che materializzano l'intero input laterale contemporaneamente, come AsList.

Riduci il numero di thread

Puoi aumentare la memoria disponibile per thread riducendo il numero massimo di thread che eseguono istanze DoFn. Questa modifica riduce il parallelismo, ma rende disponibile più memoria per ogni DoFn.

La tabella seguente mostra il numero predefinito di thread creati da Dataflow:

Tipo di job SDK Python SDK Java/Go
Batch 1 thread per vCPU 1 thread per vCPU
Streaming con Portable Runner (precedentemente chiamato Runner v2) 12 thread per vCPU 500 thread per VM worker
Streaming senza Portable Runner (precedentemente chiamato Runner v2) 12 thread per vCPU 300 thread per VM worker

Per ridurre il numero di thread dell'SDK Apache Beam, imposta la seguente opzione della pipeline:

Java

Utilizza l'opzione della pipeline --numberOfWorkerHarnessThreads.

Python

Utilizza l'opzione della pipeline --number_of_worker_harness_threads.

Vai

Utilizza l'opzione della pipeline --number_of_worker_harness_threads.

Per i job batch, imposta il valore su un numero inferiore al numero di vCPU.

Per i job di flussi di dati, inizia riducendo il valore alla metà del valore predefinito. Se questo passaggio non risolve il problema, continua a dimezzare il valore, osservando i risultati a ogni passaggio. Ad esempio, se utilizzi Python, prova i valori 6, 3 e 1.

Utilizza un tipo di macchina con più memoria per vCPU

Per selezionare un worker con più memoria per vCPU, utilizza uno dei seguenti metodi.

  • Utilizza un tipo di macchina con memoria elevata nella famiglia di macchine per uso generico. I tipi di macchine con memoria elevata hanno più memoria per vCPU rispetto ai tipi di macchine standard. L'utilizzo di un tipo di macchina con memoria elevata aumenta sia la memoria disponibile per ogni worker sia la memoria disponibile per thread, perché il numero di vCPU rimane invariato. Di conseguenza, l'utilizzo di un tipo di macchina con memoria elevata può essere un modo conveniente per selezionare un worker con più memoria per vCPU.
  • Per una maggiore flessibilità nella specifica del numero di vCPU e della quantità di memoria, puoi utilizzare un tipo di macchina personalizzata. Con i tipi di macchine personalizzate, puoi aumentare la memoria con incrementi di 256 MB. Questi tipi di macchine hanno un prezzo diverso rispetto ai tipi di macchine standard.
  • Alcune famiglie di macchine consentono di utilizzare tipi di macchine personalizzate con memoria estesa. La memoria estesa consente un rapporto memoria-vCPU più elevato. Il costo è più elevato. Esempi di tipi di macchine personalizzate con memoria estesa includono n2-custom-1-19456-ext e n2-custom-8-317440-ext.

Per impostare i tipi di worker, utilizza la seguente opzione della pipeline. Per saperne di più, consulta Impostazione delle opzioni della pipeline e Opzioni della pipeline.

Java

Utilizza l'opzione della pipeline --workerMachineType.

Python

Utilizza l'opzione della pipeline --machine_type.

Vai

Utilizza l'opzione della pipeline --worker_machine_type.

Utilizza un solo processo dell'SDK Apache Beam

Per le pipeline di streaming Python e le pipeline Python che utilizzano Portable Runner, puoi forzare Dataflow ad avviare un solo processo dell'SDK Apache Beam per worker.

Prima di provare questa opzione, prova a risolvere il problema utilizzando gli altri metodi. Per configurare le VM worker di Dataflow in modo che avviino un solo processo Python containerizzato, utilizza la seguente opzione della pipeline:

--experiments=no_use_multiple_sdk_containers

Con questa configurazione, le pipeline Python creano un processo dell'SDK Apache Beam per worker. Questa configurazione impedisce che gli oggetti e i dati condivisi vengano replicati più volte per ogni processo dell'SDK Apache Beam. Tuttavia, limita l'utilizzo efficiente delle risorse di computing disponibili sul worker.

La riduzione del numero di processi dell'SDK Apache Beam a uno non riduce necessariamente il numero totale di thread avviati sul worker. Inoltre, la presenza di tutti i thread in un unico processo dell'SDK Apache Beam potrebbe rallentare l'elaborazione o causare il blocco della pipeline. Pertanto, potresti anche dover ridurre il numero di thread, come descritto nella sezione Riduci il numero di thread in questa pagina.

Puoi anche forzare i worker a utilizzare un solo processo dell'SDK Apache Beam utilizzando un tipo di macchina con una sola vCPU.

Utilizza un garbage collector Java diverso

Per impostazione predefinita, i worker Java di Dataflow utilizzano il raccoglitore parallelo (-XX:+UseParallelGC). Massimizza il throughput della CPU con un overhead dei metadati ridotto. Tuttavia, utilizza pause stop-the-world e dà priorità alla velocità effettiva rispetto alla riduzione al minimo dell'impatto sull'heap. Poiché recupera la generazione precedente solo durante una raccolta completa, le allocazioni frequenti possono spingere l'utilizzo dell'heap vicino al massimo prima dell'esecuzione della raccolta, soprattutto in JDK 21 e versioni successive. In combinazione con la memoria off-heap, questa crescita di picco può attivare lunghe pause, thrashing della garbage collection o errori di out of memory.

La modifica del garbage collector non riduce la memoria attiva utilizzata dalla pipeline. Se gli oggetti attivi superano la memoria del worker, ottimizza la pipeline, riduci il numero di thread o utilizza un tipo di macchina con più memoria per vCPU.

Se si verificano errori di out of memory o thrashing in caso di allocazioni frequenti, prova un raccoglitore diverso utilizzando l'opzione della pipeline --experiments. I valori supportati sono --experiments=java_gc=UseG1GC o --experiments=java_gc=UseZGC (per Java 17 e versioni successive).

Comprendi la memoria utilizzata da Dataflow

Per risolvere gli errori di memoria esaurita, è utile capire in che modo le pipeline Dataflow utilizzano la memoria.

Quando Dataflow esegue una pipeline, l'elaborazione viene distribuita su più macchine virtuali (VM) Compute Engine, spesso chiamate worker. I worker elaborano gli elementi di lavoro dal servizio Dataflow e li delegano ai processi dell'SDK Apache Beam. Un processo dell'SDK Apache Beam crea istanze di DoFn. DoFn è una classe SDK Apache Beam che definisce una funzione di elaborazione distribuita.

Dataflow avvia diversi thread su ogni worker e la memoria di ogni worker è condivisa tra tutti i thread. Un thread è una singola attività eseguibile in esecuzione all'interno di un processo più grande. Il numero predefinito di thread dipende da più fattori e varia tra i job batch e quelli di flussi di dati.

Se la pipeline richiede più memoria della quantità predefinita disponibile sui worker, potresti riscontrare errori out of memory.

Le pipeline Dataflow utilizzano la memoria dei worker principalmente in tre modi:

Memoria operativa del worker

I worker Dataflow hanno bisogno di memoria per i sistemi operativi e i processi di sistema. La memoria utilizzata dal worker in genere non supera 1 GB. L'utilizzo è in genere inferiore a 1 GB.

  • Vari processi sul worker utilizzano la memoria per garantire che la pipeline funzioni correttamente. Ognuno di questi processi potrebbe riservare una piccola quantità di memoria per la sua operazione.
  • Quando la pipeline non utilizza Streaming Engine, i processi worker aggiuntivi utilizzano la memoria.

Memoria di processo dell'SDK

I processi dell'SDK Apache Beam potrebbero creare oggetti e dati condivisi tra i thread all'interno del processo, indicati in questa pagina come oggetti e dati condivisi dell'SDK. La memoria utilizzata da questi oggetti e dati condivisi dell'SDK è denominata memoria di processo dell'SDK. Il seguente elenco include esempi di oggetti e dati condivisi dell'SDK:

  • Input aggiuntivi
  • Modelli di machine learning
  • Oggetti singleton in memoria
  • Oggetti Python creati con il modulo apache_beam.utils.shared
  • Dati caricati da origini esterne, come Cloud Storage o BigQuery

I job di flussi di dati che non utilizzano Streaming Engine archiviano gli input secondari in memoria. Per le pipeline Java e Go, ogni worker ha una copia dell'input secondario. Per le pipeline Python, ogni processo dell'SDK Apache Beam ha una copia dell'input secondario.

I job di flussi di dati che utilizzano Streaming Engine hanno un limite di dimensioni degli input secondari di 80 MB. Gli input secondari vengono archiviati al di fuori della memoria dei worker.

La memoria utilizzata dagli oggetti e dai dati condivisi dell'SDK cresce in modo lineare con il numero di processi dell'SDK Apache Beam. Nelle pipeline Java e Go, viene avviato un processo dell'SDK Apache Beam per worker. Nelle pipeline Python, viene avviato un processo dell'SDK Apache Beam per vCPU. Gli oggetti e i dati condivisi dell'SDK vengono riutilizzati tra i thread all'interno dello stesso processo dell'SDK Apache Beam.

Memoria utilizzata da DoFn

DoFn è una classe SDK Apache Beam che definisce una funzione di elaborazione distribuita. Ogni worker può eseguire istanze DoFn contemporanee. Ogni thread esegue un'istanza DoFn. Quando valuti la memoria utilizzata totale, potrebbe essere utile calcolare le dimensioni del working set o la quantità di memoria necessaria per consentire a un'applicazione di continuare a funzionare. Ad esempio, se un singolo DoFn utilizza un massimo di 5 MB di memoria e un worker ha 300 thread, la memoria utilizzata di DoFn potrebbe raggiungere un picco di 1, 5 GB o il numero di byte di memoria moltiplicato per il numero di thread. A seconda di come i worker utilizzano la memoria, un picco di utilizzo della memoria potrebbe causare l'out of memory dei worker.

È difficile stimare quante istanze di un DoFn vengono create da Dataflow. Il numero dipende da vari fattori, come l'SDK, il tipo di macchina e altre variabili. Inoltre, DoFn potrebbe essere utilizzato da più thread in successione. Il servizio Dataflow non garantisce il numero di volte in cui viene richiamato un DoFn, né il numero esatto di istanze DoFn create nel corso di una pipeline. Tuttavia, la tabella seguente fornisce alcune informazioni sul livello di parallelismo che puoi aspettarti e stima un limite superiore per il numero di istanze DoFn.

SDK Beam Python

Batch Streaming senza Streaming Engine Streaming Engine
Parallelismo

1 processo per vCPU

1 thread per processo

1 thread per vCPU

1 processo per vCPU

12 thread per processo

12 thread per vCPU

1 processo per vCPU

12 thread per processo

12 thread per vCPU

Numero massimo di istanze DoFn simultanee (tutti questi numeri sono soggetti a modifica in qualsiasi momento).

1 DoFn per thread

1 DoFn per vCPU

1 DoFn per thread

12 DoFn per vCPU

1 DoFn per thread

12 DoFn per vCPU

SDK Beam Java/Go

Batch Streaming Appliance e Streaming Engine senza Portable Runner Streaming Engine con Portable Runner
Parallelismo

1 processo per VM worker

1 thread per vCPU

1 processo per VM worker

300 thread per processo

300 thread per VM worker

1 processo per VM worker

500 thread per processo

500 thread per VM worker

Numero massimo di istanze DoFn simultanee (tutti questi numeri sono soggetti a modifica in qualsiasi momento).

1 DoFn per thread

1 DoFn per vCPU

1 DoFn per thread

300 DoFn per VM worker

1 DoFn per thread

500 DoFn per VM worker

Ad esempio, quando utilizzi l'SDK Python con un worker Dataflow n1-standard-2, si applica quanto segue:

  • Job batch: Dataflow avvia un processo per vCPU (due in questo caso). Ogni processo utilizza un thread e ogni thread crea un'istanza DoFn.
  • Job in modalità flusso con Streaming Engine: Dataflow avvia un processo per vCPU (due in totale). Tuttavia, ogni processo può generare fino a 12 thread, ciascuno con la propria istanza DoFn.

Quando progetti pipeline complesse, è importante comprendere il ciclo di vita di DoFn. Assicurati che le funzioni DoFn siano serializzabili ed evita di modificare l'argomento dell'elemento direttamente al loro interno.

Quando hai una pipeline multilingue e sul worker sono in esecuzione più SDK Apache Beam, il worker utilizza il livello più basso possibile di parallelismo thread per processo.

Differenze tra Java, Go e Python

Java, Go e Python gestiscono i processi e la memoria in modo diverso. Di conseguenza, l'approccio che devi adottare per risolvere gli errori di memoria esaurita varia a seconda che la pipeline utilizzi Java, Go o Python.

Pipeline Java e Go

Nelle pipeline Java e Go:

  • Ogni worker avvia un processo dell'SDK Apache Beam.
  • Gli oggetti e i dati condivisi dell'SDK, come gli input laterali e le cache, sono condivisi tra tutti i thread del worker.
  • La memoria utilizzata dagli oggetti e dai dati condivisi dell'SDK in genere non viene scalata in base al numero di vCPU sul worker.

Pipeline Python

Nelle pipeline Python:

  • Ogni worker avvia un processo dell'SDK Apache Beam per vCPU.
  • Gli oggetti e i dati condivisi dell'SDK, come gli input laterali e le cache, sono condivisi tra tutti i thread all'interno di ogni processo dell'SDK Apache Beam.
  • Il numero totale di thread sul worker scala in modo lineare in base al numero di vCPU. Di conseguenza, la memoria utilizzata dagli oggetti e dai dati condivisi dell'SDK cresce in modo lineare con il numero di vCPU.
  • I thread che eseguono il lavoro sono distribuiti tra i processi. Le nuove unità di lavoro vengono assegnate a un processo senza elementi di lavoro o al processo con il minor numero di elementi di lavoro assegnati in quel momento.