Risolvere i problemi di scalabilità automatica di Dataflow

Questa pagina mostra come risolvere i problemi relativi alle funzionalità di scalabilità automatica di Dataflow e fornisce informazioni su come gestire la scalabilità automatica.

Il job non esegue lo scale up o lo scale down

Questa sezione fornisce informazioni sugli scenari che potrebbero impedire lo scale up o lo scale down dei worker.

Il job di streaming non esegue lo scale up

Quando la pipeline di streaming ha un backlog, i worker non eseguono lo scale up.

Questo problema si verifica quando il backlog dura meno di qualche minuto o quando il parallelismo è limitato.

A volte, il backlog è elevato, ma il parallelismo è basso. In questo caso, Dataflow non esegue lo scale up, perché il lavoro non può essere distribuito tra più worker, quindi l'aggiunta di altri worker non aiuterà l'elaborazione. Per saperne di più, consulta Scalabilità automatica in modalità flusso.

I job batch e di streaming non eseguono lo scale up

Il job batch o in modalità flusso viene eseguito come previsto, ma quando sono necessari più worker, il job non esegue lo scale up.

Questo problema potrebbe verificarsi per uno dei seguenti motivi:

  • I file temporanei o di gestione temporanea non sono accessibili. Se il job utilizza un bucket Cloud Storage, il bucket potrebbe avere una configurazione del ciclo di vita che elimina gli oggetti al suo interno. Gli oggetti eliminati includono cartelle e file temporanei e di gestione temporanea. Per verificare se i file sono stati eliminati, controlla la configurazione del ciclo di vita del bucket. Se le cartelle o i file temporanei o di gestione temporanea sono stati eliminati dopo l'avvio del job, i pacchetti necessari per creare nuovi worker potrebbero non esistere. Per risolvere il problema, ricrea le cartelle e i file nel bucket.
  • Le regole firewall impediscono ai worker di inviare e ricevere traffico sulle porte TCP necessarie. Le regole firewall potrebbero impedire l'avvio dei worker. I worker Dataflow devono essere in grado di inviare e ricevere traffico sulle porte TCP 12345 e 12346. Per saperne di più, inclusi i passaggi per risolvere il problema, consulta Regole firewall per Dataflow.
  • Un'origine personalizzata ha un metodo getProgress() che restituisce un valore NULL. Quando utilizzi un'origine personalizzata, le metriche di backlog si basano sul valore restituito del metodo getProgress() dell'origine personalizzata per iniziare a raccogliere i dati. L'implementazione predefinita per getProgress() restituisce un valore NULL. Per risolvere il problema, assicurati che l'origine personalizzata esegua l'override del metodo getProgress() predefinito per restituire un valore non NULL.
  • Un aggiornamento attivato dalla scalabilità automatica verticale disattiva temporaneamente la scalabilità automatica orizzontale. Per saperne di più, consulta Effetto sulla scalabilità automatica orizzontale.
  • Se utilizzi un'operazione map in una pipeline Python e il tuo job non esegue lo scale up, potrebbe essere necessario aggiungere una trasformazione Reshuffle al codice della pipeline. Per saperne di più, consulta Reshuffle nella documentazione di Apache Beam.

Il job di streaming non fa fare lo scale down

Quando il job di flussi di dati ha un backlog basso e un utilizzo della CPU ridotto, i worker non fanno fare lo scale down. Questo problema può verificarsi per vari motivi.

  • Quando i job non utilizzano Streaming Engine, Dataflow bilancia il numero di Persistent Disk tra i worker. Di conseguenza, ogni worker deve avere un numero uguale di Persistent Disk. Ad esempio, se sono presenti 100 dischi e 100 worker, ogni worker ha un disco. Quando il job fa lo scale down, può avere 50 worker con due Persistent Disk per worker. Il job non esegue fare lo scale down finché non può avere 25 worker con quattro dischi permanenti per worker. Inoltre, il numero minimo di worker è il valore assegnato a maxNumWorkers diviso per 15. Per saperne di più, consulta Intervallo di scalabilità per le pipeline di scalabilità automatica in modalità flusso.

  • Quando i job utilizzano Streaming Engine, il target di scale down si basa su un utilizzo della CPU target del 75%. Se non è possibile raggiungere questo utilizzo della CPU, lo scale down viene disattivato.

  • La stima del tempo di backlog deve rimanere inferiore a dieci secondi per almeno due minuti prima che i worker facciano fare lo scale down. Le fluttuazioni del tempo di backlog potrebbero impedire lo scale down. Inoltre, un throughput basso può alterare la stima del tempo.

  • PeriodicImpulse è supportato nell'SDK Apache Beam 2.60.0 e versioni successive. Quando la pipeline utilizza PeriodicImpulse con le versioni dell'SDK Apache Beam 2.59.0 e precedenti, i worker Dataflow non eseguono fare lo scale down come previsto.

Scale up interrotto

Il job batch o di flussi di dati inizia lo scale up, ma i worker interrompono lo scale up anche se rimane un backlog.

Questo problema si verifica quando vengono raggiunti i limiti di quota.

  • Quote di Compute Engine: i job Dataflow sono soggetti alla quota di Compute Engine del progetto. Se sono in esecuzione più job, il progetto potrebbe aver raggiunto il limite della quota di Compute Engine. In questo caso, Dataflow non può aumentare il numero di worker.
  • Quote di CPU: i job Dataflow sono soggetti anche alla quota di CPU del progetto. Se il tipo di worker utilizza più di una CPU, il progetto potrebbe aver raggiunto il limite della quota di CPU.
  • Quote per gli indirizzi IP esterni: quando il job utilizza indirizzi IP esterni per comunicare con le risorse, sono necessari tanti indirizzi IP esterni quanti sono i worker. Quando il numero di worker aumenta, aumenta anche il numero di indirizzi IP esterni. Quando raggiungi il limite di indirizzi IP, lo scale up dei worker viene interrotto.

Inoltre, se la regione scelta ha esaurito una risorsa, non puoi creare nuove risorse di quel tipo, anche se hai ancora quota residua nella regione o nel progetto. Ad esempio, potresti avere ancora quota per creare indirizzi IP esterni in us-central1, ma quella regione potrebbe non avere indirizzi IP disponibili. Per saperne di più, consulta Quote e disponibilità delle risorse.

Per risolvere il problema, richiedi un aumento della quota o esegui il job in un'altra regione.

Il suggerimento sull'utilizzo dei worker non ha alcun effetto

Hai impostato il suggerimento per l'utilizzo dei worker, ma il comportamento della scalabilità automatica non cambia.

Per comprendere questo problema, vai al grafico Utilizzo della CPU dei worker e controlla se il suggerimento per l'utilizzo dei worker è utilizzato attivamente. Se il suggerimento è in uso, il grafico mostra CPU utilization hint (actively used by autoscaler). In caso contrario, viene visualizzato CPU utilization hint (not actively used by autoscaler).

Il suggerimento sull'utilizzo è solo uno dei fattori che influiscono sulla scalabilità automatica. La tabella seguente elenca alcuni motivi per cui il gestore della scalabilità automatica potrebbe non utilizzare attivamente il suggerimento:

Comportamento di scalabilità osservato Cause Metriche da controllare
Nessuna modifica
  • Hai raggiunto il numero minimo o massimo di worker.
  • Il numero di worker è limitato dal numero di chiavi elaborate in parallelo.
  • I job sono limitati da RPC esterne.
  • La regolazione di scale down è troppo piccola o Dataflow sta smorzando lo scale down. Per saperne di più, consulta Euristica della scalabilità automatica in modalità flusso.
Scale up
  • Il backlog elevato o l'obiettivo di latenza sta eseguendo l'override del suggerimento.
  • Il numero minimo di worker è stato aggiornato a un valore superiore al numero attuale di worker.
Fai lo scale down
  • Il numero massimo di worker è stato aggiornato a un valore inferiore al numero attuale di worker.

Per saperne di più, consulta Euristica della scalabilità automatica in modalità flusso.

Risolvi i problemi relativi alle pianificazioni di scalabilità automatica

Se riscontri problemi durante la creazione, l'aggiornamento o l'esecuzione di pianificazioni di scalabilità automatica, esamina i seguenti scenari comuni e i passaggi per la risoluzione dei problemi.

Impossibile impostare o aggiornare una pianificazione di scalabilità automatica

Se un tentativo di creare o aggiornare una pianificazione di scalabilità automatica non va a buon fine, verifica che la configurazione della pianificazione rispetti i seguenti vincoli:

  • Limite di pianificazioni: un singolo job può avere un massimo di 10 pianificazioni di scalabilità automatica. Per aggiungere una nuova pianificazione quando il job ne ha già 10, devi prima rimuovere una pianificazione esistente.
  • Durata minima: la durata della pianificazione deve essere di almeno 5 minuti (300 secondi).
  • Vincoli dei parametri:
    • Il target di utilizzo della CPU deve essere compreso tra [0.1, 0.9].
    • Il numero massimo di worker deve essere maggiore o uguale al numero minimo di worker (max_workers ≥ min_workers).
  • Limitazioni del formato crontab all'avvio del job: le espressioni crontab specificate all'avvio del job utilizzando l'opzione della pipeline --experiments=autoscaling_schedule=... non possono contenere virgole (come 1,15 * * * * o * * * * MON,WED,FRI). Le virgole sono riservate per delimitare le opzioni della pipeline. Se la pianificazione richiede virgole, avvia il job senza la pianificazione e configuralo dopo l'avvio utilizzando un aggiornamento in corso oppure specifica più pianificazioni separate.

La programmazione non viene applicata o viene applicata una programmazione diversa

Se una pianificazione della scalabilità automatica non viene applicata durante la finestra prevista o se vengono applicate le impostazioni di una pianificazione diversa, controlla quanto segue:

  • È attiva una sola pianificazione alla volta: se due o più pianificazioni hanno finestre temporali sovrapposte, Dataflow determina quale pianificazione applicare in base alla priorità della pianificazione:
    • Viene applicata la pianificazione con il valore di priorità più alto (priority).
    • Se più pianificazioni attive condividono lo stesso valore di priorità, viene applicata la pianificazione aggiornata o modificata più di recente.
    • Al termine della durata della pianificazione attiva, Dataflow applica qualsiasi altra pianificazione ancora attiva o ripristina il comportamento di scalabilità automatica alle impostazioni predefinite del job.
  • Discrepanze di fuso orario: verifica che il fuso orario specificato per la pianificazione corrisponda alla regione prevista e alle regole dell'ora legale. Per impostazione predefinita, le ore di inizio della pianificazione vengono interpretate in UTC.
  • Verifica le pianificazioni attive nella console: nella console Google Cloud , vai alla scheda Scalabilità automatica nella pagina dei dettagli del job Dataflow per vedere quale pianificazione è attiva. Puoi anche esaminare le pianificazioni configurate e i relativi parametri eseguendo il comando gcloud dataflow jobs describe o eseguendo una query sull'API REST.

La pipeline non esegue lo scale up al numero di worker pianificato

Se una pianificazione viene attivata con limiti di worker più elevati o suggerimenti di utilizzo più bassi, ma la pipeline non esegue lo scale up al numero previsto di worker, controlla i seguenti fattori:

  • Limiti di risorse e quote: lo scale up richiede una quota di risorse sufficiente nel progetto e nella regione Google Cloud . L'allocazione dei worker potrebbe essere impedita da:
    • Quote delle istanze di Compute Engine: il tuo progetto potrebbe raggiungere il limite di istanze per la regione.
    • Quote di CPU: se i worker utilizzano più CPU (ad esempio n1-standard-4), assicurati che il progetto disponga di una quota di CPU sufficiente.
    • Quote degli indirizzi IP: ogni VM worker richiede un indirizzo IP. Se la quota di indirizzi IP nella tua rete VPC o nella tua regione è esaurita, non è possibile eseguire il provisioning di nuovi worker.
    • Disponibilità delle risorse: se la regione o la zona subisce un esaurimento temporaneo delle risorse, Dataflow potrebbe non essere in grado di creare nuove istanze worker anche se la quota è disponibile. Per saperne di più, consulta Interruzione dello scale up.
  • Sensibilità del livello di latenza: se la pianificazione attiva configura un livello di latenza di medium_latency o high_latency, Dataflow attende intenzionalmente l'accumulo di un backlog maggiore prima di attivare gli eventi di scale up:

    • low_latency (predefinito): lo scale up viene eseguito quando il backlog supera i 15 secondi.
    • medium_latency: lo scale up viene eseguito quando il backlog supera i 180 secondi (3 minuti).
    • high_latency: lo scale up viene eseguito quando il backlog supera i 600 secondi (10 minuti).

    Se il job sembra subire un ritardo o uno scale up durante una finestra di programmazione, verifica se la pianificazione attiva ha configurato un livello di latenza più elevato.

  • Limiti di parallelismo basato su chiavi: Dataflow non può scalare oltre il numero di chiavi di elaborazione distinte disponibili in quella fase. Se il tuo stream di dati contiene poche chiavi univoche, l'aggiunta di worker non può migliorare la velocità effettiva e Dataflow limita il numero di worker per evitare risorse inattive.

  • Stabilità del pool di worker: se le istanze worker riscontrano arresti anomali o errori di memoria esaurita (OOM), Dataflow mette temporaneamente in pausa le richieste di ridimensionamento della scalabilità automatica finché il pool di worker non si stabilizza.

Lacune nelle metriche di scalabilità automatica

Si verificano brevi lacune temporanee nelle metriche di scalabilità automatica.

Questo problema può verificarsi se le attività di backend vengono riavviate. Queste lacune nelle metriche non indicano un problema con la scalabilità automatica o l'integrità del job di streaming.

La CPU è distribuita in modo non uniforme

Quando il job è in fase di scalabilità automatica, l'utilizzo della CPU è distribuito in modo non uniforme tra i worker. Alcuni worker hanno un utilizzo della CPU, una latenza di sistema o una aggiornamento dei dati più elevati rispetto ad altri.

Questo problema può verificarsi se i dati contengono una hot key. Una hot key è una chiave con un numero di elementi sufficiente a influire negativamente sulle prestazioni della pipeline. Ogni chiave deve essere elaborata da un singolo worker, quindi il lavoro non può essere suddiviso tra i worker.

Per saperne di più, consulta le indicazioni sugli errori relativi alle hot key.

L'elemento di lavoro che richiede la lettura dello stato non è più valido nel backend

Durante la comunicazione tra le istanze VM worker e le attività di Streaming Engine in una pipeline di streaming, si verifica il seguente errore:

The work item requesting state read is no longer valid on the backend.
The work has already completed or will be retried.
This is expected during autoscaling events.

Durante la scalabilità automatica, le istanze VM worker comunicano con più attività di Streaming Engine e ogni attività gestisce più istanze VM worker. Le chiavi degli elementi vengono utilizzate per distribuire il lavoro. Ogni attività e istanza VM worker ha una raccolta di intervalli di chiavi e la distribuzione di questi intervalli può cambiare in modo dinamico. Ad esempio, durante la scalabilità automatica, il ridimensionamento dei job può causare la modifica della distribuzione degli intervalli di chiavi. Questo errore può verificarsi quando un intervallo di chiavi cambia. L'errore è previsto e, a meno che non vedi una correlazione tra questi messaggi e una pipeline con prestazioni inferiori, puoi ignorarlo.

Risorse Streaming Engine insufficienti

Se Streaming Engine non riesce ad allocare il numero minimo di worker che richiedi, viene restituito il seguente errore:

Streaming Engine does not currently have enough resources available to fulfill
the request.

Per risolvere il problema, prova a impostare un numero minimo di worker inferiore. Consulta Imposta l'intervallo di scalabilità automatica.

Intervallo di scalabilità per le pipeline di scalabilità automatica in modalità flusso

Questa sezione fornisce dettagli sull'intervallo di scalabilità per le pipeline di scalabilità automatica in modalità flusso.

Java

Per i job di scalabilità automatica in modalità flusso che non utilizzano Streaming Engine, il servizio Dataflow alloca da 1 a 15 Persistent Disk per ogni worker. Questa allocazione significa che il numero minimo di worker utilizzati per una pipeline di scalabilità automatica in modalità flusso è N/15, dove N è il valore di --maxNumWorkers.

Per i job di scalabilità automatica in modalità flusso che utilizzano Streaming Engine, il numero minimo di worker è 1.

Dataflow bilancia il numero di Persistent Disk tra i worker. Ad esempio, se la pipeline richiede tre o quattro worker in stato stabile, puoi impostare --maxNumWorkers=15. La pipeline scala automaticamente tra 1 e 15 worker, utilizzando 1, 3, 5 o 15 worker, che corrispondono rispettivamente a 15, 5, 3 o 1 Persistent Disk per worker.

--maxNumWorkers può essere al massimo 1000.

Python

Per i job di scalabilità automatica in modalità flusso che non utilizzano Streaming Engine, il servizio Dataflow alloca da 1 a 15 Persistent Disk per ogni worker. Questa allocazione significa che il numero minimo di worker utilizzati per una pipeline di scalabilità automatica in modalità flusso è N/15, dove N è il valore di --max_num_workers.

Per i job di scalabilità automatica in modalità flusso che utilizzano Streaming Engine, il numero minimo di worker è 1.

Dataflow bilancia il numero di Persistent Disk tra i worker. Ad esempio, se la pipeline richiede tre o quattro worker in stato stabile, puoi impostare --max_num_workers=15. La pipeline scala automaticamente tra 1 e 15 worker, utilizzando 1, 2, 3, 4, 5, 8 o 15 worker, che corrispondono rispettivamente a 15, 8, 5, 4, 3, 2 o 1 Persistent Disk per worker.

--max_num_workers può essere al massimo 1000.

Vai

Per i job di scalabilità automatica in modalità flusso che non utilizzano Streaming Engine, il servizio Dataflow alloca da 1 a 15 Persistent Disk per ogni worker. Questa allocazione significa che il numero minimo di worker utilizzati per una pipeline di scalabilità automatica in modalità flusso è N/15, dove N è il valore di --max_num_workers.

Per i job di scalabilità automatica in modalità flusso che utilizzano Streaming Engine, il numero minimo di worker è 1.

Dataflow bilancia il numero di Persistent Disk tra i worker. Ad esempio, se la pipeline richiede tre o quattro worker in stato stabile, puoi impostare --max_num_workers=15. La pipeline scala automaticamente tra 1 e 15 worker, utilizzando 1, 2, 3, 4, 5, 8 o 15 worker, che corrispondono rispettivamente a 15, 8, 5, 4, 3, 2 o 1 Persistent Disk per worker.

--max_num_workers può essere al massimo 1000.

Numero massimo di worker che la scalabilità automatica in modalità flusso potrebbe utilizzare

Java

Dataflow opera entro i limiti della quota del numero di istanze Compute Engine del tuo progetto o di maxNumWorkers, a seconda di quale sia il valore inferiore.

Python

Dataflow opera entro i limiti della quota del numero di istanze Compute Engine del tuo progetto o di max_num_workers, a seconda di quale sia il valore inferiore.

Vai

Dataflow opera entro i limiti della quota del numero di istanze Compute Engine del tuo progetto o di max_num_workers, a seconda di quale sia il valore inferiore.

Limita la scalabilità automatica per ridurre l'impatto sulla fatturazione

Se non vuoi che la scalabilità automatica aumenti la tua fattura, puoi limitare il numero massimo di worker che il tuo job di streaming può utilizzare.

Java

Specificando --maxNumWorkers, limiti l'intervallo di scalabilità utilizzato per elaborare il job.

Python

Specificando --max_num_workers, limiti l'intervallo di scalabilità utilizzato per elaborare il job.

Vai

Specificando --max_num_workers, limiti l'intervallo di scalabilità utilizzato per elaborare il job.

Modifica l'intervallo di scalabilità

Per informazioni sulla modifica dell'intervallo di scalabilità in una pipeline di streaming, consulta Imposta l'intervallo di scalabilità automatica.

Disattiva la scalabilità automatica nelle pipeline di streaming

Per disattivare la scalabilità automatica sulla pipeline di streaming, segui questi passaggi.

Java

Imposta --autoscalingAlgorithm=NONE. Per saperne di più, consulta Disabilita la scalabilità automatica orizzontale.

Python

Imposta --autoscaling_algorithm=NONE. Per saperne di più, consulta Disabilita la scalabilità automatica orizzontale.

Vai

Imposta --autoscaling_algorithm=NONE. Per saperne di più, consulta Disabilita la scalabilità automatica orizzontale.

Utilizza un numero fisso di worker

Per i job di flussi di dati che non utilizzano Streaming Engine, il comportamento predefinito è utilizzare un numero fisso di worker. Per utilizzare la scalabilità automatica in modalità flusso con queste pipeline, devi attivarla esplicitamente, poiché non è attiva per impostazione predefinita.