Eseguire l'upgrade di una pipeline di inserimento flussi

Questa pagina fornisce indicazioni e suggerimenti per l'upgrade delle pipeline di streaming. Ad esempio, potresti dover eseguire l'upgrade a una versione più recente dell'SDK Apache Beam o aggiornare il codice della pipeline. Sono disponibili diverse opzioni per adattarsi a scenari diversi.

Mentre le pipeline batch si interrompono al completamento del job, le pipeline di streaming spesso vengono eseguite continuamente per fornire un'elaborazione senza interruzioni. Pertanto, quando esegui l'upgrade delle pipeline di streaming, devi tenere conto delle seguenti considerazioni:

  • Potresti dover ridurre al minimo o evitare interruzioni della pipeline. In alcuni casi, potresti essere in grado di tollerare un'interruzione temporanea dell'elaborazione durante il deployment di una nuova versione di una pipeline. In altri casi, l'applicazione potrebbe non essere in grado di tollerare alcuna interruzione.
  • I processi di aggiornamento della pipeline devono gestire le modifiche allo schema in modo da ridurre al minimo l'interruzione dell'elaborazione dei messaggi e di altri sistemi collegati. Ad esempio, se lo schema dei messaggi in una pipeline di elaborazione degli eventi cambia, potrebbero essere necessarie modifiche allo schema anche nei data sink downstream.

Puoi utilizzare uno dei seguenti metodi per aggiornare le pipeline di streaming, a seconda della pipeline e dei requisiti di aggiornamento:

Per ulteriori informazioni sui problemi che potresti riscontrare durante un aggiornamento e su come prevenirli, consulta Convalida un job sostitutivo e Controllo della compatibilità dei job.

Best practice

  • Esegui l'upgrade della versione dell'SDK Apache Beam separatamente da qualsiasi modifica al codice della pipeline.
  • Testa la pipeline dopo ogni modifica prima di apportare ulteriori aggiornamenti.
  • Esegui regolarmente l'upgrade della versione dell'SDK Apache Beam utilizzata dalla pipeline.
  • Utilizza metodi automatici, se possibile, come gli aggiornamenti in corso o gli aggiornamenti automatici della pipeline parallela.
  • Utilizza I/O gestito, se possibile, per usufruire dei vantaggi degli upgrade automatici delle versioni dei connettori.

Esegui aggiornamenti in tempo reale

Puoi aggiornare alcune pipeline di streaming in corso senza interrompere il job. Questo scenario è chiamato aggiornamento di un job in corso. Gli aggiornamenti dei job in corso sono disponibili solo in circostanze limitate:

  • Il job deve utilizzare Streaming Engine.
  • Il job deve essere in stato di esecuzione.
  • Stai modificando solo il numero di worker utilizzati dal job.

Per saperne di più, consulta Imposta l'intervallo di scalabilità automatica nella pagina Scalabilità automatica orizzontale.

Per istruzioni su come eseguire un aggiornamento del job in corso, consulta Aggiorna una pipeline esistente.

Creazione o aggiornamento automatico (upsert) per i modelli

Quando avvii le pipeline utilizzando un template (modelli classici, template flessibili, Terraform o Config Connector), puoi utilizzare l'esperimento create_or_update_job per utilizzare la funzionalità di creazione o aggiornamento (upsert).

Quando specifichi create_or_update_job nel parametro additional_experiments o nel flag additional-experiments:

  • Se esiste già un job in esecuzione o in fase di svuotamento con il nome specificato, il servizio di template avvia automaticamente il nuovo job come aggiornamento di quello esistente.
  • Se non esiste un job attivo con quel nome, il servizio dei template avvia il nuovo job come nuova creazione di job.

Questo esperimento elimina la necessità di determinare in modo programmatico se utilizzare l'azione API di creazione o aggiornamento quando si lancia un modello.

Per esempi di codice Terraform e Config Connector che utilizzano questo esperimento, consulta le seguenti sezioni:

Avvia un job di sostituzione

Se il job aggiornato è compatibile con quello esistente, puoi aggiornare la pipeline utilizzando l'opzione update. Quando sostituisci un job esistente, un nuovo job esegue il codice della pipeline aggiornato. Il servizio Dataflow conserva il nome del job, ma esegue il job sostitutivo con un ID job aggiornato. Questo processo potrebbe causare tempi di inattività durante l'arresto del job esistente, l'esecuzione del controllo di compatibilità e l'avvio del nuovo job. Per maggiori dettagli, consulta Gli effetti della sostituzione di un job.

Dataflow esegue un controllo di compatibilità per assicurarsi che il codice della pipeline aggiornato possa essere distribuito in sicurezza nella pipeline in esecuzione. Alcune modifiche al codice causano l'esito negativo del controllo di compatibilità, ad esempio quando vengono aggiunti o rimossi input secondari da un passaggio esistente. Se il controllo di compatibilità non va a buon fine, non puoi eseguire un aggiornamento del job in loco.

Per istruzioni su come avviare un job di sostituzione, consulta Avvia un job di sostituzione.

Se l'aggiornamento della pipeline non è compatibile con il job corrente, devi arrestare e sostituire la pipeline. Se la pipeline non può tollerare tempi di inattività, esegui pipeline parallele.

Interruzione e sostituzione manuali

Per eseguire un arresto e una sostituzione manuali, annulla o svuota la pipeline, quindi sostituiscila con la pipeline aggiornata. L'annullamento di una pipeline comporta l'interruzione immediata dell'elaborazione da parte di Dataflow e l'arresto delle risorse il più rapidamente possibile, il che può causare la perdita di alcuni dati in fase di elaborazione, noti come dati in transito. Per evitare la perdita di dati, nella maggior parte dei casi lo svuotamento è l'azione preferita. Puoi anche utilizzare gli snapshot di Dataflow per salvare lo stato di una pipeline di streaming, in modo da poter avviare una nuova versione del job Dataflow senza perdere lo stato. Per saperne di più, consulta Utilizza gli snapshot di Dataflow.

Lo svuotamento di una pipeline chiude immediatamente tutte le finestre in corso e attiva tutti i trigger. Sebbene i dati in transito non vadano persi, lo svuotamento potrebbe causare la presenza di dati incompleti nelle finestre. In questo caso, le finestre in elaborazione generano risultati parziali o incompleti. Per saperne di più, consulta Effetti dello svuotamento di un job. Al termine del job esistente, avvia un nuovo job in modalità flusso contenente il codice della pipeline aggiornato, che ti consente di riprendere l'elaborazione.

Con questo metodo, si verificano alcuni tempi di inattività tra il momento in cui il job di streaming esistente si interrompe e il momento in cui la pipeline sostitutiva è pronta per riprendere l'elaborazione dei dati. Tuttavia, l'annullamento o lo svuotamento di una pipeline esistente e il successivo lancio di un nuovo job con la pipeline aggiornata sono meno complessi rispetto all'esecuzione di pipeline parallele.

Per saperne di più, consulta Svuota un job Dataflow. Dopo aver svuotato il job corrente, avvia un nuovo job con lo stesso nome.

Interruzione e sostituzione automatiche

Dataflow fornisce il supporto API per l'avvio di un aggiornamento automatico di arresto e sostituzione. Questo workflow in stile dichiarativo elimina i passaggi procedurali manuali. Dichiari il job da sostituire e il nuovo job avvia e coordina la transizione automaticamente.

Quando utilizzi questo workflow, viene eseguito il provisioning di nuove risorse del job mentre il vecchio job è ancora in esecuzione. Il vecchio job riceve automaticamente un segnale di svuotamento. Al termine dello svuotamento del vecchio job o al raggiungimento di un timeout specificato dall'utente, il nuovo job inizia immediatamente a elaborare i dati. Utilizza questo workflow per le pipeline che non possono tollerare dati duplicati o aggregazioni parziali, ma possono accettare una breve pausa di elaborazione durante lo svuotamento del job precedente.

Invia una richiesta di aggiornamento di interruzione e sostituzione automatica

Per utilizzare questo workflow:

  • Devi impostare l'opzione parallel_replace_job_max_stop_duration.
  • Non devi impostare l'opzione parallel_replace_job_min_parallel_pipelines_duration. Se imposti una durata parallela, viene attivato il workflow degli aggiornamenti automatici della pipeline parallela.

Avvia una richiesta di aggiornamento automatico di arresto e sostituzione utilizzando le seguenti opzioni di servizio:

Java

Opzione 1: aggiorna utilizzando lo stesso nome del job

--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
  • Per eseguire un aggiornamento automatico di arresto e sostituzione utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco, utilizza update_strategy_in_place_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Disattiva l'annullamento automatico

La cancellazione automatica è abilitata per impostazione predefinita quando specifichi l'opzione parallel_replace_job_max_stop_duration. Per disattivare l'annullamento automatico, imposta l'opzione parallel_replace_job_cancel_on_drain_timeout su false.

--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=false"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

Python

Opzione 1: Aggiorna utilizzando lo stesso nome del lavoro

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • Per eseguire un aggiornamento automatico di arresto e sostituzione utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco, utilizza update_strategy_in_place_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Disattiva l'annullamento automatico

La cancellazione automatica è abilitata per impostazione predefinita quando specifichi l'opzione parallel_replace_job_max_stop_duration. Per disattivare l'annullamento automatico, imposta l'opzione parallel_replace_job_cancel_on_drain_timeout su false.

--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

Vai

Opzione 1: aggiorna utilizzando lo stesso nome del job

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • Per eseguire un aggiornamento automatico di arresto e sostituzione utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco, utilizza update_strategy_in_place_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Disattiva l'annullamento automatico

La cancellazione automatica è abilitata per impostazione predefinita quando specifichi l'opzione parallel_replace_job_max_stop_duration. Per disattivare l'annullamento automatico, imposta l'opzione parallel_replace_job_cancel_on_drain_timeout su false.

--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

gcloud

Opzione 1: aggiorna utilizzando lo stesso nome del job

--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
  • Per eseguire un aggiornamento automatico di arresto e sostituzione utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco, utilizza update_strategy_in_place_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --additional-experiments="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Disattiva l'annullamento automatico

La cancellazione automatica è abilitata per impostazione predefinita quando specifichi l'opzione parallel_replace_job_max_stop_duration. Per disattivare l'annullamento automatico, imposta l'opzione parallel_replace_job_cancel_on_drain_timeout su false.

--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=false"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

(Facoltativo) Applicare l'upsert (creare o aggiornare un job)

Per attivare il comportamento di upsert (creazione o aggiornamento del job):

--additional-experiments="create_or_update_job"

Terraform

additional_experiments = [
  "parallel_replace_job_max_stop_duration=DURATION",
  "parallel_replace_job_cancel_on_drain_timeout=true",
  "update_strategy_parallel_job_update",
  "parallel_replace_job_preallocate_compute_resources=true",
  "create_or_update_job"
]

Config Connector

metadata:
  annotations:
    # Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
    # https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
    alpha.cnrm.cloud.google.com/reconciler: direct
    # Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
    cnrm.cloud.google.com/on-delete: drain
    # Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
    cnrm.cloud.google.com/deletion-policy: abandon
spec:
  ...
  additionalExperiments:
    - "parallel_replace_job_max_stop_duration=DURATION"
    - "parallel_replace_job_cancel_on_drain_timeout=true"
    - "update_strategy_parallel_job_update"
    - "parallel_replace_job_preallocate_compute_resources=true"
    - "create_or_update_job"

Sostituisci le seguenti variabili:

  • Devi fornire parallel_replace_job_name o parallel_replace_job_id per identificare il job da sostituire:
    • OLD_JOB_NAME: il nome del job da sostituire.
    • OLD_JOB_ID: l'ID del job da sostituire.
  • Devi fornire il valore parallel_replace_job_max_stop_duration per attivare l'interruzione e la sostituzione automatiche:
    • DURATION: il tempo massimo di attesa del nuovo job per il completamento dello svuotamento del job precedente. La durata deve essere formattata come una stringa che termina con s, m o h (ad esempio, 30m, 1h).
  • Non impostare l'opzione parallel_replace_job_min_parallel_pipelines_duration quando utilizzi questo workflow. Se imposti questa opzione, viene attivato il workflow degli aggiornamenti automatici della pipeline parallela.
  • (Facoltativo) Configura l'opzione parallel_replace_job_cancel_on_drain_timeout. Poiché l'annullamento automatico è abilitato (per impostazione predefinita true) quando l'opzione parallel_replace_job_max_stop_duration è impostata, non è necessario configurare esplicitamente questa opzione per abilitarla.
    • Per mantenere il comportamento predefinito, ometti questa opzione o impostala su true.
    • Per disattivare l'annullamento automatico, imposta questa opzione su false. Se imposti questa opzione su false e il job precedente si blocca nello stato di svuotamento, sia il job precedente che quello nuovo continuano a essere eseguiti in parallelo.
  • (Facoltativo) Definisci la configurazione di parallel_replace_job_preallocate_compute_resources:
    • Specifica se i worker vengono sottoposti a provisioning in anticipo per il nuovo job mentre il vecchio job viene svuotato. Valori: true (predefinito) o false. Per Terraform e Config Connector, è consigliabile impostare questa opzione su true per evitare timeout del provisioning delle risorse. Quando parallel_replace_job_preallocate_compute_resources è impostato su false, il nuovo job rimane in stato di attesa fino al completamento del vecchio job.

Nuova elaborazione dei messaggi con snapshot e ricerca di Pub/Sub

In alcune situazioni, dopo aver sostituito o annullato una pipeline svuotata, potresti dover rielaborare i messaggi Pub/Sub inviati in precedenza. Ad esempio, potresti dover utilizzare una logica di business aggiornata per rielaborare i dati. Pub/Sub Seek è una funzionalità che consente di riprodurre i messaggi da uno snapshot Pub/Sub. Puoi utilizzare la funzionalità Pub/Sub Seek con Dataflow per rielaborare i messaggi dal momento in cui viene creato lo snapshot della sottoscrizione.

Durante lo sviluppo e i test, puoi anche utilizzare Pub/Sub Seek per riprodurre ripetutamente i messaggi noti e verificare l'output della pipeline. Quando utilizzi Pub/Sub Seek, non cercare uno snapshot della sottoscrizione se la sottoscrizione è utilizzata da una pipeline. In questo caso, la ricerca può invalidare la logica della watermark di Dataflow e potrebbe influire sull'elaborazione "exactly-once" dei messaggi Pub/Sub.

Di seguito è riportato un workflow gcloud CLI consigliato per l'utilizzo di Pub/Sub Seek con le pipeline Dataflow in una finestra del terminale:

  1. Per creare uno snapshot della sottoscrizione, utilizza il comando gcloud pubsub snapshots create:

    gcloud pubsub snapshots create SNAPSHOT_NAME --subscription=PIPELINE_SUBSCRIPTION_NAME
    
  2. Per svuotare o annullare la pipeline, utilizza il comando gcloud dataflow jobs drain o il comando gcloud dataflow jobs cancel:

    gcloud dataflow jobs drain JOB_ID
    

    o

    gcloud dataflow jobs cancel JOB_ID
    
  3. Per eseguire la ricerca nello snapshot, utilizza il comando gcloud pubsub subscriptions seek:

    gcloud pubsub subscriptions seek SNAPSHOT_NAME
    
  4. Esegui il deployment di una nuova pipeline che utilizza la sottoscrizione.

Esegui pipeline in parallelo

Se devi evitare interruzioni della pipeline di streaming durante un aggiornamento, puoi eseguire pipeline parallele. Questo approccio ti consente di avviare un nuovo job di flussi di dati con il codice della pipeline aggiornato ed eseguirlo in parallelo al job esistente. Puoi utilizzare il workflow di deployment automatico degli aggiornamenti della pipeline parallela di Dataflow o eseguire i passaggi manualmente.

Panoramica delle pipeline parallele

Quando crei la nuova pipeline, utilizza la stessa strategia di windowing che hai utilizzato per la pipeline esistente. Per il workflow manuale, consenti alla pipeline esistente di continuare l'esecuzione finché il relativo watermark non supera il timestamp della prima finestra completa elaborata dalla pipeline aggiornata. Quindi, svuota o annulla la pipeline esistente. Se utilizzi il workflow automatizzato, questo lavoro viene eseguito per te. La pipeline aggiornata continua a essere eseguita al suo posto e, di fatto, subentra nell'elaborazione in autonomia.

Il seguente diagramma illustra questo processo.

La pipeline B si sovrappone alla pipeline B per un intervallo di 5 minuti.

Nel diagramma, la Pipeline B è il job aggiornato che subentra alla Pipeline A. Il valore t è il timestamp della prima finestra completa elaborata dalla pipeline B. Il valore w è la watermark per la pipeline A. Per semplicità, si presuppone una filigrana perfetta senza dati in ritardo. Il tempo di elaborazione e il tempo totale di esecuzione sono rappresentati sull'asse orizzontale. Entrambe le pipeline utilizzano finestre fisse (a cascata) di cinque minuti. I risultati vengono attivati dopo che il watermark supera la fine di ogni finestra.

Poiché l'output simultaneo si verifica durante il periodo di tempo in cui le due pipeline si sovrappongono, configura le due pipeline in modo che scrivano i risultati in destinazioni diverse. I sistemi downstream possono quindi utilizzare un'astrazione sui due sink di destinazione, ad esempio una vista del database, per eseguire query sui risultati combinati. Questi sistemi possono anche utilizzare l'astrazione per deduplicare i risultati del periodo di sovrapposizione. Per maggiori informazioni, consulta Gestire l'output duplicato.

Limitazioni

L'utilizzo di aggiornamenti automatici o manuali delle pipeline parallele presenta le seguenti limitazioni:

  • Solo aggiornamenti automatici: il nuovo job parallelo deve essere un job di Streaming Engine.
  • I job simultanei con lo stesso nome non sono consentiti. Tuttavia, quando esegui un aggiornamento automatico della pipeline di arresto e sostituzione o parallela utilizzando lo stesso nome del job, puoi riutilizzare il nome del job. In questo caso, il nuovo job deve iniziare almeno due minuti dopo l'inizio del job precedente. Questa limitazione impedisce più aggiornamenti paralleli dovuti a nuovi tentativi ripetuti della libreria client o a chiamate di procedura remota non aggiornate.
  • L'esecuzione di due pipeline in parallelo sullo stesso input potrebbe causare dati duplicati, aggregazioni parziali e potenziali problemi di ordinamento quando i dati vengono inseriti nel sink. Il sistema downstream deve essere progettato per anticipare e gestire questi risultati.
  • Quando leggi da un'origine Pub/Sub, non è consigliabile utilizzare la stessa sottoscrizione per più pipeline, in quanto ciò può causare problemi di correttezza. Tuttavia, in alcuni casi d'uso, come le pipeline di estrazione, trasformazione e caricamento (ETL), l'utilizzo della stessa sottoscrizione in due pipeline potrebbe ridurre la duplicazione. È probabile che si verifichino problemi con la scalabilità automatica ogni volta che fornisci un valore diverso da zero per la durata della sovrapposizione. Questo problema può essere mitigato utilizzando la funzionalità di aggiornamento dei job in corso. Per saperne di più, consulta Ottimizza la scalabilità automatica per le pipeline di streaming Pub/Sub.
  • Per Apache Kafka, puoi ridurre al minimo i duplicati abilitando il commit dell'offset in Kafka. Per abilitare il commit dell'offset in Kafka, consulta Esegui il commit in Kafka.

Aggiornamenti automatici delle pipeline parallele

Dataflow fornisce il supporto API per l'avvio di un job di sostituzione parallelo. Questa API di tipo dichiarativo elimina il lavoro manuale di esecuzione dei passaggi procedurali. Dichiari il job che vuoi aggiornare, quindi un nuovo job viene eseguito in parallelo con quello precedente. Dopo che il nuovo job viene eseguito per la durata specificata, il vecchio job viene svuotato. Questa funzionalità elimina le pause di elaborazione durante gli aggiornamenti. Inoltre, riduce l'impegno operativo necessario per aggiornare le pipeline incompatibili.

Questo metodo di aggiornamento è ideale per le pipeline che possono tollerare alcuni duplicati o aggregazioni parziali e non richiedono un ordinamento rigoroso durante l'inserimento dei dati. È adatto per le pipeline ETL, nonché per le pipeline che utilizzano la modalità di flussi di dati at-least-once e la trasformazione Redistribute con l'opzione allow duplicates impostata su true.

Opzioni di servizio per pipeline parallele automatizzate

Utilizza le seguenti opzioni di servizio per gli aggiornamenti automatici delle pipeline parallele:

Opzione del servizio Obbligatorio o facoltativo Descrizione Dipendenze o esclusioni
update_strategy_parallel_job_update Obbligatorio (Opzione 1: aggiornamento utilizzando lo stesso nome del job) Comando per eseguire un aggiornamento in parallelo, che esegue entrambe le pipeline contemporaneamente per ridurre al minimo i tempi di inattività, durante l'aggiornamento con lo stesso nome del job. Deve essere impostato insieme al flag --update e parallel_replace_job_min_parallel_pipelines_duration.
update_strategy_in_place_update Optional Alternativa all'aggiornamento parallelo. Esegue un aggiornamento standard del job in loco. Deve essere impostato insieme al flag --update.

Si esclude a vicenda con update_strategy_parallel_job_update.

Quando questa opzione è impostata, le altre opzioni relative ai job paralleli vengono ignorate.

parallel_replace_job_min_parallel_pipelines_duration Obbligatorio Specifica la durata minima dell'esecuzione simultanea delle due pipeline. Trascorso questo periodo di tempo, viene inviato un segnale di svuotamento al job precedente. I valori accettati vanno da 0s (consigliato per sovrapposizione pari a zero) a 744h (31 giorni). Deve essere associato a un modo per scegliere come target il vecchio job. Uno dei seguenti:
  • Opzione 1: utilizza lo stesso nome del job: update_strategy_parallel_job_update oppure
  • Opzione 2: utilizza un nome job diverso: parallel_replace_job_name (o in alternativa parallel_replace_job_id per identificare il job)
parallel_replace_job_name o parallel_replace_job_id (scegli un'opzione) Obbligatorio (Opzione 2: aggiorna utilizzando un nome job diverso) Identifica il vecchio job in base al nome o all'ID da sostituire durante un aggiornamento con un nome diverso. Richiede l'impostazione di parallel_replace_job_min_parallel_pipelines_duration.

Non utilizzare il flag --update o parallel_replace_job_id con questa opzione.

parallel_replace_job_max_stop_duration Optional La durata massima consentita per lo svuotamento del job precedente prima che venga attivato l'annullamento automatico. Ad esempio, 30m o 1h. Richiede l'impostazione di un workflow di aggiornamento parallelo (Opzione 1 o Opzione 2).
parallel_replace_job_cancel_on_drain_timeout Optional

Il valore predefinito è true se è impostata una durata massima della sosta.

Opzione booleana che specifica se annullare il job precedente se la durata dello svuotamento supera parallel_replace_job_max_stop_duration. Utilizzato in combinazione con parallel_replace_job_max_stop_duration.

Imposta su false per disattivare l'annullamento automatico. Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, sia il job precedente sia quello nuovo continuano a essere eseguiti in parallelo.

Invia una richiesta di aggiornamento automatico della pipeline parallela

Per utilizzare il workflow automatizzato, avvia un nuovo job di streaming. Puoi aggiornare un job utilizzando lo stesso nome o un nome diverso.

Java

Opzione 1: aggiorna utilizzando lo stesso nome del job

--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per eseguire un aggiornamento parallelo utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco senza rimuovere le opzioni relative ai job paralleli, utilizza update_strategy_in_place_update anziché update_strategy_parallel_job_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Configura il timeout di svuotamento e l'annullamento automatico

Puoi aggiungere le seguenti opzioni a una delle due configurazioni per impostare un timeout di svuotamento e annullare automaticamente il job precedente se si blocca.

--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=true"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

Python

Opzione 1: Aggiorna utilizzando lo stesso nome del lavoro

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per eseguire un aggiornamento parallelo utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco senza rimuovere le opzioni relative ai job paralleli, utilizza update_strategy_in_place_update anziché update_strategy_parallel_job_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Configura il timeout di svuotamento e l'annullamento automatico

Puoi aggiungere le seguenti opzioni a una delle due configurazioni per impostare un timeout di svuotamento e annullare automaticamente il job precedente se si blocca.

--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

Vai

Opzione 1: aggiorna utilizzando lo stesso nome del job

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per eseguire un aggiornamento parallelo utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco senza rimuovere le opzioni relative ai job paralleli, utilizza update_strategy_in_place_update anziché update_strategy_parallel_job_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Configura il timeout di svuotamento e l'annullamento automatico

Puoi aggiungere le seguenti opzioni a una delle due configurazioni per impostare un timeout di svuotamento e annullare automaticamente il job precedente se si blocca.

--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

gcloud

Opzione 1: aggiorna utilizzando lo stesso nome del job

--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per eseguire un aggiornamento parallelo utilizzando lo stesso nome, utilizza il flag --update e l'opzione update_strategy_parallel_job_update.
  • Per eseguire un aggiornamento in loco senza rimuovere le opzioni relative ai job paralleli, utilizza update_strategy_in_place_update anziché update_strategy_parallel_job_update.

Opzione 2: aggiorna utilizzando un nome job diverso

--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • Per specificare il job precedente in base all'ID anziché al nome del job, utilizza --additional-experiments="parallel_replace_job_id=OLD_JOB_ID".
  • Se specifichi un nuovo nome del job e utilizzi il flag --update, Dataflow cerca un job esistente con il nuovo nome, il che causa un errore.

(Facoltativo) Configura il timeout di svuotamento e l'annullamento automatico

Puoi aggiungere le seguenti opzioni a una delle due configurazioni per impostare un timeout di svuotamento e annullare automaticamente il job precedente se si blocca.

--additional-experiments="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=true"

Se disattivi l'annullamento automatico e il job precedente si blocca nello stato di svuotamento, entrambi i job, precedente e nuovo, continuano a essere eseguiti in parallelo.

(Facoltativo) Applicare l'upsert (creare o aggiornare un job)

Per attivare il comportamento di upsert (creazione o aggiornamento del job):

--additional-experiments="create_or_update_job"

Terraform

additional_experiments = [
  "parallel_replace_job_min_parallel_pipelines_duration=DURATION",
  "parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION",
  "update_strategy_parallel_job_update",
  "create_or_update_job"
]

Config Connector

metadata:
  annotations:
    # Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
    # https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
    alpha.cnrm.cloud.google.com/reconciler: direct
    # Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
    cnrm.cloud.google.com/on-delete: drain
    # Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
    cnrm.cloud.google.com/deletion-policy: abandon
spec:
  ...
  additionalExperiments:
    - "parallel_replace_job_min_parallel_pipelines_duration=DURATION"
    - "parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION"
    - "update_strategy_parallel_job_update"
    - "create_or_update_job"

Sostituisci le seguenti variabili:

  • Se esegui l'aggiornamento utilizzando un nome job diverso (opzione 2), devi fornire parallel_replace_job_name o parallel_replace_job_id per identificare il job da sostituire. L'aggiornamento con un nome job diverso non è supportato per Terraform o Config Connector.
    • OLD_JOB_NAME: il nome del job da sostituire.
    • OLD_JOB_ID: l'ID del job da sostituire.
  • DURATION: il periodo di tempo minimo durante il quale le due pipeline vengono eseguite in parallelo, sotto forma di numero intero o in rappresentazione in virgola mobile. Per evitare sovrapposizioni, è consigliata una durata di 0s. Trascorso questo periodo, al vecchio job viene inviato un segnale di svuotamento.

    La durata deve essere compresa tra 0 secondi (0s) e 31 giorni (744h). Utilizza s, m e h per specificare secondi, minuti e ore. Ad esempio, 10m è 10 minuti.

  • DRAIN_TIMEOUT_DURATION: (Facoltativo) Il tempo massimo di svuotamento del job precedente prima che venga attivato l'annullamento automatico. La durata deve essere formattata come stringa che termina con s, m o h (ad esempio 30m, 1h).

  • parallel_replace_job_cancel_on_drain_timeout: (Facoltativo) Se annullare il job precedente se non termina lo svuotamento prima della durata massima dell'arresto. Se viene fornita una durata del timeout di svuotamento, il valore predefinito è true. Per disattivare l'annullamento automatico, imposta questa opzione su false. Se imposti questa opzione su false e il job precedente si blocca nello stato di svuotamento, sia il job precedente che quello nuovo continuano a essere eseguiti in parallelo.

Quando avvii il nuovo job, Dataflow attende il provisioning di tutti i worker prima di iniziare l'elaborazione dei dati. Per monitorare lo stato del deployment, controlla i log dei job di Dataflow.

Esegui manualmente le pipeline parallele

Per scenari più complessi o quando hai bisogno di un maggiore controllo sul processo di aggiornamento, puoi eseguire manualmente pipeline parallele. Consenti alla pipeline esistente di continuare l'esecuzione finché il relativo watermark non supera il timestamp della prima finestra completa elaborata dalla pipeline aggiornata. Quindi, svuota o annulla la pipeline esistente.

Gestisci l'output duplicato

L'esempio seguente descrive un approccio per la gestione dell'output duplicato. Le due pipeline scrivono l'output in destinazioni diverse, utilizzano sistemi downstream per eseguire query sui risultati e deduplicano i risultati del periodo di sovrapposizione. Questo esempio utilizza una pipeline che legge i dati di input da Pub/Sub, esegue alcune elaborazioni e scrive i risultati in BigQuery.

  1. Nello stato iniziale, la pipeline di streaming esistente (Pipeline A) è in esecuzione e legge i messaggi da un argomento Pub/Sub (Argomento) utilizzando una sottoscrizione (Sottoscrizione A). I risultati vengono scritti in una tabella BigQuery (Tabella A). I risultati vengono utilizzati tramite una vista BigQuery, che funge da facciata per mascherare le modifiche alla tabella sottostante. Questo processo è un'applicazione di un metodo di progettazione chiamato pattern Facade. Il seguente diagramma mostra lo stato iniziale.

    Una pipeline con una sottoscrizione e scrittura in una singola tabella BigQuery.

  2. Crea una nuova sottoscrizione (Sottoscrizione B) per la pipeline aggiornata. Esegui il deployment della pipeline aggiornata (Pipeline B), che legge dall'argomento Pub/Sub (Topic) utilizzando la Sottoscrizione B e scrive in una tabella BigQuery separata (Tabella B). Il seguente diagramma illustra questo flusso.

    Due pipeline, ciascuna con una sottoscrizione. Ogni pipeline scrive in una tabella BigQuery separata. Una vista facciata legge da entrambe le tabelle.

    A questo punto, la pipeline A e la pipeline B vengono eseguite in parallelo e scrivono i risultati in tabelle separate. Registri il tempo t come timestamp della prima finestra completa elaborata dalla pipeline B.

  3. Quando il watermark della pipeline A supera il tempo t, svuota la pipeline A. Quando svuoti la pipeline, tutte le finestre aperte vengono chiuse e l'elaborazione dei dati in transito viene completata. Se la pipeline contiene finestre e le finestre complete sono importanti (supponendo che non ci siano dati in ritardo), prima di svuotare la pipeline A, lascia che entrambe le pipeline vengano eseguite fino a quando non avrai finestre sovrapposte complete. Interrompi il job di flussi di dati per la Pipeline A dopo che tutti i dati in transito sono stati elaborati e scritti nella Tabella A. Il seguente diagramma mostra questa fase.

    La pipeline A viene svuotata e non legge più la sottoscrizione A, né invia dati alla tabella A al termine dello svuotamento. Tutta l'elaborazione viene gestita dalla seconda pipeline.

  4. A questo punto, è in esecuzione solo la pipeline B. Puoi eseguire una query da una vista BigQuery (Vista Facciata), che funge da facciata per la Tabella A e la Tabella B. Per le righe che hanno lo stesso timestamp in entrambe le tabelle, configura la vista in modo che restituisca le righe della Tabella B o, se le righe non esistono nella Tabella B, utilizza la Tabella A. Il seguente diagramma mostra la vista (Vista facciata) che legge sia dalla Tabella A che dalla Tabella B.

    La pipeline A non è più presente e viene eseguita solo la pipeline B.

    A questo punto, puoi eliminare l'Abbonamento A.

Quando vengono rilevati problemi con un nuovo deployment della pipeline, la presenza di pipeline parallele può semplificare il rollback. In questo esempio, potresti voler mantenere in esecuzione la pipeline A mentre monitori il corretto funzionamento della pipeline B. Se si verificano problemi con la pipeline B, puoi eseguire il rollback alla pipeline A.

Gestisci le mutazioni dello schema

I sistemi di gestione dei dati spesso devono adattarsi alle mutazioni degli schemi nel tempo, a volte a causa di modifiche ai requisiti aziendali e altre volte per motivi tecnici. L'applicazione degli aggiornamenti dello schema in genere richiede un'attenta pianificazione ed esecuzione per evitare interruzioni dei sistemi informativi aziendali.

Considera una pipeline che legge i messaggi contenenti payload JSON da un argomento Pub/Sub. La pipeline converte ogni messaggio in un'istanza TableRow e poi scrive le righe in una tabella BigQuery. Lo schema della tabella di output è simile ai messaggi elaborati dalla pipeline. Nel seguente diagramma, lo schema è denominato Schema A.

Pipeline che legge una sottoscrizione e scrive in una tabella di output BigQuery utilizzando lo Schema A.

Nel tempo, lo schema dei messaggi potrebbe cambiare in modi non banali. Ad esempio, i campi vengono aggiunti, rimossi o sostituiti. Lo schema A si evolve in un nuovo schema. Nella discussione che segue, il nuovo schema viene definito Schema B. In questo caso, la pipeline A deve essere aggiornata e lo schema della tabella di output deve supportare lo schema B.

Per la tabella di output, puoi eseguire alcune mutazioni dello schema senza tempi di inattività. Ad esempio, puoi aggiungere nuovi campi o semplificare le modalità delle colonne, ad esempio modificando REQUIRED in NULLABLE, senza tempi di inattività. Queste mutazioni di solito non influiscono sulle query esistenti. Tuttavia, le mutazioni dello schema che modificano o rimuovono i campi dello schema esistenti interrompono le query o causano altre interruzioni. L'approccio seguente consente di apportare modifiche senza richiedere tempi di inattività.

Separa i dati scritti dalla pipeline in una tabella principale e in una o più tabelle di gestione temporanea. La tabella principale archivia i dati storici scritti dalla pipeline. Le tabelle di gestione temporanea memorizzano l'output più recente della pipeline. Puoi definire una vista facciata di BigQuery sulle tabelle principali e di gestione temporanea, che consente ai consumer di eseguire query sia sui dati storici che su quelli aggiornati.

Il seguente diagramma rivede il flusso della pipeline precedente per includere una tabella di gestione temporanea (Tabella di gestione temporanea A), una tabella principale e una vista di facciata.

Pipeline che legge una sottoscrizione e scrive in una tabella di gestione temporanea BigQuery. Una seconda tabella (principale) contiene l'output di una versione precedente dello schema. Una vista facciata legge sia dalla tabella di gestione temporanea sia dalla tabella principale.

Nel flusso rivisto, la pipeline A elabora i messaggi che utilizzano lo schema A e scrive l'output nella tabella di gestione temporanea A, che ha uno schema compatibile. La tabella principale contiene i dati storici scritti dalle versioni precedenti della pipeline, nonché i risultati uniti periodicamente dalla tabella di staging. I consumer possono eseguire query su dati aggiornati, inclusi dati storici e in tempo reale, utilizzando la vista façade.

Quando lo schema dei messaggi cambia da Schema A a Schema B, potresti aggiornare il codice della pipeline in modo che sia compatibile con i messaggi che utilizzano lo Schema B. La pipeline esistente deve essere aggiornata con la nuova implementazione. Eseguendo pipeline parallele, puoi assicurarti che il trattamento dei dati in modalità flusso continui senza interruzioni. La terminazione e la sostituzione delle pipeline comporta un'interruzione dell'elaborazione, perché nessuna pipeline è in esecuzione per un periodo di tempo.

La pipeline aggiornata scrive in una tabella di gestione temporanea aggiuntiva (Tabella di gestione temporanea B) che utilizza lo Schema B. Puoi utilizzare un workflow orchestrato per creare la nuova tabella di gestione temporanea prima di aggiornare la pipeline. Aggiorna la vista facciata per includere i risultati della nuova tabella di gestione temporanea, potenzialmente utilizzando un passaggio del workflow correlato.

Il seguente diagramma mostra il flusso aggiornato che mostra la tabella di gestione temporanea B con lo schema B e il modo in cui la vista facciata viene aggiornata per includere i contenuti della tabella principale e di entrambe le tabelle di gestione temporanea.

La pipeline ora utilizza lo Schema B e scrive nella tabella di gestione temporanea B. Una vista facciata legge dalla tabella principale, dalla tabella di gestione temporanea A e dalla tabella di gestione temporanea B.

Come processo separato dall'aggiornamento della pipeline, puoi unire le tabelle di gestione temporanea alla tabella principale, periodicamente o in base alle esigenze. Il seguente diagramma mostra come la tabella di gestione temporanea A viene unita alla tabella principale.

La tabella di gestione temporanea A viene unita alla tabella principale. La vista facciata legge dalla tabella di gestione temporanea B e dalla tabella principale.

Passaggi successivi