Progettare i flussi di lavoro delle pipeline Dataflow

Lo sviluppo della pipeline prevede diverse fasi e attività, come lo sviluppo del codice, i test e la distribuzione in produzione. Questo documento spiega:

  • Considerazioni sull'integrazione continua e sulla distribuzione continua (CI/CD) per supportare la creazione, i test e il deployment della pipeline automatizzati in ambienti diversi.
  • Funzionalità di Dataflow per ottimizzare le prestazioni e l'utilizzo delle risorse in produzione.
  • Approcci e watchpoint per l'aggiornamento delle pipeline di streaming in produzione.
  • Best practice per migliorare l'affidabilità della pipeline in produzione.

Integrazione continua

L'integrazione continua (CI) richiede agli sviluppatori di unire spesso il codice in un repository condiviso, il che è utile per le applicazioni che cambiano molto, come i siti web che vengono aggiornati di frequente. Sebbene le pipeline di dati non cambino di solito tanto quanto altri tipi di applicazioni, le pratiche di CI offrono molti vantaggi per lo sviluppo delle pipeline. Ad esempio, l'automazione dei test fornisce un feedback rapido quando vengono rilevati difetti e riduce la probabilità che le regressioni entrino nel codebase.

L'automazione dei test è una parte importante della CI. Se combinata con una copertura dei test appropriata, l'automazione dei test esegue la suite di test su ogni commit del codice. Il tuo server CI può funzionare in combinazione con uno strumento di automazione della build come Maven per eseguire la suite di test come uno o più passaggi della pipeline CI. Puoi pacchettizzare il codice che supera i test delle unità e i test di integrazione in artefatti di deployment da cui vengono avviate le pipeline. Questa build è definita build superata.

Il numero e i tipi di artefatti di deployment creati da una build riuscita variano a seconda di come vengono avviate le pipeline. Utilizzando l'SDK Java Apache Beam, puoi pacchettizzare il codice della pipeline in un file JAR autoeseguibile. Puoi quindi archiviare il file JAR in un bucket ospitato nel progetto per un ambiente di deployment, ad esempio il progetto Google Cloud di pre-produzione o di produzione. Se utilizzi i modelli classici (un tipo di esecuzione basata su modelli), gli artefatti di deployment includono un file di modello JSON, il file JAR per la pipeline e un modello di metadati facoltativo. Puoi quindi eseguire il deployment degli artefatti in diversi ambienti di deployment utilizzando la distribuzione continua, come spiegato nella sezione seguente.

Distribuzione continua e deployment

La distribuzione continua (CD) copia gli artefatti di deployment in uno o più ambienti di deployment pronti per essere avviati manualmente. In genere, viene eseguito il deployment degli artefatti creati dal server CI in uno o più ambienti di pre-produzione per l'esecuzione di test end-to-end. L'ambiente di produzione viene aggiornato se tutti i test end-to-end vengono superati correttamente.

Per le pipeline batch, il deployment continuo può avviare direttamente la pipeline come nuovo job Dataflow. In alternativa, altri sistemi possono utilizzare gli artefatti per lanciare job batch quando necessario. Ad esempio, puoi utilizzare Managed Service for Apache Airflow per eseguire job batch all'interno di un workflow o Cloud Scheduler per pianificare i job batch.

Il deployment delle pipeline di streaming può essere più complesso rispetto a quello delle pipeline batch e, pertanto, può essere più difficile da automatizzare utilizzando il deployment continuo. Ad esempio, potresti dover determinare come sostituire o aggiornare una pipeline di streaming esistente. Se non puoi aggiornare una pipeline o se scegli di non aggiornarla, puoi utilizzare altri metodi, ad esempio il coordinamento di più job Dataflow, per ridurre al minimo o evitare interruzioni dell'attività.

Identità e ruoli richiesti per CI/CD

La pipeline CI/CD interagisce con diversi sistemi per creare, testare ed eseguire il deployment delle pipeline. Ad esempio, la pipeline deve accedere al repository del codice sorgente. Per abilitare queste interazioni, assicurati che la pipeline disponga delle identità e dei ruoli appropriati. Anche le seguenti attività della pipeline potrebbero richiedere che la pipeline abbia identità e ruoli specifici.

Test di integrazione con servizi esterni, tra cui Google Cloud

Quando utilizzi Direct Runner per eseguire test ad hoc o test di integrazione del sistema, la pipeline utilizza le Credenziali predefinite dell'applicazione (ADC) per ottenere le credenziali. La configurazione di ADC dipende dalla posizione in cui viene eseguita la pipeline. Per ulteriori informazioni, consulta Configura le credenziali predefinite dell'applicazione.

Assicurati che il account di servizio utilizzato per ottenere le credenziali per le risorseGoogle Cloud accessibili dalla pipeline disponga diruoli e autorizzazionisufficienti.

Esegui il deployment degli artefatti in ambienti di deployment diversi

Se possibile, utilizza credenziali univoche per ogni ambiente (di fatto per ogni progetto) e limita l'accesso alle risorse di conseguenza.

Utilizza service account univoci per ogni progetto per leggere e scrivere gli artefatti di deployment nei bucket di archiviazione. A seconda che la pipeline utilizzi o meno un modello, il processo di deployment potrebbe dover eseguire la gestione temporanea di più artefatti. Ad esempio, la creazione e la gestione temporanea di un template Dataflow richiedono le autorizzazioni per scrivere gli artefatti di deployment necessari per avviare la pipeline, come il file del template della pipeline, in un bucket Cloud Storage.

Esegui il deployment delle pipeline in ambienti di deployment diversi

Se possibile, utilizza service account univoci per ogni progetto per accedere e gestire le risorse Google Cloud all'interno del progetto, incluso l'accesso a Dataflow stesso.

Il account di servizio che utilizzi per creare e gestire i job Dataflow deve disporre di autorizzazioni IAM sufficienti per la gestione dei job. Per maggiori dettagli, consulta la sezione Service account Dataflow nella pagina Sicurezza e autorizzazioni di Dataflow.

Il account di servizio worker che utilizzi per eseguire i job Dataflow deve disporre dell'autorizzazione per gestire le risorse Compute Engine durante l'esecuzione del job e per gestire l'interazione tra la pipeline Apache Beam e il servizio Dataflow. Per maggiori dettagli, consulta la sezione Service account worker nella pagina Sicurezza e autorizzazioni di Dataflow.

Per specificare un service account worker gestito dall'utente per un job, utilizza l'opzione della pipeline --serviceAccount. Se non specifichi un account di servizio worker quando crei un job, Dataflow tenta di utilizzare il service account predefinito di Compute Engine. Ti consigliamo invece di specificare un account di servizio worker gestito dall'utente per gli ambienti di produzione, perché il service account predefinito di Compute Engine di solito dispone di un insieme di autorizzazioni più ampio rispetto a quelle richieste per i job Dataflow.

Negli scenari di produzione, ti consigliamo di utilizzare service account separati per la gestione dei job Dataflow e per il account di servizio worker, in modo da garantire una maggiore sicurezza rispetto all'utilizzo di un singolo account di servizio. Ad esempio, il account di servizio utilizzato per creare i job Dataflow potrebbe non dover accedere alle origini e ai sink di dati o utilizzare altre risorse utilizzate dalla pipeline. In questo scenario, al account di servizio worker utilizzato per eseguire i job Dataflow vengono concesse le autorizzazioni per utilizzare le risorse della pipeline. A un account di servizio diverso per la creazione dei job vengono concesse le autorizzazioni per gestire (e creare) i job Dataflow.

Esempio di pipeline CI/CD

Il seguente diagramma fornisce una visione generale e indipendente dagli strumenti di CI/CD per le pipeline di dati. Inoltre, il diagramma mostra la relazione tra le attività di sviluppo, gli ambienti di deployment e i runner della pipeline.

Fasi di una pipeline CI/CD.

Il diagramma mostra le seguenti fasi:

  • Sviluppo del codice: durante lo sviluppo del codice, uno sviluppatore esegue il codice della pipeline localmente utilizzando Direct Runner. Inoltre, gli sviluppatori utilizzano un ambiente sandbox per l'esecuzione ad hoc delle pipeline utilizzando Dataflow Runner.

    Nelle pipeline CI/CD tipiche, il processo di integrazione continua viene attivato quando uno sviluppatore apporta una modifica al sistema di controllo del codice sorgente, ad esempio eseguendo il push di un nuovo codice in un repository.

  • Crea e testa: il processo di integrazione continua compila il codice della pipeline, quindi esegue i test delle unità e i test di integrazione delle trasformazioni utilizzando Direct Runner. Possono essere eseguiti anche test di integrazione del sistema facoltativi, che includono test di integrazione con origini e sink esterni utilizzando piccoli set di dati di test.

    Se i test hanno esito positivo, il processo CI archivia gli artefatti di deployment, che potrebbero includere file JAR, immagini Docker e metadati dei modelli, necessari per avviare la pipeline in posizioni accessibili al processo di distribuzione continua. A seconda dei tipi di artefatti di deployment generati, potresti utilizzare Cloud Storage e Artifact Registry per archiviare i diversi tipi di artefatti.

  • Distribuzione e deployment: il processo di distribuzione continua copia gli artefatti di deployment in un ambiente di pre-produzione o li rende disponibili per l'utilizzo all'interno di quell'ambiente. Gli sviluppatori possono eseguire manualmente i test end-to-end utilizzando il runner di Dataflow oppure possono utilizzare il deployment continuo per avviare il test automaticamente. In genere, un approccio di deployment continuo è più facile da abilitare per le pipeline batch rispetto alle pipeline di streaming. Poiché le pipeline batch non vengono eseguite continuamente, è più facile sostituirle con una nuova release.

    Il processo di aggiornamento delle pipeline di streaming potrebbe essere semplice o complesso e dovresti testare gli aggiornamenti nell'ambiente di pre-produzione. Le procedure di aggiornamento potrebbero non essere sempre coerenti tra le release. Ad esempio, una pipeline potrebbe cambiare in modo da rendere impossibili gli aggiornamenti in loco. Per questo motivo, a volte è difficile automatizzare gli aggiornamenti della pipeline utilizzando il deployment continuo.

Se tutti i test end-to-end hanno esito positivo, puoi copiare gli artefatti di deployment o renderli disponibili per l'ambiente di produzione nell'ambito del processo di distribuzione continua. Se la nuova pipeline aggiorna o sostituisce una pipeline di streaming esistente, utilizza le procedure testate nell'ambiente di pre-produzione per eseguire il deployment della nuova pipeline.

Esecuzione di job con e senza modelli

Puoi creare un job Dataflow utilizzando l'SDK Apache Beam direttamente da un ambiente di sviluppo. Questo tipo di job è chiamato job senza template. Sebbene questo approccio sia comodo per gli sviluppatori, potresti preferire separare le attività di sviluppo ed esecuzione delle pipeline. Per effettuare questa separazione, puoi utilizzare i modelli Dataflow, che ti consentono di preparare ed eseguire le pipeline come attività indipendenti. Dopo che un modello è stato preparato, altri utenti, inclusi i non sviluppatori, possono eseguire i job dal modello utilizzando Google Cloud CLI, la consoleGoogle Cloud o l'API REST di Dataflow.

Dataflow offre i seguenti tipi di modelli di job:

  • Modelli classici: gli sviluppatori utilizzano l'SDK Apache Beam per eseguire il codice della pipeline e salvare il grafico di esecuzione serializzato JSON come modello. L'SDK Apache Beam inserisce il file del template in un'area temporanea in una posizione di Cloud Storage, insieme a tutte le dipendenze richieste dal codice della pipeline.
  • Template flessibili: gli sviluppatori utilizzano Google Cloud CLI per pacchettizzare la pipeline come immagine Docker, che viene poi archiviata in Artifact Registry. Viene inoltre generato automaticamente un file di specifica del template flessibile, che viene archiviato in una posizione Cloud Storage specificata dall'utente. Il file di specifica del template flessibile contiene metadati che descrivono come eseguire il template, ad esempio i parametri della pipeline.

Oltre alle funzionalità dei template flessibili illustrate nella documentazione collegata, i template flessibili offrono vantaggi rispetto ai modelli classici per la gestione dei template.

  • Con i modelli classici, più artefatti, come i file JAR, potrebbero essere archiviati in una posizione di gestione temporanea di Cloud Storage, ma senza funzionalità per gestire questi artefatti multipli. Al contrario, un template flessibile è incapsulato all'interno di un'immagine Docker. L'immagine pacchettizza tutte le dipendenze, ad eccezione della specifica del template flessibile, necessarie per la pipeline in un unico artefatto di deployment gestito da Artifact Registry.
  • Puoi utilizzare le funzionalità di gestione delle immagini Docker per i tuoi template flessibili. Ad esempio, puoi condividere in modo sicuro i template flessibili concedendo le autorizzazioni di pull (e facoltativamente di push) ad Artifact Registry e utilizzare i tag delle immagini Docker per versioni diverse dei tuoi template flessibili.

Gli sviluppatori possono utilizzare i template classici e i template flessibili per avviare job in un progetto diverso da quello proprietario del registry e del bucket di archiviazione che ospita gli asset del template o solo del bucket di archiviazione se utilizzi i template classici. Questa funzionalità è utile se devi isolare il trattamento dei dati per più clienti in progetti e job di pipeline diversi. Utilizzando i template flessibili, puoi specificare ulteriormente diverse versioni di un'immagine Docker da utilizzare quando avvii una pipeline. Questa funzionalità semplifica la sostituzione in fasi delle pipeline batch o di streaming su più progetti quando aggiorni i template in un secondo momento.

Funzionalità di Dataflow per ottimizzare l'utilizzo delle risorse

Dataflow offre le seguenti funzionalità specifiche del runner per ottimizzare l'utilizzo delle risorse, il che può migliorare le prestazioni e ridurre i costi:

  • Streaming Engine: Streaming Engine trasferisce l'esecuzione delle pipeline di streaming dai worker VM a un servizio dedicato. I vantaggi includono una maggiore reattività della scalabilità automatica, una riduzione delle risorse delle VM worker consumate e aggiornamenti automatici del servizio senza rifare il deployment. In alcuni casi, puoi anche ridurre l'utilizzo delle risorse utilizzando l'elaborazione at-least-once per i casi d'uso che possono tollerare i duplicati. L'attivazione di Streaming Engine è consigliata per le pipeline di streaming. La funzionalità è abilitata per impostazione predefinita quando utilizzi le ultime versioni dell'SDK Apache Beam per Java o dell'SDK per Python.
  • Dataflow Shuffle: Dataflow Shuffle sposta le operazioni di shuffling per le pipeline batch dai worker VM a un servizio dedicato. I vantaggi includono un'esecuzione più rapida per la maggior parte delle pipeline batch, un consumo ridotto delle risorse da parte delle VM worker, una migliore reattività della scalabilità automatica e una migliore tolleranza di errore. L'attivazione di Dataflow Shuffle è consigliata per le pipeline batch. La funzionalità è abilitata per impostazione predefinita utilizzando l'SDK Apache Beam Java e l'SDK Python più recente.
  • Pianificazione flessibile delle risorse (FlexRS): FlexRS riduce i costi di elaborazione batch utilizzando tecniche di pianificazione avanzate, il servizio Dataflow Shuffle e una combinazione di istanze VM prerilasciabile e VM standard.

Aggiorna le pipeline di streaming in produzione

Consulta Esegui l'upgrade di una pipeline di streaming.

Ciclo di vita di un job Dataflow

Un job Dataflow attraversa un ciclo di vita rappresentato da vari stati del job. Per eseguire un job Dataflow, invialo a una regione. Il job viene quindi indirizzato a un backend Dataflow disponibile in una delle zone all'interno della regione. Prima di assegnare un backend, Dataflow verifica che tu disponga di quota e autorizzazioni sufficienti per eseguire il job. Al termine di questi controlli preflight e dopo l'assegnazione di un backend, il job passa allo stato JOB_STATE_PENDING. Per i job FlexRS, l'assegnazione del backend potrebbe essere ritardata a un momento successivo e questi job entrano in uno stato JOB_STATE_QUEUED.

Il backend assegnato preleva il job da eseguire e tenta di avviare i worker Dataflow nel tuo progetto Google Cloud . La zona scelta per le VM worker dipende da una serie di fattori. Per i job batch che utilizzano Dataflow Shuffle, il servizio cerca anche di garantire che il backend di Dataflow e le VM worker si trovino nella stessa zona per evitare il traffico tra zone.

Dopo l'avvio, i worker Dataflow richiedono il lavoro al backend Dataflow. Il backend è responsabile della suddivisione del lavoro in blocchi parallelizzabili, chiamati bundle, che vengono distribuiti tra i worker. Se i worker non riescono a gestire il lavoro esistente e se la scalabilità automatica è abilitata, il backend avvia altri worker per gestire il lavoro. Analogamente, se vengono avviati più worker di quelli necessari, alcuni vengono arrestati.

Dopo l'avvio dei worker Dataflow, il backend Dataflow funge da control plane per orchestrare l'esecuzione del job. Durante l'elaborazione, il piano dati del job esegue operazioni di shuffling come GroupByKey, CoGroupByKey e Combine. I job utilizzano una delle seguenti implementazioni del piano dati per le operazioni di shuffling:

  • Il piano dati viene eseguito sui worker Dataflow e i dati di shuffling vengono archiviati su Persistent Disk.
  • Il piano dati viene eseguito come servizio, esternalizzato dalle VM worker. Questa implementazione ha due varianti, che specifichi quando crei il job: Dataflow Shuffle per le pipeline batch e Streaming Engine per le pipeline di streaming. Lo shuffling basato sul servizio migliora significativamente le prestazioni e la scalabilità delle operazioni di shuffling dei dati rispetto allo shuffling basato sui worker.

I job di flussi di dati che entrano in uno stato JOB_STATE_RUNNING continuano a essere eseguiti a tempo indeterminato finché non vengono annullati o svuotati, a meno che non si verifichi un errore del job. I job batch si interrompono automaticamente al termine di tutte le elaborazioni o se si verifica un errore irreversibile. A seconda di come viene arrestato il job, Dataflow imposta lo stato del job su uno dei diversi stati terminali, tra cui JOB_STATE_CANCELLED, JOB_STATE_DRAINED o JOB_STATE_DONE.

Best practice per l'affidabilità della pipeline

Questa sezione illustra gli errori che potrebbero verificarsi quando utilizzi Dataflow e le best practice per i job Dataflow.

Segui i principi di isolamento

Un suggerimento generale per migliorare l'affidabilità complessiva della pipeline è seguire i principi di isolamento alla base di regioni e zone. Assicurati che le pipeline non abbiano dipendenze critiche tra regioni. Se hai una pipeline che dipende in modo critico da servizi di più regioni, un errore in una di queste regioni può influire sulla pipeline. Per evitare questo problema, esegui il deployment in più regioni per la ridondanza e il backup.

Crea snapshot di Dataflow

Dataflow offre una funzionalità di snapshot che fornisce un backup dello stato di una pipeline. Puoi ripristinare lo snapshot della pipeline in una nuova pipeline Dataflow in modalità flusso in un'altra zona o regione. Puoi quindi avviare la rielaborazione dei messaggi negli argomenti Pub/Sub o Kafka a partire dal timestamp dello snapshot. Se configuri snapshot regolari delle pipeline, puoi ridurre al minimo il tempo del Recovery Time Objective (RTO).

Per saperne di più sugli snapshot di Dataflow, consulta Utilizza gli snapshot di Dataflow.

Gestisci gli errori di invio dei job

Puoi inviare job Dataflow non basati su modelli utilizzando l'SDK Apache Beam. Per inviare il job, esegui la pipeline utilizzando il runner Dataflow, che viene specificato come parte delle opzioni della pipeline. L'SDK Apache Beam archivia i file in un'area intermedia in Cloud Storage, crea un file di richiesta di job e lo invia a Dataflow.

In alternativa, i job creati dai template Dataflow utilizzano metodi di invio diversi, che in genere si basano sull'API Templates.

Dataflow potrebbe restituire diversi errori che indicano un errore del job per i job con e senza template. Questa sezione illustra i diversi tipi di errori di invio dei job e le best practice per gestirli o mitigarli.

Riprova a inviare i job dopo errori temporanei

Se un job non si avvia a causa di un problema del servizio Dataflow, riprova a eseguirlo alcune volte. La ripetizione del tentativo riduce i problemi temporanei del servizio.

Mitiga gli errori a livello di zona specificando una regione per i worker

Dataflow offre la disponibilità a livello di regione ed è disponibile in più regioni. Quando un utente invia un job a una regione senza specificare esplicitamente una zona, Dataflow indirizza il job a una zona nella regione specificata in base alla disponibilità delle risorse.

L'opzione consigliata per il posizionamento dei job è specificare una regione dei worker utilizzando il flag --region anziché il flag --zone, se possibile. Questo passaggio consente a Dataflow di fornire un livello aggiuntivo di tolleranza di errore per le pipeline scegliendo automaticamente la migliore zona possibile per il job. I job che specificano una zona esplicita non hanno questo vantaggio e non vanno a buon fine se si verificano problemi all'interno della zona. Se l'invio di un job non va a buon fine a causa di un problema a livello di zona, spesso puoi risolvere il problema riprovando a inviare il job senza specificare esplicitamente una zona.

Mitiga gli errori a livello di regione archiviando i dati in più regioni

Se un'intera regione non è disponibile, prova a eseguire il job in un'altra regione. È importante pensare alla disponibilità dei dati quando i job non vanno a buon fine nelle varie regioni. Per proteggerti da errori in una singola regione senza copiare manualmente i dati in più regioni, utilizza le risorse Google Cloud che archiviano automaticamente i dati in più regioni. Ad esempio, utilizza i bucket Cloud Storage a due regioni e multiregionali. Se una regione non è più disponibile, puoi eseguire nuovamente la pipeline in un'altra regione in cui i dati sono disponibili.

Per un esempio di utilizzo di servizi multiregionali con Dataflow, consulta Alta affidabilità e ridondanza geografica.

Gestisci gli errori nelle pipeline in esecuzione

Dopo che un job è stato inviato e accettato, le uniche operazioni valide per il job sono le seguenti:

  • Annulla per i job batch
  • aggiornamento, svuotamento o annullamento per i job di flussi di dati

Non puoi modificare la località dei job in esecuzione dopo averli inviati. Se non utilizzi FlexRS, i job di solito iniziano a elaborare i dati entro pochi minuti dall'invio. I job FlexRS possono richiedere fino a sei ore per l'inizio dell'elaborazione dei dati.

Questa sezione illustra gli errori relativi ai job in esecuzione e le best practice per gestirli.

Monitora i job per identificare e risolvere i problemi causati da errori temporanei

Per i job batch, i bundle che includono un elemento con errori vengono riprovati quattro volte. Dataflow termina il job quando un singolo bundle non è riuscito quattro volte. Questa procedura risolve molti problemi temporanei. Tuttavia, se si verifica un errore prolungato, il limite massimo di tentativi viene solitamente raggiunto rapidamente, il che consente al job di non riuscire rapidamente.

Per il monitoraggio e la gestione degli incidenti, configura le regole di avviso per rilevare i job non riusciti. Se un job non riesce, esamina i log del job per identificare gli errori del job causati da elementi di lavoro non riusciti che hanno superato il limite di nuovi tentativi.

Per i job di flussi di dati, Dataflow riprova a eseguire gli elementi di lavoro non riusciti a tempo indeterminato. Il job non è stato terminato. Tuttavia, il job potrebbe bloccarsi finché il problema non viene risolto. Crea policy di monitoraggio per rilevare i segnali di una pipeline bloccata, come un aumento della latenza del sistema e una diminuzione dell'aggiornamento dei dati. Implementa il logging degli errori nel codice della pipeline per identificare i blocchi della pipeline causati da elementi di lavoro che non vanno a buon fine ripetutamente.

Riavvia i job in una zona diversa se si verifica un'interruzione a livello di zona

Dopo l'avvio di un job, i worker Dataflow che eseguono il codice utente sono limitati a una singola zona. Se si verifica un'interruzione del servizio a livello di zona, i job Dataflow sono spesso interessati, a seconda dell'entità dell'interruzione.

Per le interruzioni che interessano solo i backend Dataflow, i backend vengono migrati automaticamente in un'altra zona dal servizio gestito in modo che possano continuare il job. Se il job utilizza Dataflow Shuffle, il backend non può essere spostato tra le zone. Se si verifica una migrazione del backend di Dataflow, i job potrebbero essere temporaneamente bloccati.

Se si verifica un'interruzione del servizio a livello di zona, è probabile che i job in esecuzione non vadano a buon fine o si blocchino fino al ripristino della disponibilità della zona. Se una zona non è disponibile per un periodo prolungato, interrompi i job (annulla per i job batch e svuota per i job di streaming), quindi riavviali per consentire a Dataflow di scegliere una nuova zona integra.

Riavvia i job batch in un'altra regione se si verifica un'interruzione a livello di regione

Se si verifica un'interruzione a livello di regione in una regione in cui sono in esecuzione i tuoi job Dataflow, i job possono non riuscire o bloccarsi. Per i job batch, se possibile, riavvia il job in un'altra regione. È importante assicurarsi che i dati siano disponibili in regioni diverse.

Mitiga le interruzioni a livello di regione utilizzando l'alta affidabilità o il failover

Per i job di flussi di dati, a seconda della tolleranza di errore e del budget della tua applicazione, hai diverse opzioni per mitigare gli errori. In caso di interruzione a livello di regione, l'opzione più semplice ed economica è attendere il termine dell'interruzione. Tuttavia, se la tua applicazione è sensibile alla latenza o se il trattamento dati non deve essere interrotto o deve essere ripreso con un ritardo minimo, le sezioni seguenti illustrano le opzioni.

Alta affidabilità: sensibile alla latenza senza perdita di dati

Se la tua applicazione non può tollerare la perdita di dati, esegui pipeline duplicate in parallelo in due regioni diverse e fai in modo che le pipeline utilizzino gli stessi dati. Le stesse origini dati devono essere disponibili in entrambe le regioni. Le applicazioni downstream che dipendono dall'output di queste pipeline devono essere in grado di passare dall'output di queste due regioni all'altro. A causa della duplicazione delle risorse, questa opzione comporta il costo più elevato rispetto alle altre opzioni. Per un esempio di deployment, consulta la sezione Alta affidabilità e ridondanza geografica.

Failover: sensibile alla latenza con potenziale perdita di dati

Se la tua applicazione può tollerare una potenziale perdita di dati, rendi disponibile l'origine dati in streaming in più regioni. Ad esempio, utilizzando Pub/Sub, mantieni due sottoscrizioni indipendenti per lo stesso argomento, una per ogni regione. In caso di interruzione a livello regionale, avvia una pipeline sostitutiva in un'altra regione e fai in modo che la pipeline utilizzi i dati della sottoscrizione di backup.

Riproduci la sottoscrizione di backup in un momento appropriato per ridurre al minimo la perdita di dati senza sacrificare la latenza. Le applicazioni downstream devono sapere come passare all'output della pipeline in esecuzione, in modo simile all'opzione di alta affidabilità. Questa opzione utilizza meno risorse rispetto all'esecuzione di pipeline duplicate, perché vengono duplicati solo i dati.

Alta affidabilità e ridondanza geografica

Puoi eseguire più pipeline di streaming in parallelo per l'elaborazione dei dati ad alta affidabilità. Ad esempio, puoi eseguire due job di flussi di dati paralleli in regioni diverse, il che fornisce ridondanza geografica e tolleranza di errore per l'elaborazione dei dati.

Considerando la disponibilità geografica delle origini e dei sink di dati, puoi gestire pipeline end-to-end in una configurazione multiregionale ad alta affidabilità. Il seguente diagramma mostra un esempio di deployment.

Due pipeline regionali utilizzano sottoscrizioni separate per leggere da un argomento Pub/Sub globale. Le pipeline scrivono in tabelle BigQuery multiregionali separate, una negli Stati Uniti e una in Europa.

Il diagramma mostra il seguente flusso:

  1. Pub/Sub viene eseguito nella maggior parte delle regioni del mondo, il che consente al servizio di offrire un accesso ai dati rapido e globale, lasciando a te il controllo su dove vengono archiviati i messaggi. Pub/Sub può archiviare automaticamente i messaggi pubblicati nella regione Google Cloud più vicina ai sottoscrittori oppure puoi configurarlo in modo che utilizzi una regione o un insieme di regioni specifico utilizzando le policy di archiviazione dei messaggi.

    Pub/Sub recapita quindi i messaggi ai sottoscrittori in tutto il mondo, indipendentemente da dove sono archiviati. I client Pub/Sub non devono conoscere le località dei server a cui si connettono, perché i meccanismi di bilanciamento del carico globale indirizzano il traffico al data centerGoogle Cloud più vicino in cui sono archiviati i messaggi.

  2. Dataflow viene eseguito in regioni Google Cloud specifiche. Eseguendo pipeline parallele in regioni Google Cloud separate, puoi isolare i job da errori che interessano una singola regione. Il diagramma mostra due istanze della stessa pipeline, ciascuna in esecuzione in una regione Google Cloud separata.

  3. Le pipeline Dataflow parallele scrivono in due regioni BigQuery separate, fornendo ridondanza geografica. All'interno di una regione, BigQuery archivia automaticamente copie dei tuoi dati in due zone Google Cloud diverse. Per ulteriori informazioni, consulta la sezione Pianificazione del disaster recovery nella documentazione di BigQuery.