Pianifica la pipeline Dataflow

Questa pagina illustra importanti considerazioni per la pianificazione della pipeline di dati prima di iniziare lo sviluppo del codice. Data pipelines spostano i dati da un sistema all'altro e spesso sono componenti critici dei sistemi informativi aziendali. Le prestazioni e l'affidabilità della pipeline di dati possono influire su questi sistemi più ampi e sull'efficacia con cui vengono soddisfatti i requisiti aziendali.

Se pianifichi le pipeline di dati prima di svilupparle, puoi migliorarne le prestazioni e l'affidabilità. Questa pagina illustra varie considerazioni sulla pianificazione delle pipeline Dataflow, tra cui:

  • Aspettative di rendimento per le pipeline, inclusi gli standard di misurabilità
  • Integrazione delle pipeline con origini dati, sink e altri sistemi connessi
  • Regionalizzazione di pipeline, origini e sink
  • Sicurezza, ad esempio crittografia dei dati e networking privato

Definisci e misura gli SLO

Un'importante misura delle prestazioni è il grado di conformità della pipeline ai requisiti aziendali. Gli obiettivi del livello di servizio (SLO) forniscono definizioni tangibili delle prestazioni che puoi confrontare con soglie accettabili. Ad esempio, puoi definire i seguenti SLO di esempio per il tuo sistema:

  • Aggiornamento dei dati: genera il 90% dei consigli sui prodotti dall'attività sul sito web dell'utente che si è verificata non più di 3 minuti prima.

  • Correttezza dei dati: entro un mese di calendario, meno dello 0,5% delle fatture dei clienti contiene errori.

  • Isolamento dei dati/bilanciamento del carico: entro un giorno lavorativo, elabora tutti i pagamenti ad alta priorità entro 10 minuti dalla presentazione e completa i pagamenti con priorità standard entro il giorno lavorativo successivo.

Puoi utilizzare gli indicatori del livello del servizio (SLI) per misurare la conformità agli SLO. Gli SLI sono metriche quantificabili che indicano il livello di efficacia del sistema rispetto a un determinato SLO. Ad esempio, puoi misurare lo SLO di aggiornamento dei dati di esempio utilizzando l'età dell'attività utente elaborata più di recente come SLI. Se la tua pipeline genera consigli dagli eventi di attività utente e se lo SLI segnala un ritardo di 4 minuti tra l'ora dell'evento e l'ora in cui l'evento viene elaborato, i consigli non considerano l'attività sul sito web di un utente precedente a 4 minuti. Se una pipeline che elabora dati in streaming supera una latenza di sistema di 4 minuti, significa che lo SLO non è stato soddisfatto.

Poiché i componenti di sistema esterni alla pipeline influiscono sullo SLO, è importante acquisire una serie di SLI che descrivano le prestazioni complessive del sistema oltre alle prestazioni della pipeline stessa, incluse le metriche che descrivono l'integrità end-to-end del sistema. Ad esempio, la pipeline Dataflow potrebbe calcolare i risultati con un ritardo accettabile, ma potrebbe verificarsi un problema di prestazioni con un sistema downstream che influisce su SLO più ampi.

Per saperne di più sugli SLO importanti da considerare, consulta il libro Site Reliability Engineering.

Aggiornamento dei dati

L'aggiornamento dei dati si riferisce all'usabilità dei dati in relazione alla loro età. Nel libro Site Reliability Engineering vengono menzionati i seguenti SLO di aggiornamento dei dati come i formati di SLO di aggiornamento dei dati della pipeline più comuni:

  • X% dei dati elaborati in Y [secondi, giorni, minuti]. Questo SLO si riferisce alla percentuale di dati elaborati in un determinato periodo di tempo. Viene comunemente utilizzato per le pipeline batch che elaborano origini dati limitate. Le metriche per questo tipo di SLO sono le dimensioni dei dati di input e output nei passaggi di elaborazione chiave relativi al runtime della pipeline trascorso. Puoi scegliere un passaggio che legge un set di dati di input e un altro passaggio che elabora ogni elemento dell'input. Un esempio di SLO è "Per il gioco Shave the Yak, il 99% delle attività utente che influiscono sui punteggi dei giocatori viene registrato entro 30 minuti dal completamento della partita".

  • I dati meno recenti non sono più vecchi di X [secondi, giorni, minuti]. Questo SLO si riferisce all'età dei dati prodotti dalla pipeline. In genere viene utilizzato per le pipeline di streaming che elaborano i dati provenienti da origini illimitate. Per questo tipo di SLO, utilizza metriche che indicano il tempo impiegato dalla pipeline per elaborare i dati. Due possibili metriche sono l'età dell'elemento non elaborato meno recente, ovvero da quanto tempo un elemento non elaborato si trova nella coda, o l'età dell'elemento elaborato più di recente. Un esempio di SLO è "I consigli sui prodotti vengono generati dall'attività utente che non risale a più di 5 minuti prima".

  • Il job della pipeline viene completato correttamente entro X [secondi, giorni, minuti]. Questo SLO imposta una scadenza per il completamento con esito positivo ed è di uso comune per le pipeline batch che elaborano i dati da origini dati limitate. Questo SLO richiede il tempo totale trascorso della pipeline e lo stato di completamento del job, oltre ad altri indicatori che mostrano l'esito positivo del job, come la percentuale di elementi elaborati che generano errori. Un esempio di SLO è "Gli ordini dei clienti del giorno lavorativo corrente vengono elaborati entro le 09:00 del giorno successivo".

Per informazioni sull'utilizzo di Cloud Monitoring per misurare l'aggiornamento dei dati, consulta Metriche dei job Dataflow.

Correttezza dei dati

La correttezza dei dati si riferisce a dati privi di errori. Puoi determinare la correttezza dei dati in diversi modi, tra cui:

Per le pipeline in esecuzione, la definizione di un target di correttezza dei dati di solito comporta la misurazione della correttezza in un periodo di tempo. Ad esempio:

  • Per ogni job, meno del X% degli elementi di input contiene errori di dati. Puoi utilizzare questo SLO per misurare la correttezza dei dati per le pipeline batch. Un esempio di SLO è "Per ogni job batch giornaliero per l'elaborazione delle letture dei contatori elettrici, meno del 3% delle letture contiene errori di inserimento dei dati".
  • In una finestra mobile di X minuti, meno dell'Y% degli elementi di input contiene errori nei dati. Puoi utilizzare questo SLO per misurare la correttezza dei dati per le pipeline di streaming. Un esempio di SLO è "Meno del 2% delle letture dei contatori elettrici nell'ultima ora contiene valori negativi".

Per misurare questi SLO, utilizza le metriche in un periodo di tempo adeguato per accumulare il numero di errori per tipo. Esempi di tipi di errore sono i dati non corretti a causa di uno schema con formato non valido o i dati non compresi in un intervallo valido.

Per informazioni sull'utilizzo di Cloud Monitoring per misurare la correttezza dei dati, consulta Metriche dei job Dataflow.

Isolamento dei dati e bilanciamento del carico

L'isolamento dei dati prevede la segmentazione dei dati in base all'attributo, il che può semplificare il bilanciamento del carico. Ad esempio, in una piattaforma di elaborazione dei pagamenti online, puoi segmentare i dati in modo che i singoli pagamenti abbiano priorità standard o priorità alta. La pipeline può quindi utilizzare il bilanciamento del carico per garantire che i pagamenti con priorità elevata vengano elaborati prima di quelli con priorità standard.

Immagina di definire i seguenti SLO per l'elaborazione dei pagamenti:

  • I pagamenti ad alta priorità vengono elaborati entro 10 minuti.
  • I pagamenti con priorità standard vengono elaborati entro le 09:00 del giorno lavorativo successivo.

Se la piattaforma di pagamento rispetta questi SLO, i clienti possono visualizzare i pagamenti ad alta priorità finalizzati su una dashboard di reporting man mano che vengono completati. Al contrario, i pagamenti standard potrebbero non essere visualizzati nella dashboard fino al giorno successivo.

In questo scenario di esempio, hai le seguenti opzioni:

  • Esegui un'unica pipeline per elaborare i pagamenti con priorità standard e con priorità elevata.
  • Isolare e bilanciare il carico dei dati in base alle priorità tra più pipeline.

Le sezioni seguenti descrivono in dettaglio ogni opzione.

Utilizza un'unica pipeline per soddisfare SLO misti

Il seguente diagramma illustra una singola pipeline utilizzata per elaborare i pagamenti con priorità elevata e standard. La pipeline riceve la notifica dei nuovi pagamenti da un'origine dati in modalità flusso, ad esempio un argomento Pub/Sub o un argomento Apache Kafka. Quindi, elabora immediatamente i pagamenti e scrive gli eventi in BigQuery utilizzando gli inserimenti di flussi di dati.

Singola pipeline per tutte le elaborazioni, con uno SLO complessivo inferiore a 10 minuti.

Il vantaggio di una singola pipeline è che semplifica i requisiti operativi, perché devi gestire solo una singola origine dati e una singola pipeline. Dataflow utilizza funzionalità di ottimizzazione automatica per eseguire il job nel modo più rapido ed efficiente possibile.

Uno svantaggio di una singola pipeline è che la pipeline condivisa non può dare la priorità ai pagamenti con priorità elevata rispetto a quelli con priorità standard e le risorse della pipeline sono condivise tra entrambi i tipi di pagamento. Nello scenario aziendale descritto in precedenza, la pipeline deve mantenere lo SLO più rigoroso dei due. In altre parole, la pipeline deve utilizzare lo SLO per i pagamenti ad alta priorità, indipendentemente dalla priorità effettiva dei pagamenti elaborati. Un altro svantaggio è che, in caso di backlog di lavoro, la pipeline di streaming non è in grado di dare priorità all'elaborazione del backlog in base all'urgenza del lavoro.

Utilizza più pipeline personalizzate per SLO specifici

Puoi utilizzare due pipeline per isolare le risorse e rispettare SLO specifici. Il seguente diagramma illustra questo approccio.

Utilizzare due pipeline, una per i pagamenti ad alta priorità (con SLO inferiore a 10 minuti) e un'altra per i pagamenti a priorità inferiore (con SLO inferiore a 24 ore).

I pagamenti ad alta priorità vengono isolati in una pipeline di streaming per l'elaborazione prioritaria. I pagamenti con priorità standard vengono elaborati da una pipeline batch che viene eseguita ogni giorno e utilizza i job di caricamento di BigQuery per scrivere i risultati elaborati.

Isolare i dati in pipeline diverse offre dei vantaggi. Per eseguire pagamenti ad alta priorità con SLO più rigidi, puoi ridurre i tempi di elaborazione assegnando più risorse alla pipeline dedicata ai pagamenti ad alta priorità. Le configurazioni delle risorse includono l'aggiunta di worker Dataflow, l'utilizzo di macchine più grandi e l'attivazione della scalabilità automatica. Isolare gli elementi ad alta priorità in una coda di elaborazione separata può anche mitigare i ritardi di elaborazione in caso di un improvviso afflusso di pagamenti con priorità standard.

Quando utilizzi più pipeline per isolare e bilanciare il carico dei dati provenienti da origini batch e in streaming, il modello di programmazione Apache Beam consente alle pipeline con priorità alta (streaming) e con priorità standard (batch) di condividere lo stesso codice. L'unica eccezione è la trasformazione di lettura iniziale, che legge da un'origine limitata per la pipeline batch. Per saperne di più, consulta Crea librerie di trasformazioni riutilizzabili.

Pianifica le origini e i sink di dati

Per elaborare i dati, una pipeline di dati deve essere integrata con altri sistemi. Questi sistemi sono chiamati origini e sink. Data pipelines leggono i dati dalle origini e li scrivono nei sink. Oltre alle origini e ai sink, le pipeline di dati potrebbero interagire con sistemi esterni per l'arricchimento dei dati, il filtraggio o la chiamata di logica di business esterna all'interno di un passaggio di elaborazione.

Per la scalabilità, Dataflow esegue le fasi della pipeline in parallelo su più worker. Anche i fattori esterni al codice della pipeline e al servizio Dataflow influiscono sulla scalabilità della pipeline. Questi fattori potrebbero includere:

  • Scalabilità dei sistemi esterni: i sistemi esterni con cui interagisce la pipeline possono limitare le prestazioni e formare il limite superiore della scalabilità. Ad esempio, un argomento Apache Kafka configurato con un numero insufficiente di partizioni per il throughput di lettura di cui hai bisogno può influire sulle prestazioni della pipeline. Per assicurarti che la pipeline e i suoi componenti soddisfino i tuoi target di rendimento, consulta la documentazione sulle best practice per i sistemi esterni che utilizzi. Puoi anche semplificare la pianificazione della capacità dell'infrastruttura utilizzando i servizi Google Cloud che forniscono scalabilità integrata. Per saperne di più, consulta Utilizzo di origini e sink gestiti da Google Cloud in questa pagina.

  • Scelta dei formati dei dati: alcuni formati dei dati potrebbero essere più veloci da leggere rispetto ad altri. Ad esempio, l'utilizzo di formati dei dati che supportano letture parallelizzabili, come Avro, è in genere più veloce rispetto all'utilizzo di file CSV con nuove righe incorporate nei campi ed è più veloce rispetto all'utilizzo di file compressi.

  • Posizione dei dati e topologia di rete: la vicinanza geografica e le caratteristiche di networking delle origini e dei sink di dati in relazione alla pipeline di dati potrebbero influire sulle prestazioni. Per ulteriori informazioni, consulta Considerazioni sulle regioni in questa pagina.

Chiamate a servizi esterni

La chiamata di servizi esterni dalla pipeline comporta overhead per chiamata che possono ridurre le prestazioni e l'efficienza della pipeline. Se la pipeline di dati chiama servizi esterni, per ridurre l'overhead, raggruppa più elementi di dati in singole richieste, se possibile. Molte trasformazioni di I/O Apache Beam native eseguono automaticamente questa attività, tra cui BigQueryIO e le operazioni di inserimento di flussi di dati. Oltre ai limiti di capacità, alcuni servizi esterni applicano anche quote che limitano il numero totale di chiamate in un periodo di tempo, ad esempio una quota giornaliera, o limitano la frequenza delle chiamate, ad esempio il numero di richieste al secondo.

Poiché Dataflow parallelizza il lavoro su più worker, un traffico eccessivo può sovraccaricare un servizio esterno o esaurire le quote disponibili. Quando viene utilizzata la scalabilità automatica, Dataflow potrebbe tentare di compensare aggiungendo worker per eseguire un passaggio lento, come una chiamata esterna. L'aggiunta di worker può aumentare la pressione sui sistemi esterni. Assicurati che i sistemi esterni possano supportare i requisiti di carico previsti o limita il traffico dalla pipeline a livelli sostenibili. Per saperne di più, consulta Limita le dimensioni dei batch e le chiamate simultanee ai servizi esterni.

Utilizza origini e sink gestiti da Google Cloud

L'utilizzo dei servizi gestiti di Google Cloud con la pipeline di Dataflow elimina la complessità della gestione della capacità fornendo scalabilità integrata, prestazioni coerenti, quote e limiti che soddisfano la maggior parte dei requisiti. Devi comunque essere a conoscenza delle diverse quote e dei limiti per le operazioni della pipeline. Dataflow stesso impone quote e limiti. Puoi aumentare alcuni di questi limiti contattando l'assistenzaGoogle Cloud .

Dataflow utilizza istanze VM di Compute Engine per eseguire i job, quindi devi disporre di una quota di Compute Engine sufficiente. Una quota di Compute Engine insufficiente può ostacolare la scalabilità automatica della pipeline o impedire l'avvio dei job.

Le parti rimanenti di questa sezione esplorano il modo in cui diverse quote e limiti di Google Cloudpossono influenzare il modo in cui progetti, sviluppi e monitori la tua pipeline. Pub/Sub e BigQuery vengono utilizzati come esempi di origini e sink della pipeline.

Esempio 1: Pub/Sub

Quando utilizzi Pub/Sub con Dataflow, Pub/Sub fornisce un servizio di importazione di eventi scalabile e durevole per la distribuzione di messaggi da e verso le pipeline di dati in streaming. Puoi utilizzare la console Google Cloud per visualizzare il consumo della quota Pub/Sub e aumentare i limiti di quota. Ti consigliamo di richiedere un aumento della quota se hai una singola pipeline che supera le quote e i limiti per progetto.

Le quote e i limiti di Pub/Sub sono progettati in base all'utilizzo a livello di progetto. In particolare, ai publisher e ai sottoscrittori di progetti diversi vengono assegnate quote di throughput dei dati indipendenti. Se più pipeline pubblicano o sottoscrivono un singolo argomento, puoi ottenere la velocità effettiva massima consentita per quell'argomento eseguendo il deployment di ogni pipeline nel proprio progetto. In questa configurazione, ogni pipeline utilizza un account di servizio diverso basato sul progetto per utilizzare e pubblicare i messaggi.

Nel seguente diagramma, la Pipeline 1 e la Pipeline 2 condividono la stessa quota di throughput di sottoscrittori e publisher disponibile per il Progetto A. Al contrario, la Pipeline 3 può utilizzare l'intera quota di throughput di sottoscrittori e publisher associata al Progetto B.

Tre pipeline. La pipeline 1 e la pipeline 2 si trovano nel progetto di pipeline A; ognuna ha la propria sottoscrizione a un argomento Pub/Sub. La pipeline 3 si trova nel progetto di pipeline B, che ha una propria sottoscrizione.

Più pipeline possono leggere da un singolo argomento Pub/Sub utilizzando sottoscrizioni separate all'argomento, il che consente alle pipeline Dataflow di eseguire il pull e confermare i messaggi indipendentemente da altri sottoscrittori, ad esempio altre pipeline. Questa funzionalità semplifica la clonazione delle pipeline creando sottoscrizioni Pub/Sub aggiuntive. La creazione di sottoscrizioni aggiuntive è utile per creare pipeline di replica per l'alta affidabilità (in genere per i casi d'uso di flussi di dati), per eseguire pipeline di test aggiuntive sugli stessi dati e per abilitare gli aggiornamenti delle pipeline.

Esempio 2: BigQuery

La lettura e la scrittura dei dati di BigQuery sono supportate dall'SDK Apache Beam per più linguaggi, tra cui Java, Python e Go. Quando utilizzi Java, la classe BigQueryIO fornisce questa funzionalità. BigQueryIO supporta due metodi per la lettura dei dati: EXPORT (esportazione della tabella) e DIRECT_READ. I diversi metodi di lettura consumano quote BigQuery diverse.

L'esportazione della tabella è il metodo di lettura predefinito. Funziona come mostrato nel seguente diagramma:

La pipeline invia una richiesta di esportazione a BigQuery, che scrive i dati in una posizione temporanea in Cloud Storage. La pipeline legge quindi i dati da quella posizione temporanea.

Il diagramma mostra il seguente flusso:

  1. BigQueryIO richiama una richiesta di esportazione BigQuery per esportare i dati della tabella. I dati della tabella esportata vengono scritti in una posizione Cloud Storage temporanea.
  2. BigQueryIO legge i dati della tabella dalla posizione Cloud Storage temporanea.

Le richieste di BigQuery Export sono limitate dalle quote di esportazione. Inoltre, la richiesta di esportazione deve essere completata prima che la pipeline possa iniziare a elaborare i dati, il che aggiunge ulteriore tempo di esecuzione per il job.

Al contrario, l'approccio di lettura diretta utilizza l'API BigQuery Storage per leggere i dati della tabella direttamente da BigQuery. L'API BigQuery Storage fornisce prestazioni di lettura con throughput elevato per i dati delle righe della tabella utilizzando gRPC. L'utilizzo dell'API BigQuery Storage rende superfluo il passaggio di esportazione, evitando così le limitazioni della quota di esportazione e riducendo potenzialmente il tempo di esecuzione del job.

Il seguente diagramma mostra il flusso se utilizzi l'API BigQuery Storage. A differenza del flusso che utilizza una richiesta di BigQuery Export, questo flusso è più semplice, perché prevede un solo passaggio di lettura diretta per trasferire i dati dalla tabella alla pipeline.

La pipeline legge direttamente da una tabella BigQuery.

Anche la scrittura di dati nelle tabelle BigQuery ha implicazioni relative alle quote. Le pipeline batch che utilizzano i job di caricamento BigQuery consumano quote di job di caricamento BigQuery diverse che si applicano a livello di tabella e di progetto. Analogamente, le pipeline di streaming che utilizzano gli inserimenti di flussi di dati di BigQuery consumano le quote di inserimento di flussi di dati di BigQuery.

Per determinare i metodi più appropriati per leggere e scrivere i dati, considera il tuo caso d'uso. Ad esempio, evita di utilizzare i job di caricamento di BigQuery per aggiungere dati migliaia di volte al giorno in una tabella. Utilizza una pipeline di streaming per scrivere dati quasi in tempo reale in BigQuery. A questo scopo, la pipeline di streaming deve utilizzare gli inserimenti di flussi di dati o l'API Storage Write.

Considerazioni geografiche

Dataflow viene offerto come servizio gestito in più Google Cloud regioni. Quando scegli una regione da utilizzare per eseguire i job, considera i seguenti fattori:

  • La posizione delle origini e dei sink di dati
  • Preferenze o limitazioni relative alle località di trattamento dati
  • Funzionalità di Dataflow offerte solo in regioni specifiche
  • La regione utilizzata per gestire l'esecuzione di un determinato job
  • La zona utilizzata per i worker del job

Per un determinato job, l'impostazione della regione che utilizzi per il job e per i worker può essere diversa. Per saperne di più, anche su quando specificare regioni e zone, consulta la documentazione sulle regioni di Dataflow.

Specificando le regioni in cui eseguire i job Dataflow, puoi pianificare in base alle considerazioni regionali per l'alta affidabilità e ripristino di emergenza. Per saperne di più, consulta Alta affidabilità e ridondanza geografica.

Regioni

Le regioni Dataflow archiviano e gestiscono i metadati relativi al tuo job, ad esempio le informazioni sul grafico Apache Beam, come i nomi delle trasformazioni. Controllano anche i comportamenti dei worker, come la scalabilità automatica. Specificare una regione ti aiuta a soddisfare le tue esigenze di sicurezza e conformità, località dei dati e posizionamento regionale di un job. Per evitare l'impatto sulle prestazioni delle chiamate di rete tra regioni, ti consigliamo di utilizzare la stessa regione per il job e per i worker, se possibile.

Worker Dataflow

I job Dataflow utilizzano istanze VM di Compute Engine, chiamate worker Dataflow, per eseguire la pipeline. I job Dataflow possono utilizzare qualsiasi zona di Compute Engine per i worker, incluse le regioni in cui non sono presenti località Dataflow. Specificando una regione dei worker per il job, puoi controllare il posizionamento regionale dei worker. Per specificare una regione o una zona dei worker, segui questi passaggi:

  • Se utilizzi gcloud CLI per creare un job da un template Dataflow, utilizza il flag --worker-region per eseguire l'override della regione dei worker o il flag --worker-zone per eseguire l'override della zona dei worker.
  • Se utilizzi l'SDK Apache Beam per Java per creare il job, imposta le regioni e le zone per i worker utilizzando le opzioni della pipeline. Utilizza workerRegion per eseguire l'override della regione del worker o workerZone per eseguire l'override della zona del worker.

Per migliorare la latenza e la velocità effettiva della rete, ti consigliamo di creare worker in una regione geograficamente vicina alle origini e ai sink di dati. Se non specifichi una regione o una zona per i worker quando crei un job, Dataflow utilizza automaticamente una zona predefinita che si trova nella stessa regione del job.

Se non utilizzi il servizio Dataflow Shuffle o Streaming Engine, i dati elaborati dal job (ovvero i dati archiviati in qualsiasi datastore PCollection) risiedono sui worker del job, a condizione che nessun codice utente trasmetta dati all'esterno dei worker. Se è abilitato il servizio Dataflow Shuffle o Streaming Engine, il set di dati distribuito rappresentato da un oggetto PCollection può essere trasmesso tra i worker e questi servizi.

Considerazioni sulla crittografia dei dati

In quanto servizio completamente gestito, Dataflow cripta automaticamente i dati che si spostano attraverso la pipeline di dati utilizzando Google-owned and Google-managed encryption keys sia per i dati in transito sia per quelli at-rest. Anziché utilizzare Google-owned and Google-managed encryption keys, potresti preferire gestire le tue chiavi di crittografia. In questo caso, Dataflow supporta le chiavi di crittografia gestite dal cliente (CMEK) utilizzando Cloud Key Management Service (KMS). Puoi anche utilizzare Cloud HSM, un servizio per modulo di sicurezza hardware (HSM) ospitato nel cloud che consente di ospitare chiavi di crittografia ed eseguire operazioni crittografiche in un cluster di HSM certificati FIPS 140-2 di livello 3.

Quando utilizzi CMEK, Dataflow utilizza la tua chiave Cloud KMS per criptare i dati, ad eccezione delle operazioni basate su chiavi di dati come windowing, raggruppamento e unione. Se le chiavi dei dati contengono dati sensibili, come informazioni che consentono l'identificazione personale (PII), devi eseguire l'hashing o trasformare le chiavi prima che entrino nella pipeline di Dataflow.

Considerazioni sul networking privato

I requisiti di networking e sicurezza potrebbero imporre che i workload basati su VM, come i job Dataflow, utilizzino solo indirizzi IP privati. Dataflow ti consente di specificare che i worker utilizzino indirizzi IP privati per tutte le comunicazioni di rete. Se gli IP pubblici sono disattivati, devi attivare l'accesso privato Google sulla subnet in modo che i worker Dataflow possano raggiungere le API di Google e i servizi.

Ti consigliamo di disattivare gli IP pubblici per i worker Dataflow, a meno che i tuoi job Dataflow non richiedano IP pubblici per accedere alle risorse di rete esterne a Google Cloud. La disattivazione degli IP pubblici impedisce ai worker Dataflow di accedere alle risorse esterne alla subnet o alle reti VPC in peering. Analogamente, l'accesso di rete ai worker VM dall'esterno della subnet o delle reti VPC in peering è impedito.

Per saperne di più sull'utilizzo dell'opzione della pipeline --usePublicIps per specificare se i worker devono avere solo IP privati, consulta Opzioni della pipeline.

Passaggi successivi