Dataflow si basa sul progetto open source Apache Beam. Questo documento descrive il modello di programmazione Apache Beam, fornendo una panoramica della sua architettura e fungendo da guida ai suoi concetti fondamentali.
Panoramica del trattamento dati di Apache Beam
Questa sezione fornisce una panoramica dell'architettura di Apache Beam, descrivendo in dettaglio come i suoi componenti interagiscono per un trattamento dati efficiente. Apache Beam è un modello unificato open source per la definizione di pipeline sia batch che di streaming. Il modello di programmazione Apache Beam semplifica i meccanismi di trattamento dati su larga scala. Utilizzando uno degli SDK Apache Beam, crei un programma che definisce la pipeline. Poi, esegui la pipeline su una piattaforma specifica, come Dataflow. Questo modello ti consente di concentrarti sulla composizione logica del job di trattamento dati, anziché sulla gestione dell'orchestrazione dell'elaborazione parallela.
Apache Beam ti isola dai dettagli di basso livello dell'elaborazione distribuita, come il coordinamento dei singoli worker, lo sharding dei set di dati e altre attività simili. Dataflow gestisce completamente questi dettagli di basso livello.
Una pipeline è un grafico delle trasformazioni applicate alle raccolte di dati. In Apache Beam, una raccolta è chiamata PCollection e una trasformazione è chiamata PTransform. Un PCollection può essere limitato o illimitato.
Un PCollection delimitato ha una dimensione nota e fissa e può essere elaborato utilizzando una pipeline batch. I PCollections illimitati devono utilizzare una pipeline di streaming, perché i dati vengono elaborati man mano che arrivano.
Apache Beam fornisce connettori per leggere e scrivere su diversi sistemi, tra cui i servizi Google Cloud e tecnologie di terze parti come Apache Kafka.
Il seguente diagramma mostra una pipeline Apache Beam.

Puoi scrivere PTransforms che eseguono una logica arbitraria. Gli SDK Apache Beam forniscono anche una libreria di PTransforms utili pronti all'uso, tra cui:
- Filtra tutti gli elementi che non soddisfano un predicato.
- Applica una funzione di mappatura 1:1 a ogni elemento.
- Raggruppa gli elementi per chiave.
- Conta gli elementi di una raccolta.
- Conta gli elementi associati a ciascuna chiave in una raccolta di coppie chiave-valore.
Per eseguire una pipeline Apache Beam utilizzando Dataflow, segui questi passaggi:
- Utilizza l'SDK Apache Beam per definire e creare la pipeline. In alternativa, puoi eseguire il deployment di una pipeline predefinita utilizzando un template Dataflow.
- Utilizza Dataflow per eseguire la pipeline. Dataflow alloca un pool di VM per eseguire il job, esegue il deployment del codice nelle VM e orchestra l'esecuzione del job.
- Dataflow esegue ottimizzazioni sul backend per fare in modo che la pipeline venga eseguita in modo efficiente e sfrutti la parallelizzazione.
- Mentre un job è in esecuzione e dopo il suo completamento, utilizza le funzionalità di gestione di Dataflow per monitorare l'avanzamento e risolvere i problemi.
Concetti di programmazione di Apache Beam
Questa sezione contiene riepiloghi di concetti fondamentali.
Concetti di base dell'elaborazione in modalità flusso e batch
- Pipeline
- Una pipeline racchiude l'intera serie di calcoli coinvolti nella lettura dei dati di input, nella loro trasformazione e nella scrittura dei dati di output. L'origine di input e il sink di output possono essere dello stesso tipo o di tipi diversi, consentendoti di convertire i dati da un formato all'altro. I programmi Apache Beam iniziano con la creazione di un oggetto
Pipeline, che viene poi utilizzato come base per la creazione dei set di dati della pipeline. Ogni pipeline rappresenta un singolo job ripetibile. - PCollection
- Un
PCollectionrappresenta un set di dati multielemento potenzialmente distribuito che funge da dati della pipeline. Le trasformazioni di Apache Beam utilizzano oggettiPCollectioncome input e output per ogni passaggio della pipeline. UnPCollectionpuò contenere un set di dati di dimensioni fisse o un set di dati illimitato proveniente da un'origine dati in continuo aggiornamento. - Trasformazioni
- Una trasformazione rappresenta un'operazione di trattamento che trasforma i dati. Una trasformazione accetta uno o più
PCollectioncome input, esegue un'operazione che specifichi su ogni elemento della raccolta e produce uno o piùPCollectioncome output. Una trasformazione può eseguire quasi tutti i tipi di operazioni di elaborazione, tra cui calcoli matematici sui dati, conversione dei dati da un formato all'altro, raggruppamento dei dati, lettura e scrittura dei dati, filtro dei dati per restituire solo gli elementi desiderati o combinazione di elementi di dati in singoli valori. - ParDo
ParDoè l'operazione di trattamento parallela principale negli SDK Apache Beam, che richiama una funzione specificata dall'utente su ciascuno degli elementi dell'inputPCollection.ParDoraccoglie gli elementi di output (zero o più) in unPCollectiondi output. La trasformazioneParDoelabora gli elementi in modo indipendente e, possibilmente, in parallelo. La funzione definita dall'utente per unParDoè chiamataDoFn.- I/O della pipeline
- I connettori di I/O di Apache Beam ti consentono di leggere i dati nella pipeline e di scrivere i dati di output dalla pipeline. Un connettore I/O è costituito da un'origine e un sink. Tutte le origini e i sink di Apache Beam sono trasformazioni che consentono alla pipeline di utilizzare dati provenienti da diversi formati di datastore. Puoi anche scrivere un connettore I/O personalizzato.
- Aggregazione
- L'aggregazione è il processo di calcolo di un valore da più elementi di input. Il pattern di calcolo principale per l'aggregazione in Apache Beam consiste nel raggruppare tutti gli elementi con una chiave e una finestra comuni. Quindi, combina ogni gruppo di elementi utilizzando un'operazione associativa e commutativa.
- Funzioni definite dall'utente
- Alcune operazioni all'interno di Apache Beam consentono di eseguire codice definito dall'utente come modo per configurare la trasformazione. Per
ParDo, il codice definito dall'utente specifica l'operazione da applicare a ogni elemento, mentre perCombinespecifica come devono essere combinati i valori. Una pipeline potrebbe contenere funzioni definite dall'utente scritte in un linguaggio diverso da quello del runner. Una pipeline potrebbe anche contenere UDF scritte in più lingue. - Runner
- I runner sono il software che accetta una pipeline e la esegue. La maggior parte dei runner sono traduttori o adattatori per sistemi di trattamento dati di big data con un elevato livello di parallelismo. Esistono altri runner per i test e il debug locali.
- Origine
- Una trasformazione che legge da un sistema di archiviazione esterno. In genere, una pipeline legge i dati di input da un'origine. L'origine ha un tipo, che può essere diverso dal tipo di sink, quindi puoi modificare il formato dei dati mentre si spostano nella pipeline.
- Sink
- Una trasformazione che scrive in un sistema di archiviazione dei dati esterno, ad esempio un file o un database.
- TextIO
- Un
PTransformper leggere e scrivere file di testo. L'origine e il sinkTextIOsupportano i file compressi congzipebzip2. L'origine di inputTextIOsupporta JSON. Tuttavia, affinché il servizio Dataflow possa parallelizzare l'input e l'output, i dati di origine devono essere delimitati da un avanzamento riga. Puoi utilizzare un'espressione regolare per scegliere come target file specifici con l'origineTextIO. Dataflow supporta i pattern di caratteri jolly generali. L'espressione glob può essere visualizzata in qualsiasi punto del percorso. Tuttavia, Dataflow non supporta i caratteri jolly ricorsivi (**).
Concetti avanzati di elaborazione in modalità batch e flusso
- Ora evento
- Il momento in cui si verifica un evento di dati, determinato dal timestamp sull'elemento di dati stesso. Questo è in contrasto con il momento in cui l'elemento di dati effettivo viene elaborato in qualsiasi fase della pipeline.
- Windowing
- La suddivisione in finestre consente di raggruppare le operazioni su raccolte non limitate dividendo la raccolta in finestre di raccolte limitate in base ai timestamp dei singoli elementi. Una funzione di windowing indica al runner come assegnare gli elementi a una finestra iniziale e come unire le finestre degli elementi raggruppati. Apache Beam ti consente di definire diversi tipi di finestre o di utilizzare le funzioni di windowing predefinite.
- Filigrane
- Apache Beam monitora una watermark, ovvero la nozione del sistema di quando si prevede che tutti i dati di una determinata finestra siano arrivati nella pipeline. Apache Beam monitora un watermark perché non è garantito che i dati arrivino in una pipeline in ordine temporale o a intervalli prevedibili. Inoltre, non è garantito che gli eventi di dati vengano visualizzati nella pipeline nello stesso ordine in cui sono stati generati.
- Trigger
- I trigger determinano quando emettere i risultati aggregati man mano che arrivano i dati. Per i dati limitati, i risultati vengono emessi dopo l'elaborazione di tutto l'input. Per i dati non limitati, i risultati vengono emessi quando la filigrana supera la fine della finestra, indicando che il sistema ritiene che tutti i dati di input per quella finestra siano stati elaborati. Apache Beam fornisce diversi trigger predefiniti e ti consente di combinarli.
Passaggi successivi
- Per scoprire di più sui concetti di base della creazione di pipeline utilizzando gli SDK Apache Beam, consulta la Guida alla programmazione di Apache Beam nella documentazione di Apache Beam.
- Per maggiori dettagli sulle funzionalità di Apache Beam supportate da Dataflow, consulta la matrice delle funzionalità di Apache Beam.