Il builder dei job è un'interfaccia utente visiva per creare ed eseguire pipeline Dataflow nella Google Cloud console, senza scrivere codice.
L'immagine seguente mostra un dettaglio dell'interfaccia utente del builder dei job. In questa immagine, l'utente sta creando una pipeline per leggere da Pub/Sub a BigQuery:
Panoramica
Il builder dei job supporta la lettura e la scrittura dei seguenti tipi di dati:
- Messaggi Pub/Sub
- Dati delle tabelle BigQuery
- File CSV, file JSON e file di testo in Cloud Storage
- Dati delle tabelle PostgreSQL, MySQL, Oracle e SQL Server
- Dati delle tabelle Apache Iceberg
- Dati delle tabelle Delta Lake
Supporta le trasformazioni delle pipeline, tra cui filtro, mappa, SQL, raggruppamento, unione ed espansione (appiattimento di array).
Con il builder dei job puoi:
- Eseguire lo streaming da Pub/Sub a BigQuery con trasformazioni e aggregazione con finestra
- Scrivere dati da Cloud Storage a BigQuery
- Utilizzare la gestione degli errori per filtrare i dati errati (coda di messaggi non recapitabili)
- Manipolare o aggregare i dati utilizzando SQL con la trasformazione SQL
- Aggiungere, modificare o eliminare campi dai dati con le trasformazioni di mappatura
- Pianificare job batch ricorrenti
Il builder dei job può anche salvare le pipeline come file YAML di Apache Beam e caricare le definizioni delle pipeline dai file YAML di Beam. Utilizzando questa funzionalità, puoi progettare la pipeline nel builder dei job e poi archiviare il file YAML in Cloud Storage o in un repository di controllo del codice sorgente per riutilizzarlo. Le definizioni dei job YAML possono essere utilizzate anche per avviare i job utilizzando la gcloud CLI.
Prendi in considerazione il builder dei job per i seguenti casi d'uso:
- Vuoi creare rapidamente una pipeline senza scrivere codice.
- Vuoi salvare una pipeline in YAML per riutilizzarla.
- La pipeline può essere espressa utilizzando le origini, i sink e le trasformazioni supportati.
- Non esiste un modello fornito da Google che corrisponda al tuo caso d'uso.
Eseguire un job di esempio
L'esempio di conteggio delle parole è una pipeline batch che legge il testo da Cloud Storage, tokenizza le righe di testo in parole singole ed esegue un conteggio della frequenza per ciascuna parola.
Se il bucket Cloud Storage si trova al di fuori del tuo perimetro di servizio, crea una regola in uscita che consenta l'accesso al bucket.
Per eseguire la pipeline di conteggio delle parole:
Vai alla pagina Job nella Google Cloud console.
Fai clic su Crea job da modello.
Nel riquadro laterale, fai clic su Builder dei job.
Fai clic su Carica blueprint.
Fai clic su Conteggio delle parole. Il builder dei job viene compilato con una rappresentazione grafica della pipeline.
Per ogni passaggio della pipeline, il builder dei job visualizza una scheda che specifica i parametri di configurazione per quel passaggio. Ad esempio, il primo passaggio legge i file di testo da Cloud Storage. La posizione dei dati di origine è precompilata nella casella Posizione del testo.
Individua la scheda intitolata Nuovo sink. Potresti dover scorrere.
Nella casella Posizione del testo, inserisci il prefisso del percorso della posizione di Cloud Storage per i file di testo di output.
Fai clic su Esegui job. Il builder dei job crea un job Dataflow e poi passa al grafico del job. Quando il job viene avviato, il grafico del job mostra una rappresentazione grafica della pipeline. Questa rappresentazione grafica è simile a quella mostrata nel builder dei job. Man mano che ogni passaggio della pipeline viene eseguito, lo stato viene aggiornato nel grafico del job.
Il riquadro Informazioni sul job mostra lo stato generale del job. Se il job viene completato correttamente, il campo Stato del job viene aggiornato a Succeeded.
Passaggi successivi
- Utilizza l'interfaccia di monitoraggio dei job Dataflow.
- Crea un job personalizzato nel builder dei job.
- Salva e carica le definizioni dei job YAML nel builder dei job.
- Scopri di più su Beam YAML.