Panoramica dei flussi di lavoro

Questo documento ti aiuta a comprendere l'architettura e l'esecuzione dei workflow in Dataform.

Puoi utilizzare Dataform per sviluppare, testare e controllare la versione dei workflow che puoi eseguire in BigQuery per trasformare i dati a fini di analisi. I workflow di Dataform alimentano pipeline BigQuery, preparazioni dei dati, notebook e query salvate.

Puoi sviluppare workflow con Dataform Core, utilizzando file SQLX e, facoltativamente, file JavaScript, oppure con JavaScript.

Un workflow può essere composto dai seguenti oggetti:

Dichiarazioni di origini dati
Dichiarazioni di origini dati BigQuery che consentono di fare riferimento a queste origini dati nelle definizioni delle tabelle Dataform e nelle operazioni SQL.
Tabelle
Tabelle create in Dataform in base alle origini dati dichiarate o ad altre tabelle nel workflow. Dataform supporta i seguenti tipi di tabelle: tabella, tabella incrementale, vista e vista materializzata.
Asserzioni
Query di test sulla qualità dei dati che puoi utilizzare per convalidare i dati delle tabelle. Dataform esegue le asserzioni ogni volta che aggiorna il workflow e ti avvisa se una qualsiasi asserzione non riesce.
Operazioni SQL personalizzate
Istruzioni SQL che Dataform esegue in BigQuery così come sono, senza modifiche.
Include
File JavaScript con definizioni di variabili e funzioni che puoi riutilizzare nel workflow.

Sviluppo con Data Engineering Agent

Data Engineering Agent ti aiuta a creare e gestire i workflow SQL generando codice e configurazioni da prompt in linguaggio naturale. Oltre alla logica SQL , l'agente popola in modo proattivo le configurazioni delle tabelle con i metadati di Knowledge Catalog (anteprima), come descrizioni dei campi, panoramiche delle tabelle e aspetti generici come informazioni sul sistema e sul tipo. In questo modo, le risorse dati sono rilevabili dal momento della creazione.

Per saperne di più, consulta Utilizzare Data Engineering Agent per creare e modificare le pipeline di dati.

Visualizzazione di un workflow

Puoi visualizzare il workflow sotto forma di grafo diretto aciclico (DAG). Il DAG mostra tutti gli oggetti del workflow definiti nel workspace e le relazioni tra loro. Puoi aumentare e diminuire lo zoom e utilizzare la navigazione con il trascinamento nel DAG. Se nel workflow sono presenti errori di compilazione, Dataform mostra un messaggio di errore anziché il DAG.

Per visualizzare il DAG del workflow, nel workspace fai clic su Grafico compilato.

Esecuzione di un workflow

Devi associare un account di servizio personalizzato a un repository Dataform per l'esecuzione del workflow. Tutte le altre operazioni del repository vengono comunque eseguite dall'agente di servizio Dataform predefinito.

Nel workspace di sviluppo, puoi attivare manualmente l'esecuzione dell'intero workflow, di una selezione di azioni o di una selezione di tag.

Puoi pianificare le esecuzioni con le configurazioni di release e le configurazioni dei workflow di Dataform. Innanzitutto, crea una configurazione di release per creare i risultati della compilazione del repository. Poi, crea una configurazione del workflow, seleziona una configurazione di release, seleziona le azioni del workflow che vuoi eseguire e imposta la pianificazione dell'esecuzione.

In alternativa, puoi pianificare le esecuzioni con Managed Service for Apache Airflow o con Workflows e Cloud Scheduler.

Durante l'esecuzione, Dataform esegue le query SQL in BigQuery, seguendo l'ordine delle dipendenze degli oggetti nel workflow. Dopo l'esecuzione, puoi utilizzare le tabelle e le viste definite per tutti gli scopi di analisi in BigQuery.

Opzioni di configurazione dell'esecuzione

Per eseguire un gruppo specifico di azioni del workflow, puoi aggiungere tag di esecuzione Dataform ai file selezionati. Quando attivi manualmente un'esecuzione, puoi eseguire solo i file con un tag selezionato.

Per impostazione predefinita, Dataform esegue il workflow con le impostazioni di esecuzione definite nel file workflow_settings.yaml.

Con gli override di compilazione del workspace, puoi trasformare i workspace in ambienti di esecuzione isolati. Ciò significa che quando attivi manualmente l'esecuzione in un workspace, Dataform esegue l'output in una posizione isolata in BigQuery.

Per creare ed eseguire un singolo risultato di compilazione con gli override di compilazione, puoi passare le richieste con l'API Dataform.

Con le configurazioni di release, puoi configurare gli override di compilazione per l'intero repository, nonché la frequenza di creazione dei risultati di compilazione con le impostazioni applicate.

Per scoprire di più sui modi per configurare la compilazione e il ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.

Passaggi successivi