Configurare le compilation

Questo documento mostra come eseguire le seguenti operazioni in Dataform:

Prima di iniziare

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona o crea un repository.

  3. Seleziona o crea un'area di lavoro di sviluppo.

  4. (Facoltativo) Per eseguire l'override del progetto Google Cloud predefinito nella configurazione della release, concedi l'accesso al tuo account di servizio personalizzato nel progetto che prevedi di utilizzare.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per completare le attività descritte in questo documento, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per migliorare la sicurezza della pianificazione, consulta Implementa autorizzazioni di pianificazione avanzate.

Per poter aggiornare la versione di release di una configurazione della release per un repository Dataform, devi concedere l'autorizzazione iam.serviceAccounts.actAs all'agente di servizio Dataform per ogni account di servizio personalizzato nelle configurazioni del workflow che utilizzano questa configurazione della release. Questa autorizzazione è disponibile nel ruolo Service Account User (roles/iam.serviceAccountUser). Per saperne di più, consulta Concedi i ruoli IAM richiesti.

Introduzione al ciclo di vita del workflow in Dataform

Questa sezione descrive il ciclo di vita del workflow in Dataform e i modi per configurare la compilazione e l'esecuzione all'interno di Dataform.

Il ciclo di vita del workflow di Dataform è costituito dalle seguenti fasi:

Sviluppo
Sviluppi un workflow in un workspace Dataform.
Compilation

Dataform compila il codice del workflow nel tuo workspace in SQL in tempo reale, creando un risultato della compilazione del workspace che puoi eseguire in BigQuery. Dataform utilizza le impostazioni definite nel file di impostazioni del workflow per creare il risultato della compilazione.

La compilazione di Dataform è ermetica per garantire la coerenza della compilazione, il che significa che lo stesso codice viene compilato ogni volta nello stesso risultato di compilazione SQL. Dataform compila il codice in un ambiente sandbox senza accesso a internet. Durante la compilazione non sono disponibili altre azioni, come la chiamata di API esterne.

Esecuzione

In una chiamata del workflow, Dataform esegue il risultato della compilazione del workspace in BigQuery.

Per personalizzare il ciclo di vita del workflow di Dataform in base alle tue esigenze, puoi configurare il risultato della compilazione in modo da influenzare dove e come Dataform esegue il workflow. In seguito, puoi attivare o pianificare manualmente le esecuzioni per stabilire quando Dataform deve eseguire l'intero workflow o gli elementi selezionati.

Modi per configurare la compilazione di Dataform

Per impostazione predefinita, Dataform utilizza le impostazioni nel file delle impostazioni del workflow per creare i risultati della compilazione. Puoi eseguire l'override delle impostazioni predefinite con gli override di compilazione per creare risultati di compilazione personalizzati. Puoi quindi attivare manualmente un'esecuzione di un risultato di compilazione personalizzato o pianificare le esecuzioni.

Dataform offre le seguenti opzioni per la configurazione dei risultati della compilazione:

Override di compilazione del workspace
Puoi configurare gli override di compilazione che si applicano a tutti i workspace di un repository. Puoi utilizzare gli override di compilazione del workspace per creare ambienti di sviluppo isolati.
Configurazioni della release
Puoi creare configurazioni di release per configurare i modelli per la creazione dei risultati di compilazione di un repository Dataform. Puoi quindi creare una configurazione del workflow per pianificare le esecuzioni dei risultati di compilazione creati in una configurazione della release selezionata.
Override della compilazione dell'API Dataform
Puoi passare le richieste API Dataform nel terminale per creare ed eseguire un singolo risultato di compilazione con override della compilazione.

Configura gli override di compilazione dell'area di lavoro

Con gli override di compilazione del workspace, puoi creare override di compilazione per tutti i workspace in un repository Dataform. Puoi creare una configurazione degli override della compilazione dell'area di lavoro per ogni repository.

Quando attivi manualmente un'esecuzione in un workspace in un repository con override di compilazione del workspace, Dataform applica questi override al risultato della compilazione del workspace.

Puoi configurare i seguenti override di compilazione del workspace:

  • Google Cloud progetto in cui Dataform esegue i contenuti del workspace
  • Prefisso tabella
  • Suffisso schema

Puoi utilizzare gli override di compilazione del workspace per creare ambienti di sviluppo isolati, isolando i risultati della compilazione del workspace in BigQuery con override di compilazione dinamici. Gli override della compilazione del prefisso della tabella dinamica e del suffisso dello schema contengono la variabile ${workspaceName}. Quando attivi un'esecuzione in un workspace, Dataform sostituisce la variabile ${workspaceName} con il nome del workspace corrente, creando override di compilazione univoci per il workspace.

Tieni presente che non puoi pianificare le esecuzioni dei risultati di compilazione creati con gli override di compilazione del workspace.

Crea configurazioni della release

Con le configurazioni delle release, puoi configurare modelli di impostazioni per creare risultati di compilazione dei repository.

In una configurazione della release, puoi configurare gli override della compilazione delle impostazioni del workflow, delle variabili di compilazione e della frequenza di creazione dei risultati di compilazione dell'intero repository.

In una configurazione della release, puoi configurare i seguenti override di compilazione:

Puoi creare più configurazioni di rilascio in un repository Dataform, una per ogni fase del ciclo di vita dello sviluppo, creando risultati di compilazione del repository isolati.

Puoi quindi creare configurazioni del workflow per pianificare le esecuzioni dei risultati di compilazione creati in una configurazione della release selezionata.

Puoi anche attivare manualmente l'esecuzione di un risultato della compilazione in una configurazione della release selezionata.

Configura un singolo risultato di compilazione con gli override di compilazione dell'API Dataform

Passando le richieste API Dataform nel terminale, puoi configurare gli override della compilazione per un singolo risultato di compilazione.

Nella richiesta compilationResults.create, puoi creare un singolo risultato di compilazione di un workspace Dataform o di un commitish Git specificato, che può essere un ramo, un tag o un SHA di commit.

Nell'oggetto CodeCompilationConfig della richiesta compilationResults.create, puoi configurare gli override della compilazione per la richiesta di compilazione.

Puoi configurare i seguenti override di compilazione dell'API Dataform:

Tieni presente che gli override della compilazione dell'API Dataform si applicano a un singolo risultato di compilazione e a una singola esecuzione. Non puoi utilizzarli per pianificare le esecuzioni di Dataform.

Puoi eseguire un risultato della compilazione nella richiesta workflowInvocations.create.

Modi per configurare l'esecuzione di Dataform

Dataform offre le seguenti opzioni per la configurazione dell'esecuzione:

Esecuzione manuale in un workspace
Puoi attivare manualmente l'esecuzione istantanea di un workflow in un workspace Dataform, al di fuori di qualsiasi pianificazione. Puoi eseguire le azioni selezionate nel workflow.
Configurazioni dei workflow
Puoi pianificare le esecuzioni dei risultati della compilazione creati in una configurazione di rilascio selezionata. Puoi selezionare le azioni del workflow da eseguire e impostare la frequenza e il fuso orario delle esecuzioni.

Attiva l'esecuzione istantanea in un workspace

In un workspace Dataform, puoi attivare manualmente l'esecuzione istantanea di un workflow nel tuo workspace, al di fuori di qualsiasi pianificazione.

Puoi eseguire manualmente i seguenti elementi del workflow nel tuo workspace:

Se il repository contiene override di compilazione del workspace, puoi visualizzare gli override di compilazione che Dataform applicherà al risultato della compilazione del workspace.

Crea configurazioni dei workflow

Con le configurazioni dei workflow, puoi pianificare le esecuzioni dei risultati della compilazione da una configurazione della release selezionata. Puoi creare più configurazioni del workflow in un repository Dataform.

In una configurazione del workflow, puoi configurare le seguenti impostazioni di esecuzione:

  • Configurazione della release di compilazione applicata.
  • Selezione delle azioni del workflow da eseguire.
  • Pianificazione e fuso orario delle esecuzioni.

Puoi selezionare le seguenti azioni del workflow da eseguire:

  • Tutte le azioni
  • Azioni selezionate
  • Azioni con i tag selezionati

Poi, durante un'esecuzione pianificata della configurazione del workflow, Dataform esegue il deployment della selezione di azioni dal risultato della compilazione applicato in BigQuery.

Le configurazioni di rilascio e del workflow di Dataform ti consentono di configurare la compilazione e pianificare le esecuzioni all'interno di Dataform, senza dover fare affidamento su servizi aggiuntivi.

Scadenza delle risorse del ciclo di vita

Dataform archivia i risultati della compilazione e le chiamate dei workflow per un periodo di tempo specifico.

Scadenza delle chiamate del workflow

Le esecuzioni dei workflow scadono dopo 90 giorni o quando le elimini manualmente.

In una configurazione del workflow, puoi visualizzare un elenco delle chiamate del workflow più recenti create dalla configurazione. Quando una chiamata del workflow creata da una configurazione del workflow scade, Dataform la rimuove dall'elenco delle chiamate recenti.

Scadenza dei risultati della compilazione

La scadenza dei risultati della compilazione dipende dal fatto che siano stati creati in un workspace di sviluppo, in una configurazione di rilascio o da una chiamata del workflow.

Quando sviluppi un workflow in un workspace Dataform, Dataform compila il codice in un risultato di compilazione in tempo reale per fornire la convalida delle query. I risultati della compilazione creati in questo modo scadono dopo 24 ore.

In una configurazione della release, l'ultimo risultato della compilazione diventa il risultato della compilazione attiva. Un nuovo risultato di compilazione sostituisce il risultato di compilazione in tempo reale corrente. Dataform conserva il risultato della compilazione in tempo reale finché non viene sostituito con un nuovo risultato della compilazione. Un risultato di compilazione sostituito scade entro 24 ore.

Dataform rimuove i risultati di compilazione scaduti dall'elenco dei risultati di compilazione precedenti nella pagina Dettagli di una configurazione della release.

Dataform conserva i risultati della compilazione creati dalle chiamate dei workflow per l'intera durata della chiamata del workflow, fino a 24 ore dopo la scadenza o l'eliminazione della chiamata del workflow.

Crea override di compilazione del workspace

Questa sezione mostra come creare override di compilazione del workspace per isolare le tabelle e le viste create dai workspace Dataform in BigQuery. Puoi utilizzare gli override di compilazione del workspace per creare ambienti di sviluppo Dataform isolati.

Quando sviluppi il codice del workflow in un workspace di Dataform, Dataform compila il codice nel workspace in tempo reale per creare un risultato della compilazione del workspace. Dataform utilizza le impostazioni definite nel file di impostazioni del workflow per creare il risultato della compilazione dell'area di lavoro. Poi, quando attivi l'esecuzione in un workspace, Dataform esegue il risultato della compilazione del workspace in BigQuery.

Per eseguire l'override delle impostazioni predefinite configurate nelle impostazioni del workflow per tutti i workspace nel repository, puoi creare override di compilazione del workspace.

Con gli override di compilazione del workspace, puoi eseguire l'override delle seguenti impostazioni per tutti i workspace nel repository:

Progetto

Il progetto Google Cloud in cui Dataform esegue il risultato della compilazione del workspace, impostato in workflow_settings.yaml come defaultProject o in dataform.json come defaultDatabase.

Prefisso tabella

Il prefisso personalizzato aggiunto a tutti i nomi delle tabelle in tutte le aree di lavoro nel repository.

Suffisso schema

Il suffisso personalizzato aggiunto allo schema delle tabelle. Imposta come defaultDataset in workflow_settings.yaml, defaultSchema in dataform.json o nel parametro schema nel blocco config di una tabella.

Per creare ambienti di sviluppo isolati, puoi isolare i workspace con override di compilazione univoci. Puoi modificare dinamicamente gli override delle compilazioni del prefisso della tabella e del suffisso dello schema con la variabile ${workspaceName}.

Quando attivi manualmente l'esecuzione in un workspace, la variabile ${workspaceName} inserisce il nome del workspace negli override di compilazione del workspace.

Quando imposti ${workspaceName} come prefisso della tabella, Dataform aggiunge il nome del workspace ai nomi di tutte le tabelle nel workspace. Dopo l'esecuzione, in BigQuery puoi identificare l'area di lavoro da cui proviene una tabella.

Quando imposti ${workspaceName} come suffisso dello schema, Dataform aggiunge il nome del workspace a defaultSchema, creando uno schema personalizzato dedicato al workspace. Dopo l'esecuzione, in BigQuery puoi individuare tutte le tabelle eseguite da un workspace specifico nello schema dedicato.

Esempio di override di compilazione dinamica del workspace

L'esempio seguente mostra gli override di compilazione dinamica del workspace applicati a un repository che contiene workspace denominati in base agli sviluppatori che lavorano sul repository: Sasha e Kai.

L'obiettivo degli override di compilazione dell'area di lavoro in questo esempio è creare ambienti di sviluppo isolati per Sasha e Kai.

In workflow_settings.yaml sono configurate le seguenti impostazioni predefinite:

  • defaultProject: analytics
  • defaultDataset: dataform

I seguenti override di compilazione dell'area di lavoro creano un prefisso della tabella e un suffisso dello schema dinamici per ogni area di lavoro nel repository:

  • ID progetto Google Cloud: analytics_dev
  • Prefisso tabella: ${workspaceName}
  • Suffisso schema: ${workspaceName}

Quando Sasha attiva manualmente l'esecuzione nel workspace Sasha, Dataform esegue i contenuti con le seguenti impostazioni:

  • Google Cloud project: analytics_dev
  • Schema: dataform_sasha
  • Nomi delle tabelle: sasha_name, ad esempio, sasha_orders

Quando Kai attiva manualmente l'esecuzione nel workspace Kai, Dataform esegue i suoi contenuti con le seguenti impostazioni:

  • Google Cloud project: analytics_dev
  • Schema: dataform_kai
  • Nomi delle tabelle: kai_name, ad esempio, kai_orders

Crea override di compilazione del workspace

Per creare override di compilazione del workspace Dataform, segui questi passaggi:

  1. Nel repository, vai a Settings (Impostazioni).
  2. Fai clic su Modifica.
  3. Nel riquadro Override di compilazione dell'area di lavoro, nel campo ID progetto Google Cloud, inserisci l'ID del progetto.
  4. Nel campo Prefisso tabella, inserisci un prefisso per tutti i nomi delle tabelle.
    1. (Facoltativo) Per creare un prefisso di tabella dinamico univoco per ogni area di lavoro, inserisci ${workspaceName} come prefisso di tabella.
  5. Nel campo Suffisso schema, inserisci un suffisso da aggiungere allo schema della tabella o della vista creata.
    1. (Facoltativo) Per creare un suffisso dello schema dinamico univoco per ogni area di lavoro, inserisci ${workspaceName} come suffisso della tabella.
  6. Fai clic su Salva.

Dataform applica override di compilazione del workspace a tutti i workspace nel repository.

Modifica gli override di compilazione del workspace

Per modificare gli override di compilazione del workspace Dataform, segui questi passaggi:

  1. Nel repository, vai a Settings (Impostazioni).
  2. Fai clic su Modifica.
  3. Modifica gli override di compilazione del workspace e poi fai clic su Salva.

Elimina gli override di compilazione del workspace

Per eliminare gli override di compilazione del workspace Dataform, segui questi passaggi:

  1. Nel repository, vai a Settings (Impostazioni).
  2. Fai clic su Modifica.
  3. Nel riquadro Override di compilazione dell'area di lavoro, fai clic su Cancella tutto, quindi su Salva.

Configura gli override di compilazione con l'API Dataform

Questa sezione mostra come creare ed eseguire un risultato della compilazione con override della compilazione utilizzando l'API Dataform.

Informazioni sugli override della compilazione dell'API Dataform

Per eseguire il workflow, Dataform compila il codice in SQL per creare un risultato della compilazione. Poi, durante una chiamata del workflow, Dataform esegue il risultato della compilazione in BigQuery.

Per impostazione predefinita, Dataform utilizza le impostazioni nel file di impostazioni del workflow per creare il risultato della compilazione. Per isolare i dati eseguiti in diverse fasi del ciclo di vita dello sviluppo, puoi eseguire l'override delle impostazioni predefinite con gli override di compilazione.

Passando le richieste API Dataform nel terminale, puoi creare ed eseguire un singolo risultato di compilazione con override della compilazione. Puoi creare un risultato della compilazione di un workspace o di un commitish Git selezionato, ad esempio un branch, un tag o un SHA di commit.

Per creare un risultato della compilazione con override della compilazione, devi inviare la richiesta compilationResults.create dell'API Dataform. Nella richiesta, devi specificare un'origine, che deve essere un workspace o un commitish Git, affinché Dataform possa compilarla nel risultato della compilazione. Nell'oggetto CodeCompilationConfig della richiesta compilationResults.create, puoi configurare gli override della compilazione.

Puoi quindi eseguire il risultato della compilazione creato in una richiesta workflowInvocations.create dell'API Dataform.

Puoi configurare i seguenti override di compilazione dell'API Dataform:

progettoGoogle Cloud

Il progetto in cui Dataform esegue il risultato della compilazione, impostato nel file workflow_settings.yaml come proprietà defaultProject o nel file dataform.json come proprietà defaultDatabase.

Prefisso tabella

Il prefisso personalizzato aggiunto a tutti i nomi delle tabelle nel risultato della compilazione.

Suffisso schema

Il suffisso personalizzato aggiunto allo schema delle tabelle definite nella proprietà defaultDataset nel file workflow_settings.yaml, nella proprietà defaultSchema nel file dataform.json o nel parametro schema nel blocco config di una tabella.

Valore di una variabile di compilazione

Il valore di una variabile di compilazione da utilizzare nel risultato della compilazione. Puoi utilizzare le variabili di compilazione per eseguire le tabelle in modo condizionale.

In alternativa agli override di compilazione dell'API Dataform, che puoi utilizzare solo per un risultato di compilazione, puoi configurare gli override di compilazione del workspace nella console Google Cloud .

Per scoprire modi alternativi per configurare gli override di compilazione in Dataform, consulta Introduzione al ciclo di vita del workflow in Dataform.

Imposta un'origine del risultato della compilazione

Per generare la richiesta dell'API Dataform compilationResults.create, devi specificare un'origine per il risultato della compilazione.

Puoi impostare un workspace Dataform o un ramo Git, un tag Git o uno SHA del commit Git come origine nella richiesta compilationResults.create.

Imposta un workspace come origine dei risultati della compilazione

  • Nella richiesta compilationResults.create, compila la proprietà workspace con il percorso di un workspace Dataform selezionato nel seguente formato:

    {
"workspace": "projects/PROJECT_NAME/locations/LOCATION/repositories/REPOSITORY_NAME/workspaces/WORKSPACE_NAME"
}

    Sostituisci quanto segue:

    • PROJECT_NAME: il nome del progetto Google Cloud .
    • LOCATION: la località del repository Dataform, impostata nelle impostazioni del workflow.
    • REPOSITORY_NAME: il nome del repository Dataform.
    • WORKSPACE_NAME: il nome del tuo workspace Dataform.

Il seguente esempio di codice mostra la proprietà workspace nella richiesta compilationResults.create impostata su un workspace denominato "sales-test":

{
"workspace": "projects/analytics/locations/europe-west4/repositories/sales/workspaces/sales-test"
}

Imposta un commitish Git come origine del risultato della compilazione

  • Nella richiesta compilationResults.create, compila la proprietà gitCommitish con il branch, il tag o l'SHA del commit Git selezionato nel seguente formato:

    {
  "gitCommitish": "GIT_COMMITISH"
}

    Sostituisci GIT_COMMITISH con il ramo Git, il tag Git o un SHA del commit Git selezionato per il risultato della compilazione.

Il seguente esempio di codice mostra la proprietà gitCommitish nella richiesta compilationResults.create impostata su "staging":

{
  "gitCommitish": "staging"
}

Esegui l'override del progetto predefinito

Per creare tabelle di gestione temporanea o di produzione in un progetto Google Cloud separato dal progetto utilizzato per lo sviluppo, puoi passare un ID progetto diverso nell'oggettoCodeCompilationConfig nella richiesta compilationResults.create dell'API Dataform.

Se passi un ID progetto predefinito separato nella richiesta compilationResults.create, l'ID progetto predefinito configurato nel file delle impostazioni del workflow viene sostituito, ma non gli ID progetto configurati nelle singole tabelle.

  • Per eseguire l'override dell'ID progetto predefinito, imposta la proprietà defaultDatabase sull'ID progetto selezionato nell'oggetto CodeCompilationConfig nel seguente formato:

    {
  "codeCompilationConfig": {
    "defaultDatabase": "PROJECT_NAME"
  }
}

    Sostituisci PROJECT_NAME con l'ID progetto che vuoi impostare per il risultato della compilazione.

Aggiungi un prefisso tabella

Per identificare rapidamente le tabelle dal risultato della compilazione, puoi aggiungere un prefisso a tutti i nomi delle tabelle nel risultato della compilazione passando il prefisso della tabella nell'oggetto CodeCompilationConfig nell'oggetto compilationResults.create dell'API Dataform.

  • Per aggiungere un prefisso alla tabella, imposta la proprietà tablePrefix nell'oggetto CodeCompilationConfig nel seguente formato:

    {
  "codeCompilationConfig": {
    "tablePrefix": "PREFIX",
  }
}

    Sostituisci PREFIX con il prefisso che vuoi aggiungere, ad esempio staging.

    Ad esempio, se il nome della tabella è table_name, Dataform crea tabelle con il nome staging_table_name.

Aggiungi un suffisso dello schema

Per separare i dati di sviluppo, gestione temporanea e produzione, puoi aggiungere un suffisso agli schemi in un risultato di compilazione passando il suffisso dello schema nell'oggetto CodeCompilationConfig nella richiesta compilationResults.create dell'API Dataform.

  • Per aggiungere un suffisso dello schema, imposta la proprietà schemaSuffix nell'oggetto CodeCompilationConfig nel seguente formato:

    {
  "codeCompilationConfig": {
    "schemaSuffix": "SUFFIX",
  }
}

    Sostituisci SUFFIX con il suffisso che vuoi aggiungere, ad esempio _staging.

    Ad esempio, se la proprietà defaultDataset nel file workflow_settings.yaml è impostata su dataform, Dataform crea le tabelle nello schema dataform_staging.

Esegui i file selezionati in modo condizionale con le variabili di compilazione

Per eseguire una tabella selezionata solo in un'impostazione di esecuzione specifica, puoi creare una variabile di compilazione per l'impostazione di esecuzione e poi passare il relativo valore nell' oggetto CodeCompilationConfig nella richiesta compilationResults.create dell'API Dataform .

Per eseguire una tabella in modo condizionale in un'impostazione di esecuzione specifica utilizzando l'API Dataform, segui questi passaggi:

  1. Crea una variabile di compilazione e aggiungila alle tabelle selezionate.

  2. Imposta la coppia chiave-valore YOUR_VARIABLE e VALUE nel blocco codeCompilationConfig di una richiesta di compilazione dell'API Dataform nel seguente formato:

    {
  "codeCompilationConfig": {
    "vars": {
      "YOUR_VARIABLE": "VALUE"
    }
  }
}

  3. Sostituisci YOUR_VARIABLE con il nome della variabile, ad esempio executionSetting.

  4. Sostituisci VALUE con il valore della variabile per questo risultato di compilazione che soddisfa la condizione when impostata nelle tabelle selezionate.

Il seguente esempio di codice mostra la variabile executionSetting passata a una richiesta di compilazione dell'API Dataform:

{
  "gitCommitish": "staging",
  "codeCompilationConfig": {
    "vars": {
      "executionSetting": "staging"
    }
  }
}

Esegui un risultato della compilazione con override di compilazione

Il seguente esempio di codice mostra un ID risultato della compilazione passato in una richiesta workflowInvocations.create:

{
  "compilationResult": "projects/my-project-name/locations/europe-west4/repositories/my-repository-name/compilationResults/7646b4ed-ac8e-447f-93cf-63c43249ff11"
}

Crea una configurazione di release

Questa sezione mostra come creare una configurazione della release in Dataform per configurare i template delle impostazioni di compilazione, che puoi eseguire in base a una pianificazione. Puoi utilizzare le configurazioni di release per configurare gli ambienti di esecuzione, ad esempio gestione temporanea e produzione.

Per eseguire i workflow in BigQuery, Dataform compila il codice del workflow SQL in un risultato della compilazione. Questo processo avviene automaticamente quando sviluppi un workflow in un'area di lavoro Dataform.

Le configurazioni delle release ti consentono di personalizzare i risultati della compilazione. Puoi utilizzarle per creare ambienti di esecuzione, ad esempio di gestione temporanea.

Impostazioni di configurazione della release

In una configurazione della release, puoi configurare gli override di compilazione delle impostazioni del workflow, impostare le variabili di compilazione e impostare la frequenza di creazione dei risultati della compilazione.

Una configurazione della release di Dataform contiene le seguenti impostazioni di compilazione:

Impostazioni di release
L'ID della release, il commitish Git per i risultati della compilazione, ad esempio un ramo, un tag o un SHA di commit, e la frequenza di creazione dei risultati della compilazione. La frequenza è un'impostazione facoltativa. Se impostata, la frequenza minima è di 1 ora.
Override delle compilazioni
Override del progetto, del prefisso della tabella, del suffisso dello schema e delle variabili di compilazione definiti nelle impostazioni del workflow.Google Cloud

Come funziona una configurazione della release

Dataform crea i risultati della compilazione da una configurazione di release alla frequenza specificata o quando attivi la compilazione. La frequenza è un'impostazione facoltativa e non è obbligatoria per creare una configurazione della release. Se impostata, la frequenza minima è di 1 ora. Puoi attivare manualmente la compilazione nella pagina dei dettagli della configurazione della release o attivare la compilazione con il metodo releaseConfigs dell'API Dataform.

Durante la compilazione, Dataform esegue il pull del codice dal commitish Git specificato del repository. Quindi, Dataform compila il codice con gli override di compilazione applicati (se presenti) e crea il risultato della compilazione. L'ultimo risultato di compilazione creato per la configurazione della release è il risultato di compilazione in tempo reale.

Puoi pianificare le esecuzioni dei risultati di compilazione dalle configurazioni delle release nelle configurazioni dei workflow. Puoi anche eseguire una configurazione di rilascio selezionata al di fuori di qualsiasi pianificazione. Durante l'esecuzione di una configurazione del workflow, Dataform esegue il risultato della compilazione in tempo reale dalla configurazione della release selezionata.

Crea una configurazione di release

Per creare una configurazione di rilascio di Dataform, segui questi passaggi:

  1. Nel tuo repository, vai a Release e programmazione.
  2. Nella sezione Configurazioni della release, fai clic su Crea.

  3. Nel riquadro Crea configurazione della release, configura le impostazioni della release.

    1. Nel campo ID release, inserisci un ID univoco per la configurazione della release.

      Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Nel campo Commitish Git, inserisci un ramo, ad esempio main, un tag o uno SHA di commit per la release.

      In un repository Dataform non connesso a un repository remoto, il valore è sempre main.

    3. (Facoltativo) Nel campo Frequenza, seleziona la frequenza di creazione dei risultati della compilazione.

      Se impostata, la frequenza minima è 1 ora.

      Per disattivare le release automatiche, lascia vuoto il campo Frequenza.

  4. (Facoltativo) Nella sezione Override della compilazione, configura le impostazioni di compilazione.

    1. Nel campo ID progetto Google Cloud, inserisci l'ID del progettoGoogle Cloud in cui vuoi archiviare il risultato della compilazione.
    2. Nel campo Suffisso schema, inserisci un suffisso da aggiungere allo schema configurato nelle impostazioni del workflow.
    3. Nel campo Prefisso tabella, inserisci un prefisso per tutti i nomi delle tabelle.

  5. (Facoltativo) Nella sezione Variabili di compilazione, imposta le variabili di compilazione.

    1. Fai clic su Aggiungi variabile.
    2. Nel campo Chiave, inserisci la variabile di compilazione.
    3. Nel campo Valore, inserisci il valore della variabile di compilazione.
    4. Per aggiungere un'altra variabile di compilazione, fai clic su Aggiungi variabile.

  6. Fai clic su Crea.

Se esegui l'override del progetto predefinito, assicurati che il tuo account di servizio personalizzato abbia accesso al progetto impostato nella configurazione della release.

Ad esempio, la seguente configurazione della release crea un risultato di compilazione production dal branch main ogni ora, senza override di compilazione:

  • ID release: production
  • Git commitish: main
  • Frequenza: ogni ora
  • Nessun override delle compilazioni

Visualizza i dettagli di una configurazione di release

Puoi visualizzare i seguenti dettagli di una configurazione della release:

  • Impostazioni di release
    • Commitish Git
    • Timestamp dell'ultimo risultato della compilazione
    • Pianificazione cron
    • Override delle compilazioni
    • Variabili di compilazione
  • Risultato compilazione in tempo reale
    • Timestamp creazione
    • Commitish Git
    • SHA di commit
  • Risultati delle compilazioni precedenti

Per visualizzare i dettagli di una configurazione della release, segui questi passaggi:

  1. Nel tuo repository, vai a Release e programmazione.
  2. Seleziona una configurazione della release.
  3. Nella pagina Dettagli di configurazione della release, esamina i dettagli della configurazione della release.

La tabella Risultati della compilazione pianificata mostra i risultati di compilazione precedenti creati automaticamente dalla configurazione della release.

La tabella Risultati di compilazione manuale/API mostra i risultati di compilazione creati manualmente o tramite chiamate all'API Dataform tra gli ultimi 1000 risultati di compilazione nel repository.

Attiva manualmente la compilazione

Per creare manualmente un risultato della compilazione da una configurazione di rilascio selezionata, segui questi passaggi:

  1. Nel tuo repository, vai a Release e programmazione.
  2. Seleziona una configurazione della release.
  3. Nella pagina Dettagli della configurazione della release, fai clic su Nuova compilazione.

Se utilizzi la UI, un risultato appena compilato viene pubblicato automaticamente per la configurazione della release. Se utilizzi l'API, devi creare un nuovo risultato della compilazione dalla configurazione della release e poi aggiornare la configurazione della release per impostare il campo releaseCompilationResult con questo nuovo valore.

I risultati della compilazione manuale vengono visualizzati nella tabella Risultati di compilazione manuale/API nella pagina Dettagli della configurazione della release.

Attiva l'esecuzione di una configurazione della release

Per attivare l'esecuzione del risultato della compilazione in tempo reale in una configurazione di rilascio selezionata in BigQuery, segui questi passaggi:

  1. Nel tuo repository, vai a Release e programmazione.
  2. Nella sezione Configurazioni della release, fai clic su Avvia esecuzione.
  3. Nel riquadro Esegui workflow manuale, nell'elenco Configurazione della release, seleziona una configurazione della release.
  4. Seleziona le azioni del workflow da eseguire:
    1. Per eseguire l'intero workflow, fai clic su Tutte le azioni.
    2. Per eseguire le azioni selezionate nel workflow, fai clic su Selezione di azioni e poi seleziona le azioni.
    3. Per eseguire azioni con i tag selezionati, fai clic su Selezione dei tag e poi seleziona i tag.
  5. (Facoltativo) Per eseguire le azioni o i tag selezionati e le relative dipendenze, seleziona l'opzione Includi dipendenze.
  6. (Facoltativo) Per eseguire le azioni o i tag selezionati e i relativi elementi dipendenti, seleziona l'opzione Includi dipendenti.

  7. (Facoltativo) Per ricreare tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo.

    Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ricrearle da zero.

  8. Fai clic su Avvia esecuzione.

Modifica una configurazione di release

Per modificare una configurazione della release:

  1. Nel tuo repository, vai a Release e programmazione.
  2. Accanto alla configurazione della release che vuoi modificare, fai clic sul menu Altro e poi su Modifica.
  3. Nel riquadro Modifica configurazione della release, modifica le impostazioni della configurazione della release e poi fai clic su Salva.

Elimina una configurazione di release

Per eliminare una configurazione della release:

  1. Nel tuo repository, vai a Release e programmazione.
  2. Accanto alla configurazione della release che vuoi eliminare, fai clic sul menu Altro e poi su Elimina.
  3. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Passaggi successivi