Questo documento mostra come attivare manualmente le esecuzioni dell'intero workflow o solo degli elementi selezionati nel workflow.
Puoi attivare un'esecuzione per i seguenti elementi del tuo workflow:
- Tutte le azioni nel tuo workflow
- Azioni selezionate
- Azioni con i tag selezionati
Prima di iniziare
Nella console Google Cloud , vai alla pagina Dataform.
Seleziona o crea un repository.
Seleziona o crea un'area di lavoro di sviluppo.
Sviluppa il tuo workflow.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per attivare manualmente un'esecuzione, chiedi all'amministratore di concederti i seguenti ruoli IAM:
- Dataform Editor (
roles/dataform.editor) sul repository Dataform - Utente job BigQuery (
roles/bigquery.jobUser) sul progetto - Utente dell'account di servizio (
roles/iam.serviceAccountUser) sul service account personalizzato
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Esegui manualmente tutte le azioni del workflow
Per attivare manualmente un'esecuzione di tutte le azioni nel workflow, segui questi passaggi:
- Vai a un workspace di sviluppo.
- Fai clic su Avvia esecuzione.
- Fai clic su Azioni > Più azioni.
Nella sezione Autenticazione, autorizza l'esecuzione con le credenziali utente del tuo Account Google o con un service account.
Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le credenziali utente.
(Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona gli ambiti aggiuntivi richiesti dal tuo workflow:
- Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
- Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
- Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.
Per utilizzare un account di servizio personalizzato, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio personalizzato.
Seleziona Tutte le azioni.
(Facoltativo) Per ricreare tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo. Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ricrearle da zero.
(Facoltativo) Imposta la priorità del job di query BigQuery con l'opzione Esegui come job interattivo con priorità alta (impostazione predefinita). Per impostazione predefinita, BigQuery esegue le query come job di query interattive, che devono essere eseguiti il più rapidamente possibile. Se deselezioni questa opzione, le query vengono eseguite come job di query batch, che hanno una priorità inferiore.
(Facoltativo) Per limitare il numero di azioni che possono essere eseguite contemporaneamente durante l'esecuzione, seleziona Limita le azioni simultanee e, in Numero massimo di azioni simultanee, inserisci un numero intero compreso tra
1e5000.Se il numero di azioni pronte supera il limite configurato, Dataform inserisce le azioni pronte rimanenti in una coda finché non diventa disponibile uno slot di concorrenza.
Il limite di azioni simultanee non è supportato durante l'esecuzione dei test delle unità.
Fai clic su Avvia esecuzione. Se hai selezionato Esegui con le credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.
Esegui manualmente le azioni selezionate
Per attivare manualmente l'esecuzione delle azioni selezionate:
- Vai al tuo workspace di sviluppo.
Fai clic su Avvia esecuzione, quindi esegui una delle seguenti operazioni:
- Fai clic su Azioni, poi seleziona un'azione che vuoi eseguire.
- Fai clic su Azioni > Più azioni.
Nella sezione Autenticazione, autorizza l'esecuzione con le credenziali utente del tuo Account Google o con un service account.
Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le credenziali utente.
(Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dal tuo workflow:
- Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
- Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
- Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.
Per utilizzare un account di servizio personalizzato, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio personalizzato.
Verifica che l'opzione Selezione di azioni sia selezionata.
Nel menu Seleziona le azioni da eseguire, seleziona le azioni che vuoi eseguire.
(Facoltativo) Per eseguire le azioni selezionate e le relative dipendenze, seleziona l'opzione Includi dipendenze.
(Facoltativo) Per eseguire le azioni selezionate e quelle che dipendono da queste, seleziona l'opzione Includi dipendenti.
(Facoltativo) Per ricreare tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo.
(Facoltativo) Imposta la priorità del job di query BigQuery con l'opzione Esegui come job interattivo con priorità alta (impostazione predefinita). Per impostazione predefinita, BigQuery esegue le query come job di query interattive, che devono essere eseguiti il più rapidamente possibile. Se deselezioni questa opzione, le query vengono eseguite come job di query batch, che hanno una priorità inferiore.
(Facoltativo) Per limitare il numero di azioni che possono essere eseguite contemporaneamente durante l'esecuzione, seleziona Limita le azioni simultanee e, in Numero massimo di azioni simultanee, inserisci un numero intero compreso tra
1e5000.Se il numero di azioni pronte supera il limite configurato, Dataform inserisce le azioni pronte rimanenti in una coda finché non diventa disponibile uno slot di concorrenza.
Il limite di azioni simultanee non è supportato durante l'esecuzione dei test delle unità.
Fai clic su Avvia esecuzione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.
Esegui manualmente le azioni con i tag selezionati
Per attivare manualmente un'esecuzione di azioni con i tag selezionati, segui questi passaggi:
- Vai al tuo workspace di sviluppo.
Fai clic su Avvia esecuzione, quindi esegui una delle seguenti operazioni:
- Fai clic su Tag e seleziona un tag da eseguire.
- Fai clic su Tag > Più tag.
Nella sezione Autenticazione, autorizza l'esecuzione con le credenziali utente del tuo Account Google o con un service account.
Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le credenziali utente.
(Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dal tuo workflow:
- Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
- Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
- Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.
Per utilizzare un account di servizio personalizzato, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio personalizzato.
Verifica che l'opzione Selezione dei tag sia selezionata.
Nel menu Seleziona i tag da eseguire, seleziona i tag che vuoi eseguire.
(Facoltativo) Per eseguire le azioni con i tag selezionati e le relative dipendenze, seleziona l'opzione Includi dipendenze.
(Facoltativo) Per eseguire le azioni con i tag selezionati e le azioni che dipendono da questi, seleziona l'opzione Includi dipendenti.
(Facoltativo) Per ricreare tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo. Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ricrearle da zero.
(Facoltativo) Imposta la priorità del job di query BigQuery con l'opzione Esegui come job interattivo con priorità alta (impostazione predefinita). Per impostazione predefinita, BigQuery esegue le query come job di query interattive, che devono essere eseguiti il più rapidamente possibile. Se deselezioni questa opzione, le query vengono eseguite come job di query batch, che hanno una priorità inferiore.
(Facoltativo) Per limitare il numero di azioni che possono essere eseguite contemporaneamente durante l'esecuzione, seleziona Limita le azioni simultanee e, in Numero massimo di azioni simultanee, inserisci un numero intero compreso tra
1e5000.Se il numero di azioni pronte supera il limite configurato, Dataform inserisce le azioni pronte rimanenti in una coda finché non diventa disponibile uno slot di concorrenza.
Il limite di azioni simultanee non è supportato durante l'esecuzione dei test delle unità.
Fai clic su Avvia esecuzione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.
Autorizzare l'Account Google
Per autenticare la risorsa con le credenziali utente del tuo Account Google, devi concedere manualmente l'autorizzazione alle pipeline BigQuery per ottenere il token di accesso per il tuo Account Google e accedere ai dati di origine per tuo conto. Puoi concedere l'approvazione manuale con l'interfaccia della finestra di dialogo OAuth. Se selezioni una delle opzioni di accesso esteso, devi concedere l'accesso a questi servizi, ad esempio Google Drive o Knowledge Catalog.
Devi concedere l'autorizzazione alle pipeline BigQuery una sola volta.
Per revocare l'autorizzazione che hai concesso, segui questi passaggi:
- Vai alla pagina del tuo Account Google.
- Fai clic su Pipeline BigQuery.
- Fai clic su Rimuovi accesso.
Limita le azioni simultanee
Per impostazione predefinita, Dataform esegue in parallelo tutte le azioni le cui dipendenze upstream sono soddisfatte. Quando un workflow contiene molte azioni indipendenti, eseguirle tutte contemporaneamente può causare errori di limitazione di frequenza di BigQuery, esaurire le quote del progetto o gli slot BigQuery.
Per controllare la contesa delle risorse senza introdurre dipendenze artificiali tra azioni indipendenti in SQLX, puoi configurare un limite massimo di azioni simultanee per un'esecuzione manuale o per una pianificazione della configurazione del workflow.
Quando configuri un limite di azioni simultanee, Dataform inizia a eseguire contemporaneamente le azioni pronte fino al limite impostato. Le azioni aggiuntive le cui dipendenze upstream sono soddisfatte entrano nello stato QUEUED.
Man mano che le azioni in esecuzione vengono completate e gli slot di contemporaneità diventano disponibili, Dataform avvia le azioni in coda negli slot disponibili fino al completamento di tutte le azioni. Se l'esecuzione di un workflow non va a buon fine o viene annullata mentre le azioni sono in coda, le azioni in coda vengono ignorate.
Il limite si applica per ogni chiamata del workflow. Ogni esecuzione monitora le proprie azioni in esecuzione in modo indipendente.
Il limite di azioni simultanee non è supportato durante l'esecuzione dei test delle unità.
Passaggi successivi
- Per scoprire come Dataform esegue le tabelle incrementali e come configurare una tabella incrementale, consulta Configura una tabella incrementale.
- Per scoprire come visualizzare i log di esecuzione, consulta Monitora i log di esecuzione.
- Per scoprire come pianificare le esecuzioni con Workflows e Cloud Scheduler, consulta Pianifica le esecuzioni con Workflows e Cloud Scheduler.
- Per scoprire come pianificare le esecuzioni con Managed Service for Apache Airflow, consulta Pianifica le esecuzioni con Managed Service for Apache Airflow.