Pianifica workload

La pianificazione dei workload in BigQuery ti consente di coordinare, automatizzare e monitorare le catene di attività sui dati in BigQuery e nei servizi esterni. Che tu sia un amministratore, un analista o uno sviluppatore di dati, puoi utilizzare strumenti di pianificazione basati sul tempo e sugli eventi per gestire le dipendenze ed eseguire workload in più passaggi in sequenza.

Scegli un metodo di pianificazione

Per selezionare un metodo di pianificazione, devi identificare se i tuoi workload sono basati su eventi, su tempi o su entrambi. Un evento è definito come una modifica dello stato, ad esempio una modifica ai dati di un database o un file aggiunto a un sistema di archiviazione. Nella pianificazione basata sugli eventi, un'azione su un sito web potrebbe attivare un'attività sui dati oppure un oggetto che arriva in un determinato bucket potrebbe dover essere elaborato immediatamente. Nella pianificazione basata sul tempo, potrebbe essere necessario caricare i nuovi dati una volta al giorno o con una frequenza sufficiente per generare report orari. Puoi utilizzare la pianificazione basata su eventi e su tempo in scenari in cui devi caricare oggetti in un data lake in tempo reale, ma i report sulle attività nel data lake vengono generati solo su base giornaliera.

Scegli uno strumento di programmazione

Gli strumenti di pianificazione aiutano a gestire le attività coinvolte nella gestione di workload di dati complessi, come la combinazione di più servizi Google Cloud o di terze parti con i job BigQuery o l'esecuzione di più job BigQuery in parallelo. Ogni workload ha requisiti unici per la gestione delle dipendenze e dei parametri per garantire che le attività vengano eseguite nell'ordine corretto utilizzando i dati corretti. Google Cloud offre diverse opzioni di pianificazione basate sul metodo di pianificazione e sui requisiti del workload.

Per la maggior parte dei casi d'uso, consigliamo di utilizzare Dataform, Workflows, Managed Airflow o Vertex AI Pipelines. Consulta la seguente tabella per un confronto fianco a fianco:

Dataform Workflows Managed Airflow Vertex AI Pipelines
Evidenzia Trasformazione dei dati Microservizi ETL o ELT Machine learning
complessità * ** *** **
Profilo utente Data analyst o amministratore Data architect Data engineer Analista di dati
Tipo di codice JavaScript, SQL, notebook Python YAML o JSON Python Python
Serverless? Sì Sì Completamente gestito Sì
Non adatto per Catene di servizi esterni Trasformazione ed elaborazione dei dati Pipeline a bassa latenza o basate su eventi Attività dell'infrastruttura

Le sezioni seguenti descrivono in dettaglio questi strumenti di pianificazione e molti altri.

Query programmate

La forma più semplice di pianificazione dei workload è la pianificazione di query ricorrenti direttamente in BigQuery. Sebbene questo sia l'approccio meno complesso alla pianificazione, lo consigliamo solo per catene di query semplici senza dipendenze esterne. Le query pianificate in questo modo devono essere scritte in GoogleSQL e possono includere istruzioni Data Definition Language (DDL) e Data Manipulation Language (DML).

Metodo di pianificazione: basato sul tempo

Dataform

Dataform è un framework di trasformazione senza costi, basato su SQL e con un approccio specifico, che pianifica attività di trasformazione dei dati complesse in BigQuery. Quando i dati non elaborati vengono caricati in BigQuery, Dataform ti aiuta a creare una raccolta organizzata, testata e con controllo della versione di set di dati e tabelle. Utilizza Dataform per pianificare le esecuzioni delle preparazioni dei dati, dei notebook e delle pipeline BigQuery.

Metodo di pianificazione: basato sul tempo

Workflow

Workflows è uno strumento serverless che pianifica i servizi basati su HTTP con una latenza molto bassa. È ideale per concatenare i microservizi, automatizzare le attività dell'infrastruttura, eseguire l'integrazione con sistemi esterni o creare una sequenza di operazioni in Google Cloud. Per scoprire di più sull'utilizzo di Workflows con BigQuery, consulta Esegui più job BigQuery in parallelo.

Metodo di pianificazione: basato su eventi e basato sul tempo

Managed Service for Apache Airflow

Managed Airflow è uno strumento completamente gestito basato su Apache Airflow. È la piattaforma aziendale unificata consigliata per tutti i dati durevoli e di livello di produzione e i workflow MLOps.

Managed Airflow è più adatto per la gestione di processi aziendali complessi ed end-to-end che interessano sistemi eterogenei, come l'estrazione di dati da BigQuery, l'attivazione dell'addestramento gestito di Gemini Enterprise Agent Platform e l'aggiornamento di dashboard esterne come Looker.

Managed Airflow include una libreria di oltre 1000 operatori predefiniti per integrazioni perfette, eliminando la necessità di creare container personalizzati per attività non ML. Inoltre, con il framework YAML dichiarativo, i data scientist possono creare in autonomia pipeline di livello di produzione senza bisogno di competenze approfondite di Airflow.

Per scoprire di più sull'utilizzo di Managed Airflow con BigQuery, consulta Esegui un DAG di analisi dei dati in Google Cloud.

Metodo di pianificazione: basato sul tempo e basato sugli eventi

Pipeline di Gemini Enterprise Agent Platform

Agent Platform Pipelines è uno strumento serverless basato su Kubeflow Pipelines progettato come soluzione per attività basate su container specifiche per il ML.

Le pipeline di Agent Platform sono ideali per i workflow autonomi che rimangono rigorosamente all'interno dell'ecosistema di Agent Platform.

Puoi utilizzare le pipeline di Agent Platform come opzione a basso attrito e con pagamento per esecuzione per attività come la pianificazione di job di addestramento gestito di Gemini Enterprise Agent Platform specializzati o l'esecuzione di esperimenti puri incentrati su Agent Platform.

Per scoprire di più sull'utilizzo di Vertex AI Pipelines con BigQuery, consulta Esporta ed esegui il deployment di un modello di machine learning BigQuery per la previsione.

Metodo di pianificazione: basato su eventi

Apigee Integration

Apigee Integration è un'estensione della piattaforma Apigee che include connettori e strumenti di trasformazione dei dati. È ideale per l'integrazione con applicazioni aziendali esterne, come Salesforce. Per scoprire di più sull'utilizzo di Apigee Integration con BigQuery, consulta Inizia a utilizzare Apigee Integration e un trigger Salesforce.

Metodo di pianificazione: basato su eventi e basato sul tempo

Cloud Data Fusion

Cloud Data Fusion è uno strumento di integrazione dei dati che offre pipeline ELT/ETL senza codice e oltre 150 connettori e trasformazioni preconfigurati. Per scoprire di più sull'utilizzo di Cloud Data Fusion con BigQuery, consulta Replica dei dati da MySQL a BigQuery.

Metodo di pianificazione: basato su eventi e basato sul tempo

Cloud Scheduler

Cloud Scheduler è uno scheduler completamente gestito per job come lo streaming batch o le operazioni di infrastruttura che devono essere eseguite a intervalli di tempo definiti. Per scoprire di più sull'utilizzo di Cloud Scheduler con BigQuery, consulta Pianificazione dei workflow con Cloud Scheduler.

Metodo di pianificazione: basato sul tempo

Cloud Tasks

Cloud Tasks è un servizio completamente gestito per la distribuzione asincrona di attività di job che possono essere eseguite in modo indipendente, al di fuori del workload principale. È ideale per delegare operazioni in background lente o gestire le frequenze delle chiamate API. Per scoprire di più sull'utilizzo di Cloud Tasks con BigQuery, consulta Aggiungi un'attività a una coda di attività di Cloud Tasks.

Metodo di pianificazione: basato su eventi

Strumenti di terze parti

Puoi anche connetterti a BigQuery utilizzando una serie di strumenti di terze parti molto diffusi, come CData e SnapLogic. Il programma BigQuery Ready offre un elenco completo delle soluzioni dei partner convalidate.

Strumenti di messaggistica

Molti workload di dati richiedono connessioni di messaggistica aggiuntive tra microservizi disaccoppiati che devono essere attivati solo quando si verificano determinati eventi. Google Cloud fornisce due strumenti progettati per l'integrazione con BigQuery.

Pub/Sub

Pub/Sub è uno strumento di messaggistica asincrona per le pipeline di integrazione dei dati. È progettato per l'importazione e la distribuzione di dati come eventi del server e interazioni degli utenti. Può essere utilizzato anche per l'elaborazione parallela e lo streaming di dati dai dispositivi IoT. Per scoprire di più sull'utilizzo di Pub/Sub con BigQuery, consulta Crea un flusso da Pub/Sub a BigQuery.

Eventarc

Eventarc è uno strumento basato su eventi che ti consente di gestire il flusso delle modifiche dello stato nella pipeline di dati. Questo strumento ha un'ampia gamma di casi d'uso, tra cui la correzione automatica degli errori, l'etichettatura delle risorse, il ritocco delle immagini e altro ancora. Per scoprire di più sull'utilizzo di Eventarc con BigQuery, consulta Crea una pipeline di elaborazione BigQuery con Eventarc.

Passaggi successivi