Implementare Datastream e Dataflow per l'analisi

Datastream

L'integrazione di Datastream con i template dei job Dataflow ti consente di personalizzare la logica di elaborazione dei flussi quando replichi i dati in BigQuery per l'analisi quasi in tempo reale. Ad esempio, puoi trasformare i dati in transito o impostare manualmente le chiavi primarie logiche prima di scrivere nelle tabelle di destinazione.

In questo tutorial utilizzerai Datastream per inserire, aggiornare ed eliminare flussi di dati da un database MySQL di origine in un bucket Cloud Storage. Poi, configuri le notifiche Pub/Sub sul bucket per i nuovi file di modifica ed esegui un job Dataflow per elaborare e unire queste modifiche in BigQuery.

Il seguente diagramma illustra l'architettura per l'integrazione di Datastream e Dataflow:

Diagramma di flusso utente dell'integrazione

Obiettivi

In questo tutorial:

  • Crea un bucket in Cloud Storage. Questo è il bucket di destinazione in cui Datastream trasmette schemi, tabelle e dati da un database MySQL di origine.
  • Abilita le notifiche Pub/Sub per il bucket Cloud Storage. In questo modo, configuri il bucket in modo che invii notifiche che Dataflow utilizza per conoscere i nuovi file pronti per l'elaborazione. Questi file contengono le modifiche ai dati che Datastream trasmette dal database di origine al bucket.
  • Crea set di dati in BigQuery. BigQuery utilizza i set di dati per contenere i dati che riceve da Dataflow. Questi dati rappresentano le modifiche nel database di origine che Datastream trasmette nel bucket Cloud Storage.
  • Crea e gestisci i profili di connessione per un database di origine e un bucket di destinazione in Cloud Storage. Un flusso in Datastream utilizza le informazioni nei profili di connessione per trasferire i dati dal database di origine al bucket.
  • Crea e avvia uno stream. Questo stream trasferisce dati, schemi e tabelle dal database di origine al bucket.
  • Verifica che Datastream trasferisca nel bucket i dati e le tabelle associati a uno schema del database di origine.
  • Crea un job in Dataflow. Dopo che Datastream ha trasmesso le modifiche ai dati dal database di origine al bucket Cloud Storage, vengono inviate notifiche a Dataflow sui nuovi file contenenti le modifiche. Il job Dataflow elabora i file e trasferisce le modifiche in BigQuery.
  • Verifica che Dataflow elabori i file contenenti le modifiche associate a questi dati e le trasferisca in BigQuery. Di conseguenza, hai un'integrazione end-to-end tra Datastream e BigQuery.
  • Esegui la pulizia delle risorse create su Datastream, Cloud Storage, Pub/Sub, Dataflow e BigQuery in modo che non occupino quota e non ti vengano addebitati costi in futuro.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

  • Datastream
  • Cloud Storage
  • Pub/Sub
  • Dataflow
  • BigQuery

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi.

I nuovi utenti di Google Cloud potrebbero avere diritto a una prova senza costi.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Abilita l'API Datastream.

    Abilita l'API

  4. Assicurati che al tuo account utente sia stato concesso il ruolo Datastream Admin.

    Vai alla pagina IAM

  5. Assicurati di avere un database MySQL di origine a cui Datastream possa accedere. Inoltre, verifica di avere dati, tabelle e schemi nel database.
  6. Configura il database MySQL in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream. Per un elenco di tutte le regioni di Datastream e dei relativi indirizzi IP pubblici, consulta Liste consentite e regioni IP.
  7. Configura Change Data Capture (CDC) per il database di origine. Per saperne di più, consulta Configura un database MySQL di origine.

  8. Assicurati di soddisfare tutti i prerequisiti per attivare le notifiche Pub/Sub per Cloud Storage.

    In questo tutorial creerai un bucket di destinazione in Cloud Storage e attiverai le notifiche Pub/Sub per il bucket. In questo modo, Dataflow può ricevere notifiche sui nuovi file scritti da Datastream nel bucket. Questi file contengono le modifiche ai dati che Datastream trasmette dal database di origine al bucket.

Requisiti

Datastream offre una varietà di opzioni di origine, opzioni di destinazione e metodi di connettività di rete.

Per questo tutorial, supponiamo che tu stia utilizzando un database MySQL autonomo e un servizio Cloud Storage di destinazione. Per il database di origine, dovresti essere in grado di configurare la rete per aggiungere una regola firewall in entrata. Il database di origine può essere on-premise o in un cloud provider. Per la destinazione Cloud Storage, non è richiesta alcuna configurazione della connettività.

Poiché non possiamo conoscere le specifiche del tuo ambiente, non possiamo fornire passaggi dettagliati per la configurazione della rete.

Per questo tutorial, seleziona Lista consentita IP come metodo di connessione di rete. La lista consentita di IP è una funzionalità di sicurezza spesso utilizzata per limitare e controllare l'accesso ai dati nel database di origine agli utenti attendibili. Puoi utilizzare le liste consentite di IP per creare elenchi di indirizzi IP o intervalli IP attendibili da cui i tuoi utenti e altri servizi Google Cloud come Datastream possono accedere a questi dati. Per utilizzare le liste consentite di IP, devi aprire il database o il firewall di origine alle connessioni in entrata da Datastream.

Crea un bucket in Cloud Storage

Crea un bucket di destinazione in Cloud Storage in cui Datastream trasmette schemi, tabelle e dati da un database MySQL di origine.

  1. Nella console Google Cloud , vai alla pagina Browser per Cloud Storage.

    Vai alla pagina Browser

  2. Fai clic su Crea bucket. Viene visualizzata la pagina Crea un bucket.

  3. Nel campo di testo della regione Assegna un nome al bucket, inserisci un nome univoco per il bucket, quindi fai clic su Continua.

  4. Accetta le impostazioni predefinite per ogni regione rimanente della pagina. Al termine di ogni regione, fai clic su Continua.

  5. Fai clic su Crea.

Abilita le notifiche Pub/Sub per il bucket Cloud Storage

In questa sezione, attiverai le notifiche Pub/Sub per il bucket Cloud Storage che hai creato. In questo modo, configuri il bucket in modo che invii una notifica a Dataflow per ogni nuovo file scritto da Datastream nel bucket. Questi file contengono le modifiche ai dati che Datastream trasmette da un database MySQL di origine al bucket.

  1. Accedi al bucket Cloud Storage che hai creato. Viene visualizzata la pagina Dettagli bucket.

  2. Fai clic su Attiva Cloud Shell.

  3. Al prompt, inserisci il seguente comando:

    gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

  4. (Facoltativo) Se viene visualizzata la finestra Autorizza Cloud Shell, fai clic su Autorizza.

  5. Verifica che vengano visualizzate le seguenti righe di codice:

    Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
Created notification config projects/_/buckets/bucket-name/notificationConfigs/1

  6. Nella console Google Cloud , vai alla pagina Argomenti per Pub/Sub.

    Vai alla pagina Argomenti

  7. Fai clic sull'argomento my_integration_notifs che hai creato.

  8. Nella pagina my_integration_notifs, vai alla parte inferiore della pagina. Verifica che la scheda Abbonamenti sia attiva e che venga visualizzato il messaggio Nessun abbonamento da visualizzare.

  9. Fai clic su Crea sottoscrizione.

  10. Nel menu visualizzato, seleziona Crea sottoscrizione.

  11. Nella pagina Aggiungi sottoscrizione all'argomento:

    1. Nel campo ID sottoscrizione, inserisci my_integration_notifs_sub.
    2. Imposta il valore di Scadenza conferma su 120 secondi. In questo modo, Dataflow ha tempo sufficiente per confermare i file che ha elaborato e contribuisce a migliorare le prestazioni complessive del job Dataflow. Per saperne di più sulle proprietà delle sottoscrizioni Pub/Sub, consulta Proprietà delle sottoscrizioni.
    3. Lascia invariati tutti gli altri valori predefiniti nella pagina.
    4. Fai clic su Crea.

Più avanti in questo tutorial, creerai un job Dataflow. Durante la creazione di questo job, assegni Dataflow come sottoscrittore della sottoscrizione my_integration_notifs_sub. In questo modo, Dataflow può ricevere notifiche sui nuovi file scritti da Datastream in Cloud Storage, elaborarli e trasferire le modifiche ai dati in BigQuery.

Crea set di dati in BigQuery

In questa sezione creerai set di dati in BigQuery. BigQuery utilizza i set di dati per contenere i dati che riceve da Dataflow. Questi dati rappresentano le modifiche nel database MySQL di origine che Datastream trasmette in streaming nel bucket Cloud Storage.

  1. Vai alla pagina Area di lavoro SQL per BigQuery nella console Google Cloud .

    Vai alla pagina dell'area di lavoro SQL

  2. Nel riquadro Explorer, accanto al nome del progetto Google Cloud , fai clic su Visualizza azioni.

  3. Nel menu visualizzato, seleziona Crea set di dati.

  4. Nella finestra Crea set di dati:

    1. Nel campo ID set di dati, inserisci un ID per il set di dati. Per questo tutorial, inserisci My_integration_dataset_log nel campo.
    2. Lascia invariati tutti gli altri valori predefiniti nella finestra.
    3. Fai clic su Crea set di dati.

  5. Nel riquadro Explorer, accanto al nome del progetto Google Cloud , fai clic su Espandi nodo, quindi verifica che venga visualizzato il set di dati che hai creato.

  6. Segui i passaggi di questa procedura per creare un secondo set di dati: My_integration_dataset_final.

  7. Accanto a ogni set di dati, espandi Espandi nodo.

  8. Verifica che ogni set di dati sia vuoto.

Dopo che Datastream ha trasmesso le modifiche ai dati dal database di origine al bucket Cloud Storage, un job Dataflow elabora i file contenenti le modifiche e le trasferisce nei set di dati BigQuery.

Crea profili di connessione in Datastream

In questa sezione creerai i profili di connessione in Datastream per un database di origine e una destinazione. Durante la creazione dei profili di connessione, seleziona MySQL come tipo di profilo per il profilo di connessione di origine e Cloud Storage come tipo di profilo per il profilo di connessione di destinazione.

Datastream utilizza le informazioni definite nei profili di connessione per connettersi sia all'origine che alla destinazione, in modo da poter trasmettere i dati dal database di origine al bucket di destinazione in Cloud Storage.

Crea un profilo di connessione di origine per il tuo database MySQL

  1. Nella console Google Cloud , vai alla pagina Profili di connessione per Datastream.

    Vai alla pagina Profili di connessione

  2. Fai clic su Crea profilo.

  3. Per creare un profilo di connessione di origine per il tuo database MySQL, nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo MySQL.

  4. Nella sezione Definisci le impostazioni di connessione della pagina Crea profilo MySQL, fornisci le seguenti informazioni:

    • Nel campo Nome profilo di connessione, inserisci My Source Connection Profile.
    • Mantieni l'ID profilo di connessione generato automaticamente.

    • Seleziona la regione in cui vuoi archiviare il profilo di connessione.

    • Inserisci i dettagli della connessione:

      • Nel campo Nome host o IP, inserisci un nome host o un indirizzo IP pubblico che Datastream possa utilizzare per la connessione al database di origine. Stai fornendo un indirizzo IP pubblico perché utilizzi la lista consentita IP come metodo di connettività di rete per questo tutorial.
      • Nel campo Porta, inserisci il numero di porta riservato al database di origine. Per un database MySQL, la porta predefinita è in genere 3306.
      • Inserisci un nome utente e una password per l'autenticazione nel database di origine.

  5. Nella sezione Definisci le impostazioni di connessione, fai clic su Continua. La sezione Proteggi la connessione alla tua origine della pagina Crea profilo MySQL è attiva.

  6. Nel menu Tipo di crittografia, seleziona Nessuna. Per ulteriori informazioni su questo menu, consulta Crea un profilo di connessione per il database MySQL.

  7. Nella sezione Proteggi la connessione alla tua origine, fai clic su Continua. La sezione Definisci metodo di connettività della pagina Crea profilo MySQL è attiva.

  8. Nel menu a discesa Metodo di connettività, scegli il metodo di networking che vuoi utilizzare per stabilire la connettività tra Datastream e il database di origine. Per questo tutorial, seleziona Lista consentita IP come metodo di connettività.

  9. Configura il database di origine in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream visualizzati.

  10. Nella sezione Definisci metodo di connettività, fai clic su Continua. La sezione Testa il profilo di connessione della pagina Crea profilo MySQL è attiva.

  11. Fai clic su Esegui test per verificare che il database di origine e Datastream possano comunicare tra loro.

  12. Verifica che lo stato sia Test superato.

  13. Fai clic su Crea.

Crea un profilo di connessione di destinazione per Cloud Storage

  1. Nella console Google Cloud , vai alla pagina Profili di connessione per Datastream.

    Vai alla pagina Profili di connessione

  2. Fai clic su Crea profilo.

  3. Per creare un profilo di connessione di destinazione per Cloud Storage, nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Cloud Storage.

  4. Nella pagina Crea profilo Cloud Storage, fornisci le seguenti informazioni:

    • Nel campo Nome profilo di connessione, inserisci My Destination Connection Profile.
    • Mantieni l'ID profilo di connessione generato automaticamente.
    • Seleziona la regione in cui vuoi archiviare il profilo di connessione.

    • Nel riquadro Dettagli connessione, fai clic su Sfoglia per selezionare il bucket Cloud Storage che hai creato in precedenza in questo tutorial. Questo è il bucket in cui Datastream trasferisce i dati dal database di origine. Dopo aver effettuato la selezione, fai clic su Seleziona.

      Il tuo bucket viene visualizzato nel campo Nome bucket del riquadro Dettagli connessione.

    • Nel campo Prefisso di percorso del profilo di connessione, specifica un prefisso per il percorso che vuoi aggiungere al nome del bucket quando Datastream trasmette i dati alla destinazione. Assicurati che Datastream scriva i dati in un percorso all'interno del bucket, non nella cartella root del bucket. Per questo tutorial, utilizza il percorso definito durante la configurazione della notifica Pub/Sub. Inserisci /integration/tutorial nel campo.

  5. Fai clic su Crea.

Dopo aver creato un profilo di connessione di origine per il tuo database MySQL e un profilo di connessione di destinazione per Cloud Storage, puoi utilizzarli per creare uno stream.

Crea uno stream in Datastream

In questa sezione creerai uno stream. Questo stream utilizza le informazioni nei profili di connessione per trasferire i dati da un database MySQL di origine a un bucket di destinazione in Cloud Storage.

Definisci le impostazioni per lo stream

  1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

    Vai alla pagina Stream

  2. Fai clic su Crea stream.

  3. Fornisci le seguenti informazioni nel riquadro Definisci i dettagli dello stream della pagina Crea stream:

    • Nel campo Nome stream, inserisci My Stream.
    • Mantieni l'ID stream generato automaticamente.
    • Nel menu Regione, seleziona la regione in cui hai creato i profili di connessione di origine e di destinazione.
    • Dal menu Tipo di origine, seleziona il tipo di profilo MySQL.
    • Dal menu Tipo di destinazione, seleziona il tipo di profilo Cloud Storage.

  4. Esamina i prerequisiti obbligatori generati automaticamente per riflettere il modo in cui il tuo ambiente deve essere preparato per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la connessione di Datastream al bucket di destinazione in Cloud Storage.

  5. Fai clic su Continua. Viene visualizzato il riquadro Definisci il profilo di connessione MySQL della pagina Crea stream.

Specifica le informazioni sul profilo di connessione di origine

In questa sezione, seleziona il profilo di connessione che hai creato per il database di origine (il profilo di connessione di origine). Per questo tutorial, si tratta di My Source Connection Profile.

  1. Nel menu Profilo di connessione di origine, seleziona il tuo profilo di connessione di origine per il database MySQL.

  2. Fai clic su Esegui test per verificare che il database di origine e Datastream possano comunicare tra loro.

    Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per i passaggi per la risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema, quindi ripeti il test.

  3. Fai clic su Continua. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

In questa sezione, configuri le informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:

  • Può eseguire il trasferimento nella destinazione.
  • Non può essere trasferito nella destinazione.

Puoi anche determinare se Datastream esegue il backfill dei dati storici, oltre a trasmettere in streaming le modifiche in corso alla destinazione o solo le modifiche ai dati.

  1. Utilizza il menu Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire in una cartella nel bucket di destinazione in Cloud Storage. Il menu viene caricato solo se il database contiene fino a 5000 oggetti.

    Per questo tutorial, Datastream deve trasferire tutte le tabelle e gli schemi. Pertanto, seleziona Tutte le tabelle di tutti gli schemi dal menu.

  2. Verifica che il riquadro Seleziona gli oggetti da escludere sia impostato su Nessuno. Non vuoi impedire a Datastream di trasferire tabelle e schemi nel database di origine in Cloud Storage.

  3. Verifica che il riquadro Scegli la modalità di backfill per i dati storici sia impostato su Automatico. Datastream trasmette in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

  4. Fai clic su Continua. Viene visualizzato il riquadro Definisci il profilo di connessione Cloud Storage della pagina Crea stream.

Seleziona un profilo di connessione di destinazione

In questa sezione, selezioni il profilo di connessione che hai creato per Cloud Storage (il profilo di connessione di destinazione). Per questo tutorial, si tratta di My Destination Connection Profile.

  1. Nel menu Profilo di connessione di destinazione, seleziona il tuo profilo di connessione di destinazione per Cloud Storage.

  2. Fai clic su Continua. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

In questa sezione configuri le informazioni sul bucket di destinazione per lo stream. Queste informazioni comprendono:

  • Il formato di output dei file scritti in Cloud Storage.
  • La cartella del bucket di destinazione in cui Datastream trasferisce schemi, tabelle e dati dal database di origine.

  1. Nel campo Formato di output, seleziona il formato dei file scritti in Cloud Storage. Datastream supporta due formati di output: Avro e JSON. Per questo tutorial, il formato file è Avro.

  2. Fai clic su Continua. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

  1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e di destinazione utilizzati dallo stream per trasferire i dati da un database MySQL di origine a un bucket di destinazione in Cloud Storage.

  2. Per convalidare lo stream, fai clic su Esegui convalida. Convalidando uno stream, Datastream verifica che l'origine sia configurata correttamente, che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.

  3. Dopo aver superato tutti i controlli di convalida, fai clic su Crea.

  4. Nella finestra di dialogo Creare il flusso?, fai clic su Crea.

Avvia lo stream

Per questo tutorial, creerai e avvierai un flusso separatamente nel caso in cui il processo di creazione del flusso comporti un carico maggiore sul database di origine. Per posticipare questo carico, crea lo stream senza avviarlo, quindi avvialo quando il database è in grado di gestire il carico.

Avviando lo stream, Datastream può trasferire dati, schemi e tabelle dal database di origine alla destinazione.

  1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

    Vai alla pagina Stream

  2. Seleziona la casella di controllo accanto allo stream che vuoi avviare. Per questo tutorial, si tratta di My Stream.

  3. Fai clic su Avvia.

  4. Nella finestra di dialogo, fai clic su Avvia. Lo stato dello stream cambia da Not started a Starting e poi a Running.

Dopo aver avviato uno stream, puoi verificare che Datastream abbia trasferito i dati dal database di origine alla destinazione.

Verifica lo stream

In questa sezione, confermi che Datastream trasferisce i dati da tutte le tabelle di un database MySQL di origine alla cartella /integration/tutorial del bucket Cloud Storage di destinazione.

  1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

    Vai alla pagina Stream

  2. Fai clic sullo stream che hai creato. Per questo tutorial, si tratta di My Stream.

  3. Nella pagina Dettagli stream, fai clic sul link bucket-name/integration/tutorial, dove bucket-name è il nome che hai assegnato al bucket Cloud Storage. Questo link viene visualizzato dopo il campo Percorso scrittura destinazione. La pagina Dettagli bucket di Cloud Storage si apre in una scheda separata.

  4. Verifica che siano visualizzate cartelle che rappresentano tabelle del database di origine.

  5. Fai clic su una delle cartelle della tabella, quindi su ogni sottocartella finché non vedi i dati associati alla tabella.

Crea un job Dataflow

In questa sezione creerai un job in Dataflow. Dopo che Datastream ha trasmesso le modifiche ai dati da un database MySQL di origine al bucket Cloud Storage, Pub/Sub invia notifiche a Dataflow sui nuovi file contenenti le modifiche. Il job Dataflow elabora i file e trasferisce le modifiche in BigQuery.

  1. Nella console Google Cloud , vai alla pagina Job per Dataflow.

    Vai alla pagina Job

  2. Fai clic su Crea job da modello.

  3. Nel campo Nome job della pagina Crea job da modello, inserisci un nome per il job Dataflow che stai creando. Per questo tutorial, inserisci my-dataflow-integration-job nel campo.

  4. Dal menu Endpoint a livello di regione, seleziona la regione in cui vuoi archiviare il job. Questa è la stessa regione che hai selezionato per il profilo di connessione di origine, il profilo di connessione di destinazione e lo stream che hai creato.

  5. Dal menu Modello Dataflow, seleziona il modello che utilizzi per creare il job. Per questo tutorial, seleziona Datastream in BigQuery.

    Dopo aver effettuato questa selezione, vengono visualizzati altri campi correlati a questo modello.

  6. Nel campo Posizione file per l'output dei file Datastream in Cloud Storage, inserisci il nome del bucket Cloud Storage utilizzando il seguente formato: gs://bucket-name.

  7. Nel campo Sottoscrizione Pub/Sub utilizzata in una policy di notifica di Cloud Storage, inserisci il percorso che contiene il nome della tua sottoscrizione Pub/Sub. Per questo tutorial, inserisci projects/project-name/subscriptions/my_integration_notifs_sub.

  8. Nel campo Formato file di output di Datastream (avro/json), inserisci avro perché, per questo tutorial, Avro è il formato file dei file che Datastream scrive in Cloud Storage.

  9. Nel campo Nome o modello per il set di dati che deve contenere le tabelle di gestione temporanea, inserisci My_integration_dataset_log perché Dataflow utilizza questo set di dati per gestire temporaneamente le modifiche ai dati che riceve da Datastream.

  10. Nel campo Template for the dataset to contain replica tables. (Modello per il set di dati che contiene le tabelle di replica), inserisci My_integration_dataset_final perché questo è il set di dati in cui le modifiche preparate nel set di dati My_integration_dataset_log vengono unite per creare una replica uno a uno delle tabelle nel database di origine.

  11. Nel campo Directory della coda di messaggi non recapitabili, inserisci il percorso che contiene il nome di un bucket Cloud Storage separato e una cartella per una coda di messaggi non recapitabili. Assicurati di non utilizzare un percorso nella cartella principale e che il percorso sia diverso da quello in cui Datastream scrive i dati. Tutte le modifiche ai dati che Dataflow non riesce a trasferire in BigQuery vengono archiviate nella coda. Puoi correggere i contenuti nella coda in modo che Dataflow possa rielaborarli.

    Per questo tutorial, inserisci gs://dlq-bucket-name/dlq nel campo Directory della coda di messaggi non recapitabili (dove dlq-bucket-name è il nome del bucket Cloud Storage dedicato alla coda di messaggi non recapitabili e dlq è la cartella per la coda di messaggi non recapitabili).

  12. Fai clic su Esegui job.

Verifica l'integrazione

Nella sezione Verifica lo stream di questo tutorial, hai confermato che Datastream ha trasferito i dati da tutte le tabelle di un database MySQL di origine alla cartella /integration/tutorial del bucket Cloud Storage di destinazione.

In questa sezione, verifichi che Dataflow elabori i file contenenti le modifiche associate a questi dati e le trasferisca in BigQuery. Di conseguenza, hai un'integrazione end-to-end tra Datastream e BigQuery.

  1. Nella console Google Cloud , vai alla pagina Area di lavoro SQL per BigQuery.

    Vai alla pagina dell'area di lavoro SQL

  2. Nel riquadro Explorer, espandi il nodo accanto al nome del tuo progetto Google Cloud .

  3. Espandi i nodi accanto ai set di dati My_integration_dataset_log e My_integration_dataset_final.

  4. Verifica che ogni set di dati ora contenga dati. Ciò conferma che Dataflow ha elaborato i file contenenti le modifiche associate ai dati che Datastream ha trasmesso in streaming a Cloud Storage e ha trasferito queste modifiche a BigQuery.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, utilizza la console Google Cloud per:

  • Elimina il progetto, lo stream Datastream e i profili di connessione Datastream.
  • Arresta il job Dataflow.
  • Elimina i set di dati BigQuery, l'argomento e la sottoscrizione Pub/Sub e il bucket Cloud Storage.

Se esegui la pulizia delle risorse create su Datastream, Dataflow, BigQuery, Pub/Sub e Cloud Storage, eviti che le risorse occupino la quota e non ti verranno addebitati costi in futuro.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per questo tutorial.

  1. Nella console Google Cloud , vai alla pagina Gestisci risorse.

    Vai alla pagina Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.

  3. Per eliminare il progetto, nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi.

Elimina lo stream

  1. Nella console Google Cloud , vai alla pagina Stream di Datastream.

    Vai alla pagina Stream

  2. Fai clic sullo stream che vuoi eliminare. Per questo tutorial, si tratta di My Stream.

  3. Fai clic su Metti in pausa.

  4. Nella finestra di dialogo, fai clic su Metti in pausa.

  5. Nel riquadro Stato stream della pagina Dettagli stream, verifica che lo stato dello stream sia Paused.

  6. Fai clic su Elimina.

  7. Nella finestra di dialogo, inserisci Delete nel campo di testo e fai clic su Elimina.

Elimina i profili di connessione

  1. Nella console Google Cloud , vai alla pagina Profili di connessione per Datastream.

    Vai alla pagina Profili di connessione

  2. Seleziona la casella di controllo per ogni profilo di connessione che vuoi eliminare: My Source Connection Profile e My Destination Connection Profile.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo, fai clic su Elimina.

Arresta il job Dataflow

  1. Nella console Google Cloud , vai alla pagina Job per Dataflow.

    Vai alla pagina Job

  2. Fai clic sul job che vuoi arrestare. Per questo tutorial, si tratta di my-dataflow-integration-job.

  3. Fai clic su Arresta.

  4. Nella finestra di dialogo Arresta job, seleziona l'opzione Svuota, quindi fai clic su Arresta job.

Elimina i set di dati BigQuery

  1. Nella console Google Cloud , vai alla pagina Area di lavoro SQL per BigQuery.

    Vai alla pagina dell'area di lavoro SQL

  2. Nel riquadro Explorer, espandi il nodo accanto al nome del progetto Google Cloud .

  3. Fai clic sul pulsante Visualizza azioni a destra di uno dei set di dati che hai creato in Crea set di dati in BigQuery. Questo pulsante ha l'aspetto di tre puntini verticali.

    Per questo tutorial, fai clic sul pulsante Visualizza azioni a destra di My_integration_dataset_log.

  4. Seleziona Elimina dal menu a discesa visualizzato.

  5. Nella finestra di dialogo Vuoi eliminare il set di dati?, inserisci delete nel campo di testo e fai clic su Elimina.

  6. Ripeti i passaggi di questa procedura per eliminare il secondo set di dati che hai creato: My_integration_dataset_final.

Elimina la sottoscrizione e l'argomento Pub/Sub

  1. Nella console Google Cloud , vai alla pagina Sottoscrizioni per Pub/Sub.

    Vai alla pagina degli abbonamenti

  2. Fai clic sulla casella di controllo accanto all'abbonamento da eliminare. Per questo tutorial, fai clic sulla casella di controllo accanto alla sottoscrizione my_integration_notifs_sub.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo Elimina sottoscrizione, fai clic su Elimina.

  5. Nella console Google Cloud , vai alla pagina Argomenti per Pub/Sub.

    Vai alla pagina Argomenti

  6. Fai clic sulla casella di controllo accanto all'argomento my_integration_notifs.

  7. Fai clic su Elimina.

  8. Nella finestra di dialogo Elimina argomento, inserisci delete nel campo di testo e fai clic su Elimina.

Elimina il bucket Cloud Storage

  1. Nella console Google Cloud , vai alla pagina Browser per Cloud Storage.

    Vai alla pagina Browser

  2. Seleziona la casella di controllo accanto al tuo bucket.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo, inserisci Delete nel campo di testo e fai clic su Elimina.

Passaggi successivi