Crea uno stream Cloud SQL utilizzando il flusso automatizzato

Il flusso di configurazione dello stream automatizzato in Datastream consente di replicare i dati da un'istanza Cloud SQL a BigQuery direttamente dalla pagina Panoramica dell'istanza. Questo flusso supporta le origini Cloud SQL per PostgreSQL, Cloud SQL per MySQL e Cloud SQL per SQL Server. Datastream configura automaticamente la connessione Virtual Private Cloud (VPC), le impostazioni del database di origine e le risorse del flusso.

Per utilizzare il flusso automatizzato, l'istanza Cloud SQL di origine deve avere l'accesso privato ai servizi abilitato e utilizzare le interfacce Private Service Connect. Per saperne di più sui requisiti di origine, consulta Prima di iniziare.

Prima di iniziare

1. Abilita le API Datastream, Connettività di rete e Compute Engine.
2. Assicurati di disporre delle autorizzazioni IAM (Identity and Access Management) necessarie per creare e gestire le risorse Datastream. Per ulteriori dettagli, vedi la sezione di seguito.
3. Creare e configurare un database Cloud SQL di origine per la replica. Per saperne di più, consulta Configura le origini.
4. Assicurati che il database di origine sia configurato per utilizzare l'accesso privato ai servizi.

5. Per le istanze Cloud SQL per PostgreSQL: ti consigliamo di abilitare la replica logica per l'istanza prima di creare lo stream. Se non attivi la replica logica, Datastream la attiva per te, il che comporta il riavvio dell'istanza di origine.

   Nota: per informazioni sull'abilitazione della replica logica per un'istanza Cloud SQL per PostgreSQL, consulta Configura un database Cloud SQL per PostgreSQL per CDC.

6. Per le istanze Cloud SQL per MySQL: abilita il recupero point-in-time per l'istanza Cloud SQL per MySQL e assicurati che la versione del database sia 8.0.14 o successiva. Datastream supporta l'attivazione del recupero point-in-time solo nel livello di backup Standard quando utilizzi la configurazione automatica dello stream.

   Nota: Datastream utilizza la replica basata su GTID quando utilizzi il flusso di configurazione automatica dello stream.

7. Per le istanze Cloud SQL per SQL Server: assicurati che Datastream supporti la versione di SQL Server utilizzata dalla tua istanza.

Autorizzazioni obbligatorie

Per utilizzare il flusso di creazione automatica dei flussi, devi disporre dei seguenti ruoli o autorizzazioni Identity and Access Management (IAM):

• serviceusage.services.enable, compute.networkAdmin per abilitare le API richieste ed eseguire le attività di configurazione della rete.
• cloudsql.admin per le attività di configurazione dell'istanza.
• datastream.admin per le attività di amministrazione eseguite da Datastream per tuo conto.

Autorizzazioni aggiuntive richieste per Cloud SQL per PostgreSQL

• Assicurati di aver concesso l'accesso a tutti gli schemi e le tabelle nel database selezionato al ruolo postgres o cloudsqlsuperuser. Poiché il flusso automatico include per impostazione predefinita tutti gli schemi e le tabelle del database, la creazione dello stream non va a buon fine se l'utente del database creato automaticamente non dispone delle autorizzazioni per uno schema o una tabella.

• Se scegli di personalizzare le impostazioni dello stream, l'utente amministratore del database deve disporre anche delle autorizzazioni GRANT per lo schema che vuoi replicare e di alcune autorizzazioni aggiuntive per le attività amministrative e strutturali all'interno del database di origine. Connettiti al database di origine ed esegui questo comando:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  Nota: il ruolo cloudsqlsuperuser è necessario affinché Datastream possa creare la pubblicazione per tutte le tabelle nell'istanza del database.

• Le tabelle future vengono aggiunte automaticamente allo stream solo se vengono create dall'utente i cui dettagli dell'account fornisci per l'autenticazione durante il flusso automatizzato. Se una tabella futura viene creata da un altro utente, quest'ultimo deve concedere esplicitamente all'utente Datastream Reader l'autorizzazione SELECT sulla tabella.

Crea e avvia lo stream

Per creare e avviare uno stream, segui questi passaggi:

Console

1. Vai alla pagina di riepilogo dell'istanza del database Cloud SQL di origine.

   Vai a Istanze Cloud SQL

2. Seleziona l'istanza da cui vuoi trasmettere i dati.

3. Nella sezione Replica i dati in BigQuery, fai clic su Avvia stream.

4. Viene visualizzato il riquadro Avvia flusso per replicare i dati.

5. Per le origini Cloud SQL per PostgreSQL e Cloud SQL per MySQL, in Impostazioni stream, rivedi le impostazioni predefinite per lo stream che crei. Per le origini Cloud SQL per SQL Server, vai alla sezione Personalizza le impostazioni dello stream.

   Nota: per le origini Cloud SQL per PostgreSQL, Datastream seleziona un database predefinito, che puoi modificare in Impostazioni stream.

6. Se è tutto pronto per creare e avviare lo stream, fai clic su Avvia stream.

   Nota: se non hai bisogno di personalizzare le impostazioni, Datastream utilizza le credenziali dell'utente che ha eseguito l'accesso per tutte le configurazioni del database. Non è necessario fornire ulteriori dettagli di autenticazione IAM o del database integrato. Quando utilizzi questo flusso con Cloud SQL per PostgreSQL, Datastream crea un utente del database con i ruoli cloudsqlsuperuser e postgres. Assicurati di aver concesso le autorizzazioni di accesso a tutti gli schemi e le tabelle nel database selezionato al ruolo postgres o cloudsqlsuperuser.

Se devi modificare le impostazioni dello stream, fai clic su Personalizza.

Personalizza le impostazioni del flusso

Quando fai clic su Personalizza, viene visualizzata la pagina Personalizza le impostazioni del flusso. Assicurati di disporre delle autorizzazioni necessarie per personalizzare le impostazioni dello stream.

Inizia

1. Nella pagina Inizia, fornisci il nome dello stream nel campo Nome stream. Viene compilato automaticamente un identificatore univoco.

2. Nella sezione Fornisci i dettagli dell'account utente dell'istanza, seleziona il metodo di autenticazione:

   • Autenticazione IAM dei database: questa opzione è disponibile se al tuo utente è assegnata l'identità dell'entità Identity and Access Management (IAM). Per saperne di più, consulta Entità IAM. Se selezioni questa opzione, devi concedere manualmente il ruolo cloudsqlsuperuser e l'autorizzazione CREATEROLE al tuo utente:

     1. Nella console Google Cloud , vai alla pagina Istanze Cloud SQL.

     Vai a Istanze Cloud SQL

     1. Seleziona l'istanza Cloud SQL.
     2. Nel menu di navigazione, fai clic su Cloud SQL Studio e accedi.
     3. Nel riquadro Explorer, esegui la seguente query per il tuo utente:

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autenticazione del database integrata: fornisci il nome utente e la password di un utente con il ruolo cloudsqlsuperuser. Se selezioni questa opzione, assicurati che l'utente disponga delle autorizzazioni GRANT sulle tabelle che vuole replicare.

3. Esamina i dettagli aggiuntivi dello stream, come regione, crittografia ed etichette. Espandi la sezione Dettagli aggiuntivi del flusso per applicare le modifiche, se necessario.

4. Fai clic su Continua.

Configura origine

1. Nella pagina Configura origine stream, seleziona il database da cui vuoi replicare i dati.

   Nota: Datastream mostra solo i database per i quali il tuo utente dispone delle autorizzazioni richieste. Se non riesci a visualizzare un database che vuoi utilizzare, è possibile che il tuo utente non disponga delle autorizzazioni necessarie.

2. L'elenco Oggetti da includere seleziona tutti gli oggetti disponibili per impostazione predefinita. Gli oggetti nell'elenco sono quelli per cui disponi delle autorizzazioni necessarie per lo streaming. Per cambiare gli oggetti selezionati, modifica le selezioni nell'elenco.

3. Esamina le configurazioni avanzate del flusso, come la modalità di backfill e il numero massimo di connessioni di backfill contemporanee. Espandi la sezione Configurazioni avanzate dello stream per applicare le modifiche, se necessario.

4. Fai clic su Continua.

Configura destinazione

1. Nella pagina Configura destinazione, modifica le impostazioni di destinazione di BigQuery, se necessario. Per saperne di più, consulta Configura le informazioni sulla destinazione dello stream.

Crea e avvia lo stream

1. Fai clic su Crea e avvia più tardi per creare il flusso e avviarlo in un secondo momento in Datastream oppure su Avvia per creare e avviare subito il flusso.

   Importante: se fai clic su Avvia, l'istanza Cloud SQL per PostgreSQL viene riavviata. Se la decodifica logica non è abilitata per la tua istanza, Datastream la abilita per te.

2. Riceverai una notifica relativa alle attività eseguite automaticamente per te:

   • Datastream crea le risorse Virtual Private Cloud richieste, come l'intervallo di indirizzi IP interni, la subnet e il collegamento di rete.
   • Datastream configura le tabelle per CDC, imposta gli slot di replica, imposta una pubblicazione per tutte le tabelle nel database e crea un utente Datastream dedicato.
   • Datastream crea una configurazione di connettività privata e profili di connessione di origine e destinazione.

3. Conferma di voler creare o creare e avviare lo stream.

Monitora lo stream

Puoi monitorare i dettagli di base dello stream dalla pagina di riepilogo dell'istanza di origine nella console Google Cloud . La pagina mostra informazioni come lo stato dello stream, il nome dello stream, il set di dati BigQuery di destinazione e l'identificatore del progetto di destinazione.

Dalla pagina di riepilogo, puoi anche eseguire azioni come l'avvio o la messa in pausa dello stream. Per informazioni di monitoraggio più dettagliate, fai clic sul nome dello stream per andare a Datastream.

Elimina lo stream

Quando elimini uno stream creato utilizzando il flusso automatico, alcune risorse, come lo slot di replica PostgreSQL, vengono eliminate automaticamente. Tuttavia, esistono risorse che devi eliminare manualmente:

• La pubblicazione. La pubblicazione viene creata utilizzando l'utente amministratore del database e può essere eliminata solo dal proprietario, quindi per impostazione predefinita dall'utente che l'ha creata.
• L'utente Datastream Reader.
• I profili di connessione di origine e destinazione di Datastream
• Le risorse di connettività privata.
• Tutte le risorse di rete create durante il flusso automatizzato, come la subnet e il collegamento di rete.

Passaggi successivi

• Scopri come creare uno stream manualmente.
• Scopri di più su come monitorare gli stream.