Configurer une base de données Cloud SQL pour PostgreSQL pour la CDC

Vous pouvez diffuser en streaming les mises à jour de capture des données modifiées (CDC) d'une base de données Cloud SQL pour PostgreSQL vers des destinations compatibles, telles que BigQuery ou Cloud Storage, à l'aide de Datastream. Pour préparer votre instance source, activez l'option cloudsql.logical_decoding, créez une publication et un emplacement de réplication, puis configurez un utilisateur Datastream.

Activer la réplication logique

1. Accédez à Cloud SQL dans la Google Cloud console.

2. Ouvrez l'instance Cloud SQL et cliquez sur MODIFIER.

3. Accédez à la section Options.

4. Cliquez sur AJOUTER UN FLAG.

5. Choisissez l'option cloudsql.logical_decoding dans le menu déroulant.

6. Définissez la valeur de l'option sur activé.

7. Cliquez sur ENREGISTRER pour enregistrer les modifications. Vous devrez redémarrer l'instance pour y appliquer les modifications.

8. Une fois votre instance redémarrée, vérifiez les modifications sous Indicateurs de base de données sur la page Présentation.

Créer une publication et un emplacement de réplication

1. Connectez-vous à la base de données en tant qu'utilisateur disposant des droits suffisants pour créer un emplacement de réplication. Sinon, exécutez la commande suivante :

   ALTER USER USER_NAME WITH REPLICATION;
   

   Remplacez les éléments suivants :

   • USER_NAME : nom de l'utilisateur auquel vous souhaitez accorder des droits de réplication.
   Si votre utilisateur actuel ne peut pas exécuter la commande, reconnectez-vous à la base de données avec le nom d'utilisateur postgres par défaut, puis exécutez la commande.

2. Créez une publication. Nous vous recommandons de ne créer une publication que pour les tables que vous souhaitez répliquer. Ainsi, Datastream ne lit que les données pertinentes, ce qui réduit la charge sur la base de données et Datastream :

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

   Remplacez les éléments suivants :

   • PUBLICATION_NAME : nom de votre publication. Vous devrez fournir ce nom lorsque vous créerez un flux dans l'assistant de création de flux Datastream.
   • SCHEMA : nom du schéma contenant la table.
   • TABLE : nom de la table que vous souhaitez répliquer.

   Vous pouvez également créer une publication pour toutes les tables de votre base de données. Notez que cette approche augmente la charge sur la base de données source et Datastream :

   CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
   

   Pour PostgreSQL 15 et versions ultérieures, vous pouvez créer une publication pour toutes les tables d'un schéma. Cette approche vous permet de répliquer les modifications apportées aux tables de la liste de schémas spécifiée, y compris les tables que vous créerez à l'avenir :

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLES IN SCHEMA SCHEMA1, SCHEMA2;

3. Créez un emplacement de réplication en saisissant la commande SQL suivante :

   SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

   Remplacez les éléments suivants :

   • REPLICATION_SLOT_NAME : nom de votre emplacement de réplication. Vous devrez fournir ce nom lorsque vous créerez un flux dans l'assistant de création de flux Datastream.
   Le nom de l'emplacement de réplication doit être unique pour chaque flux répliqué à partir de cette base de données.

Créer un utilisateur Datastream

1. Connectez-vous à la base de données à l'aide d'un client PostgreSQL.

2. Saisissez la commande PostgreSQL suivante :

   CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';

   Remplacez les éléments suivants :

   • USER_NAME : nom de l'utilisateur Datastream que vous souhaitez créer.
   • USER_PASSWORD : mot de passe de connexion de l'utilisateur Datastream que vous souhaitez créer.

3. Accordez les droits suivants à l'utilisateur que vous avez créé :

   GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
   ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
       GRANT SELECT ON TABLES TO USER_NAME;
   

   Remplacez les éléments suivants :

   • SCHEMA_NAME : nom du schéma auquel vous souhaitez accorder les droits.
   • USER_NAME : utilisateur auquel vous souhaitez accorder les droits.

Étape suivante

• Découvrez comment Datastream fonctionne avec les sources PostgreSQL.