Configurer une base de données AlloyDB pour PostgreSQL pour la CDC

Pour répliquer des données d'une base de données AlloyDB pour PostgreSQL vers une destination compatible telle que BigQuery ou Cloud Storage, vous devez d'abord préparer votre instance source pour Datastream. La configuration d'un proxy TCP, l'activation du décodage logique, la création d'une publication et d'un emplacement de réplication, et la configuration d'un utilisateur Datastream vous permettent de capturer les modifications en cours de la base de données.

Configurer la connectivité entre Datastream et AlloyDB

Pour permettre à Datastream de se connecter à l'instance AlloyDB, vous devez configurer un proxy TCP dans le projet client. L'image de proxy TCP est disponible pour tous les clients.

  1. Lancez le conteneur du proxy :

    1. Activez Cloud Shell dans le projet client.
    2. Exécutez le script suivant pour créer une VM Container-Optimized OS qui exécute le conteneur de proxy TCP sur le réseau hôte :
    gcloud compute instances create VM_NAME \
  --zone=REGION_ID \
  --image-family=cos-stable \
  --image-project=cos-cloud \
  --tags=dms-tcp-proxy \
  --can-ip-forward \
  --network=SOURCE_AND_DEST_VPC \
  --machine-type=VM_TIER \
  --metadata=google-logging-enabled=true,startup-script='#! /bin/bash
  iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT
  docker rm -f dms-tcp-proxy 2>/dev/null
  docker run -d --name=dms-tcp-proxy --restart=always --network=host \
    -e SOURCE_CONFIG=ALLOYDB_IP:ALLOYDB_PORT \
    gcr.io/dms-images/tcp-proxy'

    Remplacez les éléments suivants :

    • REGION_ID : région dans laquelle vous souhaitez créer le proxy TCP.
    • VM_NAME : nom de la machine virtuelle.
    • ALLOYDB_IP : adresse IP de l'instance AlloyDB pour PostgreSQL.
    • ALLOYDB_PORT : numéro de port de l'instance AlloyDB pour PostgreSQL.
    • SOURCE_AND_DEST_VPC : réseau VPC auquel la source et la destination sont connectées.
    • VM_TIER : type de votre machine virtuelle.

    Exemple de commande avec des paramètres mis à jour :

    gcloud compute instances create ds-tcp-proxy \
  --zone=us-central1-c \
  --image-family=cos-stable \
  --image-project=cos-cloud \
  --tags=ds-tcp-proxy \
  --can-ip-forward \
  --network=default \
  --machine-type=e2-micro \
  --metadata=google-logging-enabled=true,startup-script='#! /bin/bash
  iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT
  docker rm -f dms-tcp-proxy 2>/dev/null
  docker run -d --name=dms-tcp-proxy --restart=always --network=host \
    -e SOURCE_CONFIG=10.16.0.5:5432 \
    gcr.io/dms-images/tcp-proxy'

  2. Exécutez le script pour imprimer l'adresse IP du proxy TCP avec les entrées suivantes :

    gcloud compute instances describe VM_NAME \
  --format="yaml(networkInterfaces[].networkIP)" \
  --zone=REGION_ID

    Remplacez les éléments suivants :

    • VM_NAME : nom de votre machine virtuelle.
    • REGION_ID : région dans laquelle vous avez créé le proxy TCP.

  3. (Facultatif) Créez une règle de pare-feu pour limiter le trafic entrant vers le proxy TCP :

    gcloud compute firewall-rules create FIREWALL_RULE_NAME \
  --direction=INGRESS \
  --priority=1000 \
  --target-tags=dms-tcp-proxy \
  --network=SOURCE_VPC \
  --action=ALLOW \
  --rules=tcp:ALLOYDB_PORT \
  --source-ranges=IP_RANGE

    Remplacez les éléments suivants :

    • FIREWALL_RULE_NAME : nom de votre règle de pare-feu.
    • SOURCE_VPC : réseau VPC auquel votre source est connectée.
    • ALLOYDB_PORT : numéro de port de l'instance AlloyDB pour PostgreSQL.
    • IP_RANGE : plage d'adresses IP à laquelle vous souhaitez limiter le trafic d'entrée.

    Exemple de commande autorisant le trafic entrant provenant de toutes les adresses IP :

    gcloud compute firewall-rules create ds-proxy1 \
  --direction=INGRESS \
  --priority=1000 \
  --target-tags=ds-tcp-proxy \
  --network=default \
  --action=ALLOW \
  --rules=tcp:5432

Configurer AlloyDB pour la réplication

  1. Activez le décodage logique pour l'instance principale AlloyDB. Dans Google Cloud, définissez la valeur de l'option alloydb.logical_decoding sur ON. Pour en savoir plus sur la mise à jour des indicateurs de base de données, consultez Configurer les indicateurs de base de données d'une instance.

  2. Connectez-vous à l'instance AlloyDB à l'aide de l'adresse IP du proxy TCP en exécutant la commande suivante depuis n'importe quelle VM du même VPC :

      psql -h PROXY_IP \
    -U DB_USER \
    -d DB_NAME

    Remplacez les éléments suivants :

    • PROXY_IP : adresse IP du proxy TCP.
    • DB_USER : nom d'utilisateur de la base de données AlloyDB.
    • DB_NAME : nom de la base de données AlloyDB.

  3. Exécutez la commande suivante pour accorder des droits de réplication à l'utilisateur de votre base de données :

    ALTER USER DB_USER WITH REPLICATION;

  4. Créer une publication Nous vous recommandons de ne créer une publication que pour les tables que vous souhaitez répliquer. Ainsi, Datastream ne lit que les données pertinentes, ce qui réduit la charge sur la base de données et Datastream :

    CREATE PUBLICATION PUBLICATION_NAME
FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

    Remplacez les éléments suivants :

    • PUBLICATION_NAME : nom de votre publication. Vous devrez fournir ce nom lorsque vous créerez un flux dans l'assistant de création de flux Datastream.
    • SCHEMA : nom du schéma contenant la table.
    • TABLE : nom de la table que vous souhaitez répliquer.

    Vous pouvez également créer une publication pour toutes les tables de votre base de données. Notez que cette approche augmente la charge sur la base de données source et sur Datastream :

    CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;

  5. Créez un emplacement de réplication en exécutant la commande suivante.

    SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

    Remplacez les éléments suivants :

    • REPLICATION_SLOT_NAME : nom de votre emplacement de réplication. Vous devrez indiquer ce nom lorsque vous créerez un flux dans l'assistant de création de flux Datastream.

Créer un utilisateur Datastream

  1. Pour créer un utilisateur Datastream, saisissez la commande PostgreSQL suivante :

    CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';

    Remplacez les éléments suivants :

    • USER_NAME : nom de l'utilisateur Datastream que vous souhaitez créer.
    • USER_PASSWORD : mot de passe de connexion de l'utilisateur Datastream que vous souhaitez créer.

  2. Accordez les droits suivants à l'utilisateur que vous avez créé :

    GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME GRANT SELECT ON TABLES TO USER_NAME;

    Remplacez les éléments suivants :

    • SCHEMA_NAME : nom du schéma auquel vous souhaitez accorder les droits.
    • USER_NAME : l'utilisateur auquel vous souhaitez accorder les droits.

Étapes suivantes