Wenn Sie Daten aus einer AlloyDB for PostgreSQL-Datenbank in ein unterstütztes Ziel wie BigQuery oder Cloud Storage replizieren möchten, müssen Sie zuerst Ihre Quellinstanz für Datastream vorbereiten. Wenn Sie einen TCP-Proxy einrichten, die logische Decodierung aktivieren, eine Publikation und einen Replikationsslot erstellen und einen Datastream-Nutzer konfigurieren, können Sie laufende Datenbankänderungen erfassen.
Verbindung zwischen Datastream und AlloyDB einrichten
Damit Datastream eine Verbindung zur AlloyDB-Instanz herstellen kann, müssen Sie im Nutzerprojekt einen TCP-Proxy einrichten. Das TCP-Proxy-Image ist für alle Nutzer öffentlich verfügbar.
Starten Sie den Proxy-Container:
- Aktivieren Sie Cloud Shell im Nutzerprojekt.
- Führen Sie das folgende Script aus, um eine VM mit Container-Optimized OS zu erstellen, die den TCP-Proxy-Container im Hostnetzwerk ausführt:
gcloud compute instances create VM_NAME \ --zone=REGION_ID \ --image-family=cos-stable \ --image-project=cos-cloud \ --tags=dms-tcp-proxy \ --can-ip-forward \ --network=SOURCE_AND_DEST_VPC \ --machine-type=VM_TIER \ --metadata=google-logging-enabled=true,startup-script='#! /bin/bash iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT docker rm -f dms-tcp-proxy 2>/dev/null docker run -d --name=dms-tcp-proxy --restart=always --network=host \ -e SOURCE_CONFIG=ALLOYDB_IP:ALLOYDB_PORT \ gcr.io/dms-images/tcp-proxy'Ersetzen Sie Folgendes:
- REGION_ID: Die Region, in der Sie den TCP-Proxy erstellen möchten.
- VM_NAME: Der Name der VM.
- ALLOYDB_IP: Die IP-Adresse der AlloyDB for PostgreSQL-Instanz.
- ALLOYDB_PORT: Die Portnummer der AlloyDB for PostgreSQL-Instanz.
- SOURCE_AND_DEST_VPC: Das VPC-Netzwerk, mit dem die Quelle und das Ziel verbunden sind.
- VM_TIER: Der Typ der VM.
Ein Beispielbefehl mit aktualisierten Parametern:
gcloud compute instances create ds-tcp-proxy \ --zone=us-central1-c \ --image-family=cos-stable \ --image-project=cos-cloud \ --tags=ds-tcp-proxy \ --can-ip-forward \ --network=default \ --machine-type=e2-micro \ --metadata=google-logging-enabled=true,startup-script='#! /bin/bash iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT docker rm -f dms-tcp-proxy 2>/dev/null docker run -d --name=dms-tcp-proxy --restart=always --network=host \ -e SOURCE_CONFIG=10.16.0.5:5432 \ gcr.io/dms-images/tcp-proxy'Führen Sie das Script aus, um die IP-Adresse des TCP-Proxys mit den folgenden Eingaben auszugeben:
gcloud compute instances describe VM_NAME \ --format="yaml(networkInterfaces[].networkIP)" \ --zone=REGION_IDErsetzen Sie Folgendes:
- VM_NAME: Der Name Ihrer virtuellen Maschine.
- REGION_ID: Die Region, in der Sie den TCP-Proxy erstellt haben.
(Optional) Erstellen Sie eine Firewallregel, um eingehenden Traffic an den TCP-Proxy zu beschränken:
gcloud compute firewall-rules create FIREWALL_RULE_NAME \ --direction=INGRESS \ --priority=1000 \ --target-tags=dms-tcp-proxy \ --network=SOURCE_VPC \ --action=ALLOW \ --rules=tcp:ALLOYDB_PORT \ --source-ranges=IP_RANGEErsetzen Sie Folgendes:
- FIREWALL_RULE_NAME: Der Name der Firewallregel.
- SOURCE_VPC: Das VPC-Netzwerk, mit dem Ihre Quelle verbunden ist.
- ALLOYDB_PORT: Die Portnummer der AlloyDB for PostgreSQL-Instanz.
- IP_RANGE: Der IP-Adressbereich, auf den Sie den eingehenden Traffic beschränken möchten.
Ein Beispielbefehl zum Zulassen von eingehendem Traffic von allen IP-Adressen:
gcloud compute firewall-rules create ds-proxy1 \ --direction=INGRESS \ --priority=1000 \ --target-tags=ds-tcp-proxy \ --network=default \ --action=ALLOW \ --rules=tcp:5432
AlloyDB für Replikation konfigurieren
Aktivieren Sie die logische Decodierung für die primäre AlloyDB-Instanz. Legen Sie in Google Cloudden Wert für das Flag
alloydb.logical_decodingauf ON fest. Informationen zum Aktualisieren der Datenbank-Flags finden Sie unter Datenbank-Flags einer Instanz konfigurieren.Stellen Sie über die TCP-Proxy-IP-Adresse eine Verbindung zur AlloyDB-Instanz her, indem Sie den folgenden Befehl auf einer beliebigen VM in derselben VPC ausführen:
psql -h PROXY_IP \ -U DB_USER \ -d DB_NAMEErsetzen Sie Folgendes:
- PROXY_IP: Die IP-Adresse des TCP-Proxys.
- DB_USER: Der Nutzername für die AlloyDB-Datenbank.
- DB_NAME: Der Name der AlloyDB-Datenbank.
Führen Sie den folgenden Befehl aus, um Ihrem Datenbanknutzer Replikationsberechtigungen zu gewähren:
ALTER USER DB_USER WITH REPLICATION;
Erstellen Sie eine Publikation. Wir empfehlen, eine Publikation nur für die Tabellen zu erstellen, die Sie replizieren möchten. So kann Datastream nur mit Lesezugriff auf die relevanten Daten zugreifen und die Last auf der Datenbank und in Datastream wird reduziert:
CREATE PUBLICATION PUBLICATION_NAME FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;
Ersetzen Sie Folgendes:
- PUBLICATION_NAME: Der Name Ihrer Publikation. Sie müssen diesen Namen angeben, wenn Sie im Assistenten zum Erstellen von Datastream-Streams einen Stream erstellen.
- SCHEMA: Name des Schemas, das die Tabelle enthält
- TABLE: Der Name der Tabelle, die Sie replizieren möchten.
Sie können auch eine Publikation für alle Tabellen in Ihrer Datenbank erstellen. Beachten Sie, dass dieser Ansatz die Last sowohl auf der Quelldatenbank als auch auf Datastream erhöht:
CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
Erstellen Sie mit dem folgenden Befehl einen Replikationsslot.
SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');Ersetzen Sie Folgendes:
- REPLICATION_SLOT_NAME: Der Name Ihres Replikations-Slots. Sie müssen diesen Namen angeben, wenn Sie einen Stream im Assistenten zum Erstellen von Datastream-Streams erstellen.
Datastream-Nutzer erstellen
Geben Sie den folgenden PostgreSQL-Befehl ein, um einen Datastream-Nutzer zu erstellen:
CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';
Ersetzen Sie Folgendes:
- USER_NAME: Der Name des Datastream-Nutzers, den Sie erstellen möchten.
- USER_PASSWORD: Das Anmeldepasswort für den Datastream-Nutzer, den Sie erstellen möchten.
Gewähren Sie dem erstellten Nutzer die folgenden Berechtigungen:
GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME; GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME; ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME GRANT SELECT ON TABLES TO USER_NAME;
Ersetzen Sie Folgendes:
- SCHEMA_NAME: Der Name des Schemas, für das Sie die Berechtigungen gewähren möchten.
- USER_NAME: Der Nutzer, dem Sie die Berechtigungen gewähren möchten.