כדי לשכפל נתונים ממסד נתונים של AlloyDB ל-PostgreSQL ליעד נתמך כמו BigQuery או Cloud Storage, קודם צריך להכין את מכונת המקור ל-Datastream. כדי לתעד שינויים שוטפים במסד הנתונים, צריך להגדיר שרת proxy ל-TCP, להפעיל פענוח לוגי, ליצור פרסום ומשבצת שכפול ולהגדיר משתמש Datastream.
הגדרת הקישוריות בין Datastream ל-AlloyDB
כדי לאפשר ל-Datastream להתחבר למכונה של AlloyDB, צריך להגדיר שרת proxy ל-TCP בפרויקט של הצרכן. תמונת ה-proxy של TCP זמינה לכל הלקוחות.
מפעילים את מאגר ה-proxy:
- מפעילים את Cloud Shell בפרויקט של הצרכן.
- מריצים את הסקריפט הבא כדי ליצור מכונה וירטואלית של מערכת הפעלה שמותאמת לקונטיינרים, שמריצה את קונטיינר שרת ה-Proxy של TCP ברשת המארחת:
gcloud compute instances create VM_NAME \ --zone=REGION_ID \ --image-family=cos-stable \ --image-project=cos-cloud \ --tags=dms-tcp-proxy \ --can-ip-forward \ --network=SOURCE_AND_DEST_VPC \ --machine-type=VM_TIER \ --metadata=google-logging-enabled=true,startup-script='#! /bin/bash iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT docker rm -f dms-tcp-proxy 2>/dev/null docker run -d --name=dms-tcp-proxy --restart=always --network=host \ -e SOURCE_CONFIG=ALLOYDB_IP:ALLOYDB_PORT \ gcr.io/dms-images/tcp-proxy'מחליפים את מה שכתוב בשדות הבאים:
- REGION_ID: האזור שבו רוצים ליצור את שרת ה-proxy ל-TCP.
- VM_NAME: השם של המכונה הווירטואלית.
- ALLOYDB_IP: כתובת ה-IP של מכונת AlloyDB ל-PostgreSQL.
- ALLOYDB_PORT: מספר היציאה של מכונת AlloyDB ל-PostgreSQL.
- SOURCE_AND_DEST_VPC: רשת ה-VPC שאליה מחוברים המקור והיעד.
- VM_TIER: סוג המכונה הווירטואלית.
דוגמה לפקודה עם פרמטרים מעודכנים:
gcloud compute instances create ds-tcp-proxy \ --zone=us-central1-c \ --image-family=cos-stable \ --image-project=cos-cloud \ --tags=ds-tcp-proxy \ --can-ip-forward \ --network=default \ --machine-type=e2-micro \ --metadata=google-logging-enabled=true,startup-script='#! /bin/bash iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT docker rm -f dms-tcp-proxy 2>/dev/null docker run -d --name=dms-tcp-proxy --restart=always --network=host \ -e SOURCE_CONFIG=10.16.0.5:5432 \ gcr.io/dms-images/tcp-proxy'מריצים את הסקריפט כדי להדפיס את כתובת ה-IP של שרת ה-proxy ל-TCP עם הקלט הבא:
gcloud compute instances describe VM_NAME \ --format="yaml(networkInterfaces[].networkIP)" \ --zone=REGION_IDמחליפים את מה שכתוב בשדות הבאים:
- VM_NAME: השם של המכונה הווירטואלית.
- REGION_ID: האזור שבו יצרתם את שרת ה-proxy ל-TCP.
(אופציונלי) יוצרים כלל של חומת אש כדי להגביל את תעבורת הנתונים הנכנסת (ingress) לשרת ה-proxy ל-TCP:
gcloud compute firewall-rules create FIREWALL_RULE_NAME \ --direction=INGRESS \ --priority=1000 \ --target-tags=dms-tcp-proxy \ --network=SOURCE_VPC \ --action=ALLOW \ --rules=tcp:ALLOYDB_PORT \ --source-ranges=IP_RANGEמחליפים את מה שכתוב בשדות הבאים:
- FIREWALL_RULE_NAME: השם של כלל חומת האש.
- SOURCE_VPC: רשת ה-VPC שאליה מחובר המקור.
- ALLOYDB_PORT: מספר היציאה של מכונת AlloyDB ל-PostgreSQL.
- IP_RANGE: טווח כתובות ה-IP שאליו רוצים להגביל את תעבורת הנתונים הנכנסת.
דוגמה לפקודה שמאפשרת תעבורת נתונים נכנסת מכל כתובות ה-IP:
gcloud compute firewall-rules create ds-proxy1 \ --direction=INGRESS \ --priority=1000 \ --target-tags=ds-tcp-proxy \ --network=default \ --action=ALLOW \ --rules=tcp:5432
הגדרת AlloyDB לרפליקציה
מפעילים פענוח לוגי במכונה הראשית של AlloyDB. ב- Google Cloud, מגדירים את הערך של הדגל
alloydb.logical_decodingל-מופעל. במאמר הגדרת דגלים לניהול מסד נתונים של מכונה מוסבר איך מעדכנים את הדגלים לניהול מסד הנתונים.כדי להתחבר למכונה של AlloyDB באמצעות כתובת ה-IP של שרת ה-proxy ל-TCP, מריצים את הפקודה הבאה מכל מכונה וירטואלית באותו VPC:
psql -h PROXY_IP \ -U DB_USER \ -d DB_NAMEמחליפים את מה שכתוב בשדות הבאים:
- PROXY_IP: כתובת ה-IP של שרת ה-proxy ל-TCP.
- DB_USER: שם המשתמש של מסד הנתונים ב-AlloyDB.
- DB_NAME: השם של מסד הנתונים ב-AlloyDB.
מריצים את הפקודה הבאה כדי להעניק הרשאות שכפול למשתמש במסד הנתונים:
ALTER USER DB_USER WITH REPLICATION;
יוצרים אתר חדשות. מומלץ ליצור פרסום רק לטבלאות שרוצים לשכפל. כך Datastream יכול לקרוא רק את הנתונים הרלוונטיים, והעומס על מסד הנתונים ועל Datastream פוחת:
CREATE PUBLICATION PUBLICATION_NAME FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;
מחליפים את מה שכתוב בשדות הבאים:
- PUBLICATION_NAME: שם אתר החדשות. תצטרכו לספק את השם הזה כשתצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.
- SCHEMA: שם הסכימה שמכילה את הטבלה.
- TABLE: שם הטבלה שרוצים לשכפל.
אפשר גם ליצור פרסום לכל הטבלאות במסד הנתונים. חשוב לזכור שהגישה הזו מגדילה את העומס גם על מסד הנתונים של המקור וגם על Datastream:
CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
מריצים את הפקודה הבאה כדי ליצור משבצת רפליקציה.
SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');מחליפים את מה שכתוב בשדות הבאים:
- REPLICATION_SLOT_NAME: השם של מיקום הרפליקציה. תצטרכו לציין את השם הזה כשתצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.
יצירת משתמש ב-Datastream
כדי ליצור משתמש Datastream, מזינים את הפקודה הבאה ב-PostgreSQL:
CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';
מחליפים את מה שכתוב בשדות הבאים:
- USER_NAME: השם של משתמש Datastream שרוצים ליצור.
- USER_PASSWORD: סיסמת הכניסה של המשתמש ב-Datastream שרוצים ליצור.
נותנים למשתמש שיצרתם את ההרשאות הבאות:
GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME; GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME; ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME GRANT SELECT ON TABLES TO USER_NAME;
מחליפים את מה שכתוב בשדות הבאים:
- SCHEMA_NAME: שם הסכימה שרוצים לתת לה את ההרשאות.
- USER_NAME: המשתמש שרוצים לתת לו את ההרשאות.