הגדרת מסד נתונים של AlloyDB ל-PostgreSQL ל-CDC

כדי לשכפל נתונים ממסד נתונים של AlloyDB ל-PostgreSQL ליעד נתמך כמו BigQuery או Cloud Storage, קודם צריך להכין את מכונת המקור ל-Datastream. כדי לתעד שינויים שוטפים במסד הנתונים, צריך להגדיר שרת proxy ל-TCP, להפעיל פענוח לוגי, ליצור פרסום ומשבצת שכפול ולהגדיר משתמש Datastream.

הגדרת הקישוריות בין Datastream ל-AlloyDB

כדי לאפשר ל-Datastream להתחבר למכונה של AlloyDB, צריך להגדיר שרת proxy ל-TCP בפרויקט של הצרכן. תמונת ה-proxy של TCP זמינה לכל הלקוחות.

  1. מפעילים את מאגר ה-proxy:

    1. מפעילים את Cloud Shell בפרויקט של הצרכן.
    2. מריצים את הסקריפט הבא כדי ליצור מכונה וירטואלית של מערכת הפעלה שמותאמת לקונטיינרים, שמריצה את קונטיינר שרת ה-Proxy של TCP ברשת המארחת:
    gcloud compute instances create VM_NAME \
      --zone=REGION_ID \
      --image-family=cos-stable \
      --image-project=cos-cloud \
      --tags=dms-tcp-proxy \
      --can-ip-forward \
      --network=SOURCE_AND_DEST_VPC \
      --machine-type=VM_TIER \
      --metadata=google-logging-enabled=true,startup-script='#! /bin/bash
      iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT
      docker rm -f dms-tcp-proxy 2>/dev/null
      docker run -d --name=dms-tcp-proxy --restart=always --network=host \
        -e SOURCE_CONFIG=ALLOYDB_IP:ALLOYDB_PORT \
        gcr.io/dms-images/tcp-proxy'
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REGION_ID: האזור שבו רוצים ליצור את שרת ה-proxy ל-TCP.
    • ‫VM_NAME: השם של המכונה הווירטואלית.
    • ‫ALLOYDB_IP: כתובת ה-IP של מכונת AlloyDB ל-PostgreSQL.
    • ‫ALLOYDB_PORT: מספר היציאה של מכונת AlloyDB ל-PostgreSQL.
    • ‫SOURCE_AND_DEST_VPC: רשת ה-VPC שאליה מחוברים המקור והיעד.
    • ‫VM_TIER: סוג המכונה הווירטואלית.

    דוגמה לפקודה עם פרמטרים מעודכנים:

    gcloud compute instances create ds-tcp-proxy \
      --zone=us-central1-c \
      --image-family=cos-stable \
      --image-project=cos-cloud \
      --tags=ds-tcp-proxy \
      --can-ip-forward \
      --network=default \
      --machine-type=e2-micro \
      --metadata=google-logging-enabled=true,startup-script='#! /bin/bash
      iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT
      docker rm -f dms-tcp-proxy 2>/dev/null
      docker run -d --name=dms-tcp-proxy --restart=always --network=host \
        -e SOURCE_CONFIG=10.16.0.5:5432 \
        gcr.io/dms-images/tcp-proxy'
    
  2. מריצים את הסקריפט כדי להדפיס את כתובת ה-IP של שרת ה-proxy ל-TCP עם הקלט הבא:

    gcloud compute instances describe VM_NAME \
      --format="yaml(networkInterfaces[].networkIP)" \
      --zone=REGION_ID
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫VM_NAME: השם של המכונה הווירטואלית.
    • ‫REGION_ID: האזור שבו יצרתם את שרת ה-proxy ל-TCP.
  3. (אופציונלי) יוצרים כלל של חומת אש כדי להגביל את תעבורת הנתונים הנכנסת (ingress) לשרת ה-proxy ל-TCP:

    gcloud compute firewall-rules create FIREWALL_RULE_NAME \
      --direction=INGRESS \
      --priority=1000 \
      --target-tags=dms-tcp-proxy \
      --network=SOURCE_VPC \
      --action=ALLOW \
      --rules=tcp:ALLOYDB_PORT \
      --source-ranges=IP_RANGE
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫FIREWALL_RULE_NAME: השם של כלל חומת האש.
    • ‫SOURCE_VPC: רשת ה-VPC שאליה מחובר המקור.
    • ‫ALLOYDB_PORT: מספר היציאה של מכונת AlloyDB ל-PostgreSQL.
    • ‫IP_RANGE: טווח כתובות ה-IP שאליו רוצים להגביל את תעבורת הנתונים הנכנסת.

    דוגמה לפקודה שמאפשרת תעבורת נתונים נכנסת מכל כתובות ה-IP:

    gcloud compute firewall-rules create ds-proxy1 \
      --direction=INGRESS \
      --priority=1000 \
      --target-tags=ds-tcp-proxy \
      --network=default \
      --action=ALLOW \
      --rules=tcp:5432
    

הגדרת AlloyDB לרפליקציה

  1. מפעילים פענוח לוגי במכונה הראשית של AlloyDB. ב- Google Cloud, מגדירים את הערך של הדגל alloydb.logical_decoding ל-מופעל. במאמר הגדרת דגלים לניהול מסד נתונים של מכונה מוסבר איך מעדכנים את הדגלים לניהול מסד הנתונים.

  2. כדי להתחבר למכונה של AlloyDB באמצעות כתובת ה-IP של שרת ה-proxy ל-TCP, מריצים את הפקודה הבאה מכל מכונה וירטואלית באותו VPC:

      psql -h PROXY_IP \
        -U DB_USER \
        -d DB_NAME
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROXY_IP: כתובת ה-IP של שרת ה-proxy ל-TCP.
    • ‫DB_USER: שם המשתמש של מסד הנתונים ב-AlloyDB.
    • ‫DB_NAME: השם של מסד הנתונים ב-AlloyDB.
  3. מריצים את הפקודה הבאה כדי להעניק הרשאות שכפול למשתמש במסד הנתונים:

    ALTER USER DB_USER WITH REPLICATION;
    
  4. יוצרים אתר חדשות. מומלץ ליצור פרסום רק לטבלאות שרוצים לשכפל. כך Datastream יכול לקרוא רק את הנתונים הרלוונטיים, והעומס על מסד הנתונים ועל Datastream פוחת:

    CREATE PUBLICATION PUBLICATION_NAME
    FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PUBLICATION_NAME: שם אתר החדשות. תצטרכו לספק את השם הזה כשתצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.
    • ‫SCHEMA: שם הסכימה שמכילה את הטבלה.
    • ‫TABLE: שם הטבלה שרוצים לשכפל.

    אפשר גם ליצור פרסום לכל הטבלאות במסד הנתונים. חשוב לזכור שהגישה הזו מגדילה את העומס גם על מסד הנתונים של המקור וגם על Datastream:

    CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
    
  5. מריצים את הפקודה הבאה כדי ליצור משבצת רפליקציה.

    SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REPLICATION_SLOT_NAME: השם של מיקום הרפליקציה. תצטרכו לציין את השם הזה כשתצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.

יצירת משתמש ב-Datastream

  1. כדי ליצור משתמש Datastream, מזינים את הפקודה הבאה ב-PostgreSQL:

    CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USER_NAME: השם של משתמש Datastream שרוצים ליצור.
    • ‫USER_PASSWORD: סיסמת הכניסה של המשתמש ב-Datastream שרוצים ליצור.
  2. נותנים למשתמש שיצרתם את ההרשאות הבאות:

    GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
    GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
    ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME GRANT SELECT ON TABLES TO USER_NAME;
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫SCHEMA_NAME: שם הסכימה שרוצים לתת לה את ההרשאות.
    • ‫USER_NAME: המשתמש שרוצים לתת לו את ההרשאות.

המאמרים הבאים