יצירת מקור נתונים של AlloyDB באמצעות התהליך האוטומטי

אתם יכולים לשכפל נתונים מאשכול של AlloyDB ל-PostgreSQL ל-BigQuery ישירות מדף הסקירה הכללית של האשכול, באמצעות תהליך ההגדרה האוטומטי של מקור הנתונים ב-Datastream. ‫Datastream מפשט את ההגדרה על ידי הגדרה אוטומטית של החיבור לרשת ה-VPC, הגדרות מסד הנתונים של המקור ומשאבי ה-stream.

‫Datastream יוצר את ה-stream מהמכונה הראשית באשכול הראשי של AlloyDB, גם אם הפריסה כוללת אשכולות או מכונות משניים. כדי להשתמש בתהליך האוטומטי, במכונה הראשית צריך להפעיל את הגישה לשירותים פרטיים ולהשתמש בממשקי Private Service Connect.

תוכנית בחינם

באמצעות Datastream אתם יכולים להעביר נתונים בסטרימינג מ-AlloyDB ל-PostgreSQL אל BigQuery, במסגרת התוכנית בחינם, ולקבל עד 100GiB של נתוני CDC בחינם מדי חודש. למידע נוסף, ראו התמחור של Datastream.

לפני שמתחילים

  1. מפעילים את Datastream API, את Network Connectivity API ואת Compute Engine API.
  2. מוודאים שיש לכם את ההרשאות הנדרשות לניהול זהויות והרשאות גישה (IAM) כדי ליצור ולנהל משאבים ב-Datastream. פרטים נוספים מופיעים בקטע הבא.
  3. יוצרים ומגדירים אשכול מקור של AlloyDB ל-PostgreSQL בשביל הרפליקציה. מידע נוסף זמין במאמר הגדרת מסד נתונים של AlloyDB ל-PostgreSQL בשביל CDC.

  4. מומלץ להפעיל רפליקציה לוגית באשכול לפני שיוצרים את הסטרימינג. אם לא תפעילו את השכפול הלוגי, Datastream יפעיל אותו בשבילכם, והפעולה הזו תפעיל מחדש את מכונת המקור.

    במאמר הגדרת מסד נתונים של AlloyDB ל-PostgreSQL בשביל CDC מוסבר איך מפעילים רפליקציה לוגית באשכול של AlloyDB ל-PostgreSQL.

  5. מוודאים שאשכול המקור מוגדר לשימוש בגישה לשירותים פרטיים.

ההרשאות הנדרשות

כדי להשתמש בתהליך האוטומטי ליצירת מקורות נתונים, אתם צריכים את התפקידים או ההרשאות הבאים בממשק של ניהול זהויות והרשאות גישה (IAM):

  • ‫serviceusage.services.enable, compute.networkAdmin להפעלת ממשקי ה-API הנדרשים ולביצוע משימות של הגדרת הרשת.
  • alloydb.admin למשימות הגדרה של אשכולות ומכונות.
  • ‫datastream.admin למשימות ניהול ש-Datastream מבצע בשבילכם.

חשוב לוודא שכל הסכימות והטבלאות במסד הנתונים שנבחר מוקצות לתפקיד postgres או alloydbsuperuser. כברירת מחדל, התהליך האוטומטי כולל את כל הסכימות והטבלאות במסד הנתונים, ולכן יצירת הסטרימינג תיכשל אם למשתמש שנוצר באופן אוטומטי אין הרשאות לסכימה או לטבלה כלשהי.

אם אתם בוחרים להתאים אישית את הגדרות הסטרימינג, המשתמש של מנהל מסד הנתונים צריך גם הרשאות GRANT לסכימה שאתם רוצים לשכפל, והרשאות נוספות למשימות ניהוליות ומבניות במסד הנתונים של המקור. מתחברים למסד הנתונים של המקור ומריצים את הפקודה הבאה:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

טבלאות עתידיות

טבלאות עתידיות יתווספו אוטומטית לסטרימינג רק אם הן נוצרו על ידי המשתמש שאת פרטי החשבון שלו סיפקתם לאימות במהלך התהליך האוטומטי. אם משתמש אחר יוצר טבלה בעתיד, הוא צריך להעניק למשתמש הקורא של Datastream את ההרשאה SELECT בטבלה באופן מפורש.

יצירה והפעלה של השידור

כדי ליצור ולהתחיל שידור, מבצעים את השלבים הבאים:

המסוף

  1. עוברים לדף הסקירה הכללית של אשכולות המקור ב-AlloyDB ל-PostgreSQL.

    כניסה ל-AlloyDB ל-PostgreSQL

  2. לוחצים על האשכול הראשי שממנו רוצים להעביר נתונים בסטרימינג.

  3. יוצרים ומפעילים את השידור באופן אוטומטי באחת מהדרכים הבאות:

    • בדף Cluster details, בקטע Data replication, לוחצים על Start stream.
    • בקטע Integrations, לוחצים על Start stream בקטע Replicate data to BigQuery.
    • בכרטיסייה Launchpad, בקטע שילוב חלק עםGoogle Cloud מוצרים אחרים, לוחצים על שכפול נתונים ל-BigQuery.

  4. החלונית Start stream to replicate data נפתחת.

  5. בקטע Stream settings, בודקים את הגדרות ברירת המחדל של הסטרימינג שיוצרים.

  6. כדי לשנות את מסד הנתונים של המקור, מרחיבים את התפריט הנפתח המתאים ובוחרים ערך אחר.

  7. כדי ליצור ולהתחיל את השידור, לוחצים על התחלת השידור.

אם אתם צריכים לשנות את הגדרות השידור, לחצו על התאמה אישית.

התאמה אישית של הגדרות השידור

כשלוחצים על התאמה אישית, מופיע הדף התאמה אישית של הגדרות השידור. חשוב לוודא שיש לכם את ההרשאות הנדרשות כדי להתאים אישית את הגדרות הסטרימינג.

קדימה, מתחילים

  1. בדף Get started, נותנים שם לשידור בשדה Stream name. השדה מזהה מקור נתונים מאוכלס באופן אוטומטי.

  2. בקטע Provide the instance user account details, בוחרים את שיטת האימות:

    • אימות מסד נתונים באמצעות IAM: האפשרות הזו זמינה אם למשתמש שלכם הוקצתה זהות של חשבון משתמש בניהול זהויות והרשאות גישה (IAM). מידע נוסף זמין במאמר חשבונות משתמשים ב-IAM. אם בוחרים באפשרות הזו, צריך להקצות באופן ידני את התפקיד alloydbsuperuser ואת ההרשאה CREATEROLE למשתמש:

      1. במסוף Google Cloud , נכנסים לדף AlloyDB ל-PostgreSQL Clusters.

      כניסה ל-AlloyDB ל-PostgreSQL

      1. בוחרים את אשכול AlloyDB ל-PostgreSQL.
      2. בתפריט הניווט, לוחצים על AlloyDB ל-PostgreSQL Studio ונכנסים לחשבון.
      3. בחלונית Explorer, מריצים את השאילתה הבאה עבור המשתמש:
    GRANT alloydbsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • אימות מובנה של מסד נתונים: מספקים את שם המשתמש והסיסמה של משתמש עם התפקיד alloydbsuperuser. אם למשתמש אין את התפקיד alloydbsuperuser, צריך לפעול לפי השלבים שמתוארים בקטע "אימות מסד נתונים באמצעות IAM" כדי להקצות אותו באופן ידני. אם בוחרים באימות מובנה של מסד הנתונים, צריך לוודא שלמשתמש יש הרשאות GRANT בטבלאות שרוצים לשכפל.

  3. בודקים פרטים נוספים של השידור, כמו אזור, הצפנה ותוויות. מרחיבים את הקטע Additional stream details כדי לבצע שינויים, אם צריך.

  4. לוחצים על Continue.

הגדרת המקור

  1. בדף Configure source, בוחרים את מסד הנתונים שממנו רוצים לשכפל נתונים.

  2. ברשימה Selected objects נבחרים כל האובייקטים הזמינים כברירת מחדל. האובייקטים ברשימה הם האובייקטים שיש לכם את ההרשאות הנדרשות כדי להעביר בסטרימינג. כדי לשנות את האובייקטים שנבחרו, משנים את הבחירות ברשימה.

  3. בודקים את ההגדרות המתקדמות של הסטרימינג, כמו מצב מילוי חוסרים ומספר החיבורים המקסימלי למילוי חוסרים בו-זמנית. מרחיבים את הקטע Advanced stream configurations כדי להחיל שינויים, אם צריך.

  4. לוחצים על Continue.

הגדרת יעד

  1. בדף Configure destination, משנים את הגדרות היעד של BigQuery, אם צריך. מידע נוסף זמין במאמר הגדרת מידע על היעד של הסטרימינג.

יצירה והפעלה של השידור

  1. לוחצים על Create and start כדי ליצור את הסטרימינג ולהתחיל אותו, או על Create without starting כדי ליצור את הסטרימינג ולהתחיל אותו מאוחר יותר ב-Datastream.

  2. תקבלו התראות על המשימות שמתבצעות בשבילכם באופן אוטומטי:

    • ‫Datastream יוצר את המשאבים הנדרשים של הענן הווירטואלי הפרטי, כמו טווח כתובות IP פנימיות, רשת משנה ומחבר רשת.
    • ‫Datastream מגדיר טבלאות ל-CDC, מגדיר משבצות שכפול, מגדיר פרסום לכל הטבלאות במסד הנתונים ויוצר משתמש Datastream ייעודי.
    • ‫Datastream יוצר הגדרת קישוריות פרטית ופרופילי חיבור למקור וליעד.

  3. מאשרים שרוצים ליצור ולהתחיל את השידור.

מעקב אחרי השידור

אתם יכולים לעקוב אחרי פרטי הסטרימינג הבסיסיים בדף הסקירה הכללית של מכונת המקור במסוף Google Cloud . בדף מוצג מידע כמו סטטוס הסטרימינג, שם הסטרימינג, מערך הנתונים של היעד ב-BigQuery ומזהה הפרויקט של היעד.

בדף הסקירה הכללית אפשר גם לבצע פעולות כמו הפעלה או השהיה של הסטרימינג. כדי לראות מידע מפורט יותר על המעקב, לוחצים על שם ה-stream כדי לעבור ל-Datastream.

מחיקת השידור

כשמוחקים זרם שנוצר באמצעות התהליך האוטומטי, חלק מהמשאבים, כמו משבצת השכפול של PostgreSQL, נמחקים באופן אוטומטי. עם זאת, יש משאבים שצריך למחוק באופן ידני:

  • אתר החדשות. הפרסום נוצר באמצעות משתמש מנהל מסד הנתונים, ורק הבעלים שלו יכול למחוק אותו, כלומר כברירת מחדל, המשתמש שיצר אותו.
  • המשתמש של קורא Datastream.
  • פרופילי החיבור של המקור והיעד ב-Datastream
  • משאבי החיבור המבודד.
  • כל משאבי הרשת שנוצרו במהלך התהליך האוטומטי, כמו רשת המשנה ומחבר הרשת.

המאמרים הבאים