יצירת מקור נתונים ב-Cloud SQL באמצעות התהליך האוטומטי

תהליך ההגדרה האוטומטי של הסטרימינג ב-Datastream מאפשר לשכפל נתונים ממכונה של Cloud SQL ל-BigQuery ישירות מדף הסקירה הכללית של המכונה. התהליך הזה תומך במקורות של Cloud SQL ל-PostgreSQL, של Cloud SQL ל-MySQL ושל Cloud SQL ל-SQL Server. ‫Datastream מגדיר באופן אוטומטי את החיבור לענן הפרטי הווירטואלי (VPC), את ההגדרות של מסד הנתונים במקור ואת המשאבים של הסטרימינג.

כדי להשתמש בתהליך האוטומטי, במכונה של Cloud SQL במקור צריכה להיות מופעלת גישה לשירותים פרטיים, והיא צריכה להשתמש בממשקי Private Service Connect. למידע נוסף על דרישות המקור, ראו לפני שמתחילים.

לפני שמתחילים

  1. מפעילים את Datastream API, את Network Connectivity API ואת Compute Engine API.
  2. מוודאים שיש לכם את ההרשאות הנדרשות לניהול זהויות והרשאות גישה (IAM) כדי ליצור ולנהל משאבים ב-Datastream. פרטים נוספים מופיעים בקטע הבא.
  3. יוצרים ומגדירים מסד נתונים של Cloud SQL כמקור לרפליקציה. מידע נוסף זמין במאמר הגדרת מקורות.
  4. מוודאים שמסד הנתונים של המקור מוגדר לשימוש בגישה לשירותים פרטיים.

  5. במכונות של Cloud SQL ל-PostgreSQL: מומלץ להפעיל רפליקציה לוגית במכונה לפני שיוצרים את הסטרים. אם לא תפעילו את השכפול הלוגי, Datastream יפעיל אותו בשבילכם, והפעולה הזו תפעיל מחדש את המכונה של המקור.

  6. במכונות של Cloud SQL ל-MySQL: מפעילים את האפשרות "שחזור מערכת מנקודה מסוימת בזמן (PITR)" במכונה של Cloud SQL ל-MySQL, ומוודאים שגרסת מסד הנתונים היא 8.0.14 ואילך. כשמשתמשים בהגדרה האוטומטית של הסטרימינג, Datastream תומך בהפעלה של שחזור מערכת מנקודה מסוימת בזמן (PITR) רק ברמת הגיבוי Standard.

  7. במכונות של Cloud SQL ל-SQL Server: ודאו ש-Datastream תומך בגרסת SQL Server שבה המכונה משתמשת.

ההרשאות הנדרשות

כדי להשתמש בתהליך האוטומטי ליצירת מקורות נתונים, אתם צריכים את התפקידים או ההרשאות הבאים בממשק של ניהול זהויות והרשאות גישה (IAM):

  • ‫serviceusage.services.enable, compute.networkAdmin להפעלת ממשקי ה-API הנדרשים ולביצוע משימות של הגדרת הרשת.
  • ‫cloudsql.admin למשימות שקשורות להגדרת המכונה.
  • ‫datastream.admin למשימות ניהול ש-Datastream מבצע בשבילכם.

הרשאות נוספות שנדרשות ל-Cloud SQL ל-PostgreSQL

  • מוודאים שנתתם גישה לכל הסכימות והטבלאות במסד הנתונים שנבחר לתפקיד postgres או cloudsqlsuperuser. כברירת מחדל, התהליך האוטומטי כולל את כל הסכימות והטבלאות במסד הנתונים, ולכן יצירת הסטרימינג תיכשל אם למשתמש מסד הנתונים שנוצר באופן אוטומטי אין הרשאות לסכימה או לטבלה כלשהי.

  • אם אתם בוחרים להתאים אישית את הגדרות הסטרימינג, המשתמש של מנהל מסד הנתונים צריך גם הרשאות GRANT לסכימה שאתם רוצים לשכפל, וכמה הרשאות נוספות למשימות ניהוליות ומבניות במסד הנתונים של המקור. מתחברים למסד הנתונים של המקור ומריצים את הפקודה הבאה:

    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
ALTER DEFAULT PRIVILEGES
IN SCHEMA "SCHEMA_NAME"
GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  • טבלאות עתידיות יתווספו אוטומטית לסטרימינג רק אם הן נוצרו על ידי המשתמש שאת פרטי החשבון שלו סיפקתם לאימות במהלך התהליך האוטומטי. אם משתמש אחר יוצר טבלה בעתיד, הוא צריך להעניק למשתמש הקורא של Datastream את ההרשאה SELECT בטבלה באופן מפורש.

יצירה והפעלה של השידור

כדי ליצור ולהתחיל שידור, מבצעים את השלבים הבאים:

המסוף

  1. נכנסים לדף הסקירה הכללית של מכונת מסד הנתונים ב-Cloud SQL.

    כניסה לדף Cloud SQL Instances

  2. בוחרים את המכונה שממנה רוצים להעביר נתונים בסטרימינג.

  3. בקטע Replicate data to BigQuery, לוחצים על Start stream.

  4. החלונית Start stream to replicate data נפתחת.

  5. במקורות של Cloud SQL ל-PostgreSQL ו-Cloud SQL ל-MySQL, בקטע Stream settings בודקים את הגדרות ברירת המחדל של הסטרימינג שאתם יוצרים. במקורות של Cloud SQL ל-SQL Server, ממשיכים לקטע התאמה אישית של הגדרות הסטרימינג.

  6. כדי ליצור ולהתחיל את השידור, לוחצים על התחלת השידור.

אם אתם צריכים לשנות את הגדרות השידור, לחצו על התאמה אישית.

התאמה אישית של הגדרות השידור

כשלוחצים על התאמה אישית, מופיע הדף התאמה אישית של הגדרות השידור. חשוב לוודא שיש לכם את ההרשאות הנדרשות כדי להתאים אישית את הגדרות הסטרימינג.

קדימה, מתחילים

  1. בדף Get started, נותנים שם לסטרימינג בשדה Stream name. מזהה ייחודי יאוכלס באופן אוטומטי.

  2. בקטע Provide the instance user account details, בוחרים את שיטת האימות:

    • אימות מסד נתונים באמצעות IAM: האפשרות הזו זמינה אם למשתמש שלכם הוקצתה זהות של חשבון משתמש בניהול זהויות והרשאות גישה (IAM). מידע נוסף זמין במאמר חשבונות משתמשים ב-IAM. אם בוחרים באפשרות הזו, צריך להקצות למשתמש באופן ידני את התפקיד cloudsqlsuperuser ואת ההרשאה CREATEROLE:

      1. נכנסים לדף Cloud SQL Instances במסוף Google Cloud .

      כניסה לדף Cloud SQL Instances

      1. בוחרים את המכונה של Cloud SQL.
      2. בתפריט הניווט, לוחצים על Cloud SQL Studio ונכנסים לחשבון.
      3. בחלונית Explorer, מריצים את השאילתה הבאה עבור המשתמש:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • אימות מובנה של מסד נתונים: מספקים את שם המשתמש והסיסמה של משתמש עם התפקיד cloudsqlsuperuser. אם בוחרים באפשרות הזו, צריך לוודא שלמשתמש יש הרשאות GRANT בטבלאות שהוא רוצה לשכפל.

  3. בודקים פרטים נוספים של השידור, כמו אזור, הצפנה ותוויות. מרחיבים את הקטע Additional stream details כדי לבצע שינויים, אם צריך.

  4. לוחצים על Continue.

הגדרת המקור

  1. בדף Configure stream source, בוחרים את מסד הנתונים שממנו רוצים לשכפל נתונים.

  2. ברשימה Objects to include נבחרים כל האובייקטים הזמינים כברירת מחדל. האובייקטים ברשימה הם האובייקטים שיש לכם את ההרשאות הנדרשות כדי להעביר בסטרימינג. כדי לשנות את האובייקטים שנבחרו, משנים את הבחירות ברשימה.

  3. בודקים את ההגדרות המתקדמות של הסטרימינג, כמו מצב מילוי חוסרים ומספר החיבורים המקסימלי למילוי חוסרים בו-זמנית. מרחיבים את הקטע Advanced stream configurations כדי להחיל שינויים, אם צריך.

  4. לוחצים על Continue.

הגדרת יעד

  1. בדף Configure destination, משנים את הגדרות היעד של BigQuery, אם צריך. מידע נוסף זמין במאמר הגדרת מידע על היעד של הסטרימינג.

יצירה והפעלה של השידור

  1. לוחצים על Create and start later כדי ליצור את הסטרימינג ולהפעיל אותו מאוחר יותר ב-Datastream, או על Start כדי ליצור את הסטרימינג ולהפעיל אותו מיד.

  2. תקבלו התראות על המשימות שמתבצעות בשבילכם באופן אוטומטי:

    • ‫Datastream יוצר את המשאבים הנדרשים של הענן הווירטואלי הפרטי, כמו טווח כתובות IP פנימיות, רשת משנה ומחבר רשת.
    • ‫Datastream מגדיר טבלאות ל-CDC, מגדיר משבצות שכפול, מגדיר פרסום לכל הטבלאות במסד הנתונים ויוצר משתמש Datastream ייעודי.
    • ‫Datastream יוצר הגדרת קישוריות פרטית ופרופילי חיבור למקור וליעד.

  3. מאשרים שרוצים ליצור את השידור או ליצור ולהתחיל אותו.

מעקב אחרי השידור

אתם יכולים לעקוב אחרי פרטי הסטרימינג הבסיסיים בדף הסקירה הכללית של מכונת המקור במסוף Google Cloud . בדף מוצג מידע כמו סטטוס הסטרימינג, שם הסטרימינג, מערך הנתונים של היעד ב-BigQuery ומזהה הפרויקט של היעד.

בדף הסקירה הכללית אפשר גם לבצע פעולות כמו הפעלה או השהיה של השידור. כדי לקבל מידע מפורט יותר על המעקב, לוחצים על שם ה-stream ועוברים ל-Datastream.

מחיקת השידור

כשמוחקים זרם שנוצר באמצעות התהליך האוטומטי, חלק מהמשאבים, כמו משבצת השכפול של PostgreSQL, נמחקים באופן אוטומטי. עם זאת, יש משאבים שצריך למחוק באופן ידני:

  • אתר החדשות. הפרסום נוצר באמצעות משתמש מנהל מסד הנתונים, ורק הבעלים שלו יכול למחוק אותו, כלומר כברירת מחדל, המשתמש שיצר אותו.
  • המשתמש של קורא Datastream.
  • פרופילי החיבור של המקור והיעד ב-Datastream
  • משאבי החיבור המבודד.
  • כל משאבי הרשת שנוצרו במהלך התהליך האוטומטי, כמו רשת המשנה ומחבר הרשת.

המאמרים הבאים