יצירת שידור

באמצעות סטרימינג ב-Datastream, אתם יכולים לשכפל שינויים בנתונים ובסכימה ממקור נתונים ל-BigQuery, לטבלאות Apache Iceberg או לקטגוריה של Cloud Storage. באשף של מסוף Google Cloud , בוחרים פרופילי חיבור ובוחרים אילו סכימות, טבלאות או אובייקטים לשכפל. אתם גם מגדירים מילוי היסטורי של נתונים חסרים לצד שכפול מתמשך.

לפני שמתחילים את הרפליקציה, אפשר לאמת את ה-stream כדי לוודא את הגדרות המקור, לאשר את הקישוריות לרשת ביעד ולבדוק את ההגדרות מקצה לקצה.

לפני שמתחילים

  • מוודאים שמסד הנתונים של המקור מוגדר לשכפול. במאמר הגדרת מקורות מוסבר מה צריך לעשות בכל אחד מסוגי המקורות הנתמכים.
  • כאן מוסבר אילו שלבים צריך לבצע כדי להגדיר את היעד שבחרתם. מידע נוסף זמין במאמר הגדרת יעדים.

הגדרת מקור הנתונים

  1. נכנסים לדף Streams במסוף Google Cloud .

    מעבר לדף Streams

  2. לוחצים על יצירת מקור נתונים.

  3. ממלאים את השדות בקטע Define stream details בדף Create stream לפי הטבלה הבאה:

    שדהתיאור
    שם מקור הנתוניםמזינים את השם המוצג של מקור הנתונים.
    מזהה מקור הנתוניםהשדה הזה מאוכלס באופן אוטומטי על ידי Datastream, על סמך שם ה-stream שהזנתם. אתם יכולים להשאיר את המזהה שנוצר אוטומטית או לשנות אותו.
    אזורבוחרים את האזור שבו מאוחסן הסטרימינג. כמו כל המשאבים, גם הסטרימינג נשמר באזור. בחירת האזור לא משפיעה על האפשרות של ה-stream להתחבר למסד הנתונים של המקור או היעד, אבל היא יכולה להשפיע על הזמינות אם יש זמן השבתה באזור. כדי לשפר את העלות והביצועים, מומלץ לשמור את כל המשאבים של ה-stream באותו אזור שבו נמצאים נתוני המקור.
    סוג המקור

    בוחרים את סוג הפרופיל שציינתם כשיצרתם פרופיל חיבור למקור. אם לא יצרתם פרופיל חיבור למסד הנתונים של המקור, אתם יכולים ליצור אותו עכשיו.

    סוג היעדבוחרים את סוג הפרופיל שציינתם כשיצרתם פרופיל חיבור ליעד ב-BigQuery או ב-Cloud Storage. אם לא יצרתם פרופיל חיבור ליעד, אתם יכולים ליצור אותו עכשיו.
    הצפנה

    כברירת מחדל, הנתונים מוצפנים באמצעות מפתח שמנוהל על ידי Google Cloud. אם אתם רוצים לנהל את ההצפנה, אתם יכולים להשתמש במפתח הצפנה בניהול הלקוח (CMEK):

    1. מסמנים את התיבה Cloud KMS key.
    2. בתפריט הנפתח Key type, בוחרים באפשרות Cloud KMS ואז בוחרים את ה-CMEK.

    אם המפתח לא מופיע, לוחצים על ENTER KEY RESOURCE NAME כדי לציין את שם המשאב של המפתח שבו רוצים להשתמש. לדוגמה, אפשר להזין projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key בשדה Key resource name ואז ללחוץ על SAVE.

  4. אפשר להשתמש בתוויות כדי לארגן את המשאבים של Datastream.

    1. כדי ליצור תווית, לוחצים על ADD LABEL ומזינים את צמד המפתח/ערך של התווית.
    2. כדי להסיר את התווית, לוחצים על סמל פח האשפה שמשמאל לשורה שמכילה את התווית.

  5. אם רוצים, מוסיפים מדיניות התראות לסטרימינג. כללי מדיניות ההתראות מגדירים מתי ואיך אתם רוצים לקבל התראות על כשלים בסטרימינג.

    1. כדי ליצור מדיניות התראות, לוחצים על Add alerting policy.
    2. הדף יצירת מדיניות התראות מופיע ב-Cloud Monitoring. בדף הזה מגדירים את מדיניות ההתראות למקרה שהסטרימינג נכשל.

    מידע נוסף על מדיניות התראות זמין במאמר ניהול מדיניות התראות שמבוססות על מדדים.

  6. בודקים את דרישות הקדם שנוצרות באופן אוטומטי כדי להבין איך צריך להכין את הסביבה לסטרימינג. הדרישות המוקדמות האלה יכולות לכלול את אופן ההגדרה של מסד הנתונים של המקור ואת אופן החיבור שלו ליעד. מומלץ להשלים את הדרישות המוקדמות האלה בשלב הזה, אבל אפשר להשלים אותן בכל שלב לפני שבודקים את השידור או מתחילים אותו. מידע נוסף על הדרישות המוקדמות האלה זמין במאמר מקורות.

  7. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג מסד הנתונים של המקור.

מציינים מידע על פרופיל החיבור של המקור

  1. אם יצרתם פרופיל חיבור למקור, בחרו אותו מרשימת פרופילי החיבור.

    אם לא יצרתם פרופיל חיבור למקור, לוחצים על CREATE CONNECTION PROFILE בתחתית הרשימה הנפתחת, ואז מבצעים את אותם השלבים כמו ביצירת פרופילי חיבור.

  2. לוחצים על RUN TEST כדי לוודא שמסד הנתונים של המקור ו-Datastream יכולים לתקשר זה עם זה.

    אם הבדיקה נכשלת, מופיעה הבעיה שמשויכת לפרופיל החיבור. בדף אבחון בעיות מפורטים שלבים לפתרון בעיות. מבצעים את השינויים הנדרשים כדי לפתור את הבעיה, ואז בודקים שוב.

  3. לוחצים על המשך. החלונית Configure stream source בדף Create stream מופיעה.

הגדרת מידע על מסד הנתונים של המקור לסטרימינג

הגדרת מסד נתונים של PostgreSQL כמקור

  1. מגדירים את מאפייני הרפליקציה של מסד הנתונים של מקור PostgreSQL. בקטע Replication properties, מציינים את המאפיינים הבאים:
    1. בשדה Replication slot name, מזינים את שם המשבצת שיצרתם במיוחד לסטרימינג הזה. שרת מסד הנתונים משתמש במשבצת הזו כדי לשלוח אירועים ל-Datastream.
    2. בשדה Publication name, מזינים את שם הפרסום שיצרתם במסד הנתונים. פרסום הוא קבוצה של כל הטבלאות שרוצים לשכפל את השינויים שלהן באמצעות הסטרימינג הזה.
  2. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas.
    • אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables ואז מסמנים את התיבות של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של הטבלאות והסכימות שאתם רוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את הסכימות והטבלאות שאתם רוצים ש-Datastream ישלוף. אם במסד הנתונים יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  3. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות וסידור באשכולות בטבלאות:
    1. בכל טבלה שרוצים להגדיר בה חלוקה למחיצות או אשכולות, לוחצים על Select columns.
    2. כדי להגדיר חלוקה למחיצות, בקטע Partitioning בוחרים אחת מהאפשרויות הבאות:
      • No partitioning: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן הטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן: לפי שעה, לפי יום, לפי חודש או לפי שנה. רמת הפירוט שמוגדרת כברירת מחדל היא "יומי".
      • ‫Partitioning by field: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לחלק את הטבלה למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. למידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה למחיצות שזמינים, קראו את המאמר הגדרת חלוקה למחיצות ואשכולות ביעד BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter. אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות בטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר הגדרת דרישות למסנן מחיצות.

    3. כדי להגדיר אשכולות, בקטע Clustering בוחרים את השדות שלפיהם רוצים ליצור אשכולות בטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכולות קובע את סדר המיון של הנתונים. אם לא תגדירו הגדרות אשכולות לטבלה, Datastream ישתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכולות ב-BigQuery.
    4. לוחצים על שמירה כדי לשמור את ההגדרות.

      5. מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

  4. אם רוצים, מרחיבים את הצומת Select objects to exclude. בשדה Objects to exclude, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהסטרימינג.
  5. אם רוצים, מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד, בוחרים באפשרות אוטומטי. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שאתם רוצים להגביל את Datastream מלמלא אותם ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  6. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מסד נתונים של MySQL כמקור

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas.
    • אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables ואז מסמנים את התיבות של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של הטבלאות והסכימות שאתם רוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את הסכימות והטבלאות שאתם רוצים ש-Datastream ישלוף. אם במסד הנתונים יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  2. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות וסידור באשכולות בטבלאות:
    1. בכל טבלה שרוצים להגדיר בה חלוקה למחיצות או אשכולות, לוחצים על Select columns.
    2. כדי להגדיר חלוקה למחיצות, בקטע Partitioning בוחרים אחת מהאפשרויות הבאות:
      • No partitioning: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן הטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן: לפי שעה, לפי יום, לפי חודש או לפי שנה. רמת הפירוט שמוגדרת כברירת מחדל היא "יומי".
      • ‫Partitioning by field: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לחלק את הטבלה למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. למידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה למחיצות שזמינים, קראו את המאמר הגדרת חלוקה למחיצות ואשכולות ביעד BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter. אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות בטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר הגדרת דרישות למסנן מחיצות.

    3. כדי להגדיר אשכולות, בקטע Clustering בוחרים את השדות שלפיהם רוצים ליצור אשכולות בטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכולות קובע את סדר המיון של הנתונים. אם לא תגדירו הגדרות אשכולות לטבלה, Datastream ישתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכולות ב-BigQuery.
    4. לוחצים על שמירה כדי לשמור את ההגדרות.

      5. מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

  3. אם רוצים, מרחיבים את הצומת Select objects to exclude. בשדה Objects to exclude, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהסטרימינג.
  4. מציינים את שיטת ה-CDC של הסטרימינג:
    • ‫GTID (Global Transaction IDs)-based replication: בוחרים בשיטה הזו אם רוצים ש-Datastream יתמוך ביתירות כשל ויספק רפליקציה חלקה, בלי קשר לשינויים באשכול מסד הנתונים.
    • רפליקציה מבוססת-Binlog: בוחרים בשיטה הזו כדי לקרוא ולשכפל שינויים ישירות מקובצי היומן הבינארי של מכונה נבחרת של מסד נתונים. אי אפשר להעביר סטרימינג פעיל למכונה אחרת של מקור או לרפליקה באמצעות שיטת ה-CDC הזו.
  5. אם רוצים, מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד, בוחרים באפשרות אוטומטי. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שאתם רוצים להגביל את Datastream מלמלא אותם ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  6. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מסד נתונים של Oracle כמקור

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas.
    • אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables ואז מסמנים את התיבות של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של הטבלאות והסכימות שאתם רוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את הסכימות והטבלאות שאתם רוצים ש-Datastream ישלוף. אם במסד הנתונים יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  2. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות וסידור באשכולות בטבלאות:
    1. בכל טבלה שרוצים להגדיר בה חלוקה למחיצות או אשכולות, לוחצים על Select columns.
    2. כדי להגדיר חלוקה למחיצות, בקטע Partitioning בוחרים אחת מהאפשרויות הבאות:
      • No partitioning: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן הטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן: לפי שעה, לפי יום, לפי חודש או לפי שנה. רמת הפירוט שמוגדרת כברירת מחדל היא "יומי".
      • ‫Partitioning by field: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לחלק את הטבלה למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. למידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה למחיצות שזמינים, קראו את המאמר הגדרת חלוקה למחיצות ואשכולות ביעד BigQuery.

      אופציונלי: בוחרים באפשרות Partitioning filter. אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות בטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר הגדרת דרישות למסנן מחיצות.

    3. כדי להגדיר אשכולות, בקטע Clustering בוחרים את השדות שלפיהם רוצים ליצור אשכולות בטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכולות קובע את סדר המיון של הנתונים. אם לא תגדירו הגדרות אשכולות לטבלה, Datastream ישתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכולות ב-BigQuery.
    4. לוחצים על שמירה כדי לשמור את ההגדרות.

      5. מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

  3. אם רוצים, מרחיבים את הצומת Select objects to exclude. בשדה Objects to exclude, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהסטרימינג.
  4. מציינים את שיטת ה-CDC של הסטרימינג:
    • ‫LogMiner: בוחרים בשיטה הזו כדי לשלוח שאילתות ליומני Redo שהועברו לארכיון באמצעות LogMiner API. ‫LogMiner תומך ברוב האפשרויות שזמינות ל-Oracle, כמו אפשרויות הצפנה ודחיסה.
    • קורא בינארי (גרסת טרום-השקה (Preview)): בוחרים בשיטה הזו כדי לחלץ שינויים ישירות מיומני Oracle. כך אפשר לשכפל מהר יותר מסדי נתונים גדולים של Oracle, וגם לצמצם את זמן האחזור ואת התקורה. כשבוחרים באפשרות הזו, מוצג תפריט נפתח נוסף. בוחרים איך לגשת לקובצי היומן של Oracle:
      • ניהול אחסון אוטומטי (ASM): בוחרים באפשרות הזו אם מסד הנתונים משתמש ב-ASM. מוודאים שבפרופיל החיבור של המקור סימנתם את התיבה Enable ASM access for binary reader ומילאתם את הפרטים של מכונת ה-ASM.
      • ספריות של מסדי נתונים: בחרו באפשרות הזו אם אתם לא משתמשים ב-ASM לאחסון קובצי היומן. אם בוחרים בספריות של מסדי נתונים, צריך לציין את השמות של יומן ה-Redo ושל ספריית היומנים שהועברו לארכיון.
  5. אופציונלי: מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד, בוחרים באפשרות אוטומטי. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שאתם רוצים להגביל את Datastream מלמלא אותם ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  6. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מסד נתונים של SQL Server כמקור

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas.
    • אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables ואז מסמנים את התיבות של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של הטבלאות והסכימות שאתם רוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את הסכימות והטבלאות שאתם רוצים ש-Datastream ישלוף. אם במסד הנתונים יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  2. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות וסידור באשכולות בטבלאות:
    1. בכל טבלה שרוצים להגדיר בה חלוקה למחיצות או אשכולות, לוחצים על Select columns.
    2. כדי להגדיר חלוקה למחיצות, בקטע Partitioning בוחרים אחת מהאפשרויות הבאות:
      • No partitioning: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן הטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן: לפי שעה, לפי יום, לפי חודש או לפי שנה. רמת הפירוט שמוגדרת כברירת מחדל היא "יומי".
      • ‫Partitioning by field: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לחלק את הטבלה למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. למידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה למחיצות שזמינים, קראו את המאמר הגדרת חלוקה למחיצות ואשכולות ביעד BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter. אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות בטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר הגדרת דרישות למסנן מחיצות.

    3. כדי להגדיר אשכולות, בקטע Clustering בוחרים את השדות שלפיהם רוצים ליצור אשכולות בטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכולות קובע את סדר המיון של הנתונים. אם לא תגדירו הגדרות אשכולות לטבלה, Datastream ישתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכולות ב-BigQuery.
    4. לוחצים על שמירה כדי לשמור את ההגדרות.

      5. מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

  3. אם רוצים, מרחיבים את הצומת Select objects to exclude. בשדה Objects to exclude, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהסטרימינג.
  4. מציינים את שיטת ה-CDC של הסטרימינג:
    • יומני עסקאות: בוחרים בשיטה הזו כדי לעבד שינויים ישירות מיומני מסד הנתונים. השיטה הזו מספקת את הביצועים הטובים ביותר והיא יעילה יותר, אבל נדרשים שלבי הגדרה נוספים.
    • טבלאות שינויים: בוחרים בשיטה הזו כדי לעבד שינויים מטבלאות שינויים ייעודיות. קל יותר להגדיר את השיטה הזו ויש לה פחות מגבלות, אבל היא תומכת בנפח נתונים נמוך יותר ויוצרת עומס גבוה יותר על מסד הנתונים מאשר השיטה של יומני העסקאות.
  5. אם רוצים, מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד, בוחרים באפשרות אוטומטי. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שאתם רוצים להגביל את Datastream מלמלא אותם ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  6. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת ארגון מקור ב-Salesforce

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את האובייקטים והשדות בארגון שרוצים ש-Datastream יעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל האובייקטים, בוחרים באפשרות All objects.
    • אם רוצים ש-Datastream יעביר רק אובייקטים ספציפיים, בוחרים באפשרות Specific objects ואז מסמנים את התיבות של האובייקטים שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של האובייקטים שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את האובייקטים שרוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים, בפורמט [object].[field]. אם במסד הנתונים יש מספר גדול של אובייקטים, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  2. מגדירים את ערך מרווח הזמן בין הבדיקות בדקות. ‫Datastream משתמש בערך הזה כדי לבדוק אם יש שינויים בנתונים בארגון שלכם ב-Salesforce. ככל שהערך גבוה יותר, כך העלות והעומס על הארגון נמוכים יותר. ככל שהערך נמוך יותר, כך הנתונים ביעד עדכניים יותר.
  3. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות וסידור באשכולות לאובייקטים:
    1. בכל אובייקט שרוצים להגדיר לו חלוקה למחיצות או אשכולות, לוחצים על Select fields.
    2. כדי להגדיר חלוקה למחיצות, בקטע Partitioning בוחרים אחת מהאפשרויות הבאות:
      • No partitioning: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות של האובייקטים.
      • חלוקה למחיצות לפי זמן הטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן: לפי שעה, לפי יום, לפי חודש או לפי שנה. רמת הפירוט שמוגדרת כברירת מחדל היא "יומי".
      • חלוקה למחיצות לפי שדה: כשבוחרים באפשרות הזו, צריך לבחור את שדה המקור שלפיו רוצים לחלק את האובייקט למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק שדות עם סוגי נתונים נתמכים. למידע על סוגי נתונים נתמכים של מקורות וסוגי חלוקה למחיצות שזמינים, קראו את המאמר חלוקה למחיצות וקיבוץ של טבלאות ב-BigQuery.

      אופציונלי: בוחרים באפשרות Partitioning filter. אם בוחרים באפשרות הזו, צריך להגדיר מסנן מחיצה בכל השאילתות לאובייקט הזה. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר הגדרת דרישות למסנן מחיצות.

    3. כדי להגדיר אשכולות, בקטע Clustering בוחרים את השדות שלפיהם רוצים ליצור אשכולות של האובייקט. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכולות קובע את סדר המיון של הנתונים. אם לא תגדירו את הגדרות האשכולות לאובייקט, Datastream ישתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מאובייקט המקור כמפתחות האשכולות ב-BigQuery.
    4. לוחצים על שמירה כדי לשמור את ההגדרות.

      5. מידע נוסף על חלוקה למחיצות וסידור באשכולות זמין במאמר חלוקה למחיצות וסידור באשכולות של טבלאות ב-BigQuery.

  4. אם רוצים, מרחיבים את הצומת Select objects to exclude. בשדה Objects to exclude, מזינים את האובייקטים והשדות בארגון המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהסטרימינג.
  5. אם רוצים, מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • בוחרים באפשרות אוטומטי כדי לשכפל את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את האובייקטים בארגון המקור שרוצים להגביל את Datastream מלמלא אותם אוטומטית ביעד.
    • בוחרים באפשרות ידני כדי לשכפל רק שינויים בנתונים ביעד.
  6. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מופע מקור ב-Salesforce Marketing Cloud (גרסת טרום-השקה (Preview))

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את האובייקטים במכונה שרוצים ש-Datastream יעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל האובייקטים, בוחרים באפשרות All objects.
    • אם רוצים ש-Datastream יעביר רק אובייקטים ספציפיים, בוחרים באפשרות Specific objects ואז מסמנים את התיבות של האובייקטים שרוצים ש-Datastream ישלוף.
    • אם רוצים לספק הגדרה טקסטואלית של האובייקטים שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את האובייקטים שרוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים. אם במסד הנתונים יש מספר גדול של אובייקטים, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהאובייקטים לא ייכללו ברשימת האובייקטים לשליפה.
  2. מגדירים את ערך מרווח הזמן בין הבדיקות בדקות. ‫Datastream משתמש בערך הזה כדי לבדוק אם יש שינויים בנתונים של אובייקטים שתומכים בסנכרון מצטבר במופע של Salesforce Marketing Cloud. אפשר להשתמש בערך בטווח שבין 5 ל-1440.
  3. מגדירים את הערך של מרווח הזמן בין דגימות לרענון מלא בדקות. ‫Datastream משתמש בערך הזה כדי לבצע רענון מלא תקופתי של אובייקטים שלא תומכים בסנכרון מצטבר, כמו תוספי נתונים. אפשר להשתמש בערך בטווח שבין 60 ל-1440.
  4. אם רוצים, מרחיבים את הצומת Show advanced options.
  5. בשדה Objects to exclude, מזינים את האובייקטים במכונה של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא לא נכלל בסטרימינג.
  6. בקטע Choose backfill mode for historical data, בוחרים את מצב המילוי החסר:
    • בוחרים באפשרות אוטומטי כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את האובייקטים במסד הנתונים של המקור שרוצים להגביל את Datastream מלמלא אותם ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  7. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מכונה של ServiceNow כמקור (גרסת טרום-השקה (Preview))

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את הטבלאות והשדות במופע של ServiceNow שאתם רוצים ש-Datastream יעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל הטבלאות, בוחרים באפשרות All objects.
    • אם רוצים ש-Datastream יעביר רק טבלאות ספציפיות, בוחרים באפשרות Specific objects ואז מסמנים את התיבות של הטבלאות שרוצים ש-Datastream ישלוף.
    • אם רוצים לספק הגדרה טקסטואלית של הטבלאות שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את הטבלאות שרוצים ש-Datastream ישלוף. מזינים את הטבלאות כרשימה מופרדת בפסיקים, בפורמט [table].[field].
  2. מגדירים את ערך מרווח הזמן בין הבדיקות בדקות. ‫Datastream משתמש בערך הזה כדי לבדוק אם יש שינויים בנתונים במופע של ServiceNow. ככל שהערך גבוה יותר, כך העלות והעומס על המכונה נמוכים יותר. ככל שהערך נמוך יותר, כך הנתונים ביעד עדכניים יותר.
  3. אם רוצים, בשדה Objects to exclude מזינים את הטבלאות והשדות במכונה של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, Datastream מחריג את האובייקט מהזרם.
  4. אופציונלי: בקטע Choose backfill mode for historical data, בוחרים אחת מהאפשרויות הבאות:
    • בוחרים באפשרות אוטומטי כדי לשכפל את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות במכונה של המקור שרוצים להגביל את Datastream מלמלא אותן אוטומטית ביעד.
    • בוחרים באפשרות ידני כדי לשכפל רק את השינויים בנתונים ליעד.
  5. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מסד נתונים של MongoDB כמקור

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את מסדי הנתונים והאוספים שרוצים ש-Datastream יעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל האוספים, בוחרים באפשרות All databases and collections.
    • אם רוצים ש-Datastream יעביר רק אוספים ספציפיים, בוחרים באפשרות Specific databases and collections ואז מסמנים את התיבות של האוספים שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של האוספים שאתם רוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את האוספים שאתם רוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים, בפורמט [collection].[field]. אם במסד הנתונים יש מספר גדול של אובייקטים, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  2. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות של האוספים:
    1. בכל אוסף שרוצים להגדיר בו חלוקה למחיצות, לוחצים על Select fields.
    2. בקטע Partitioning, בוחרים אחת מהאפשרויות הבאות:
      • No partitioning: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות של האוספים.
      • חלוקה למחיצות לפי זמן הטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן: לפי שעה, לפי יום, לפי חודש או לפי שנה. רמת הפירוט שמוגדרת כברירת מחדל היא "יומי".

      אופציונלי: בוחרים באפשרות Partitioning filter. אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות באוסף הזה. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר הגדרת דרישות למסנן מחיצות.

    3. לוחצים על שמירה כדי לשמור את ההגדרות.

      4. מידע נוסף על חלוקה למחיצות וסידור באשכולות זמין במאמר חלוקה למחיצות וסידור באשכולות של טבלאות ב-BigQuery.

  3. אם רוצים, מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • בוחרים באפשרות אוטומטי כדי לשכפל את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את האובייקטים בארגון המקור שרוצים להגביל את Datastream מלמלא אותם אוטומטית ביעד.
    • בוחרים באפשרות ידני כדי לשכפל רק שינויים בנתונים ביעד.
  4. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מסד נתונים מקורי ב-Spanner

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas.
    • אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables ואז מסמנים את התיבות של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של הטבלאות והסכימות שאתם רוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את הסכימות והטבלאות שאתם רוצים ש-Datastream ישלוף. אם במסד הנתונים יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים לשליפה.
  2. בשדה Change stream name, מזינים את השם של סנכרון שינויים בזרמי נתונים ב-Spanner שיצרתם. ‫Datastream קורא את סנכרון השינויים בזרמי הנתונים כדי לשכפל את השינויים ממסד הנתונים של המקור.
  3. אם רוצים, בשדה Objects to exclude מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא לא נכלל בסטרימינג.
  4. בקטע Choose backfill mode for historical data, בוחרים את מצב המילוי החסר:
    • בוחרים באפשרות אוטומטי כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות והסכימות במסד הנתונים של המקור שאתם רוצים להגביל את Datastream מלמלא אותם ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  5. אפשר לציין את המספר המקסימלי של משימות CDC ומשימות מילוי חוסרים בו-זמניות בשדות המתאימים.
  6. בתפריט הנפתח RPC priority, בוחרים את העדיפות של הקריאה לשירות מרוחק לבקשות Spanner:
    • נמוכה
    • בינונית
    • גבוהה
  7. בשדה FGAC role, מציינים את התפקיד של בקרת הגישה המפורטת לבקשות Spanner.
  8. מסמנים את התיבה Backfill Data Boost enabled אם רוצים להשתמש ב-Data Boost למשימות מילוי חוסרים. כדי להשתמש באפשרות הזו, צריך להפעיל את Data Boost במסד הנתונים. מידע נוסף זמין במאמר סקירה כללית על Data Boost.
  9. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת סביבת מקור של Dataverse (גרסת טרום-השקה (Preview))

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את האובייקטים בסביבת Dataverse ש-Datastream יכול להעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל האובייקטים הרגילים, בוחרים באפשרות All objects.
    • אם רוצים ש-Datastream יעביר רק אובייקטים סטנדרטיים ספציפיים, בוחרים באפשרות Specific objects ואז מסמנים את התיבות של האובייקטים שרוצים ש-Datastream ישלוף.
    • כדי לספק הגדרה טקסטואלית של האובייקטים שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את האובייקטים שרוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים, בפורמט [OBJECT_NAME]. אין תמיכה בתווים כלליים לחיפוש.
  2. בקטע Define polling interval, מגדירים את התדירות שבה Datastream יבדוק אם יש שינויים בנתונים ב-Dataverse. כדי למזער את העלויות ולהימנע מבעיות בביצועים, כדאי לאזן בין הצורך בנתונים כמעט בזמן אמת לבין שימוש יעיל ב-API. הערך שמזינים צריך להיות בטווח של 5 עד 1440 דקות.
  3. אם רוצים, מרחיבים את הצומת Select objects to exclude. בשדה Objects to exclude, מזינים את האובייקטים בסביבת המקור של Dataverse שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהסטרימינג.
  4. אם רוצים, מרחיבים את הצומת Choose backfill mode for historical data ובוחרים אחת מהאפשרויות הבאות:
    • בוחרים באפשרות אוטומטי כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את הטבלאות בסביבת המקור של Dataverse שרוצים להגביל את Datastream מלמלא אותן ביעד.
    • בוחרים באפשרות Manual כדי להעביר רק שינויים בנתונים ליעד.
  5. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

הגדרת מכונה של Workday כמקור (גרסת טרום-השקה (Preview))

  1. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לציין את האובייקטים במכונה שרוצים ש-Datastream יעביר ליעד.
    • אם רוצים ש-Datastream יעביר את כל האובייקטים, בוחרים באפשרות All objects.
    • אם רוצים ש-Datastream יעביר רק אובייקטים ספציפיים, בוחרים באפשרות Specific objects ואז מסמנים את התיבות של האובייקטים שרוצים ש-Datastream ישלוף. אם רוצים לכלול רק עמודות ספציפיות של אובייקט, לוחצים על קביעת הגדרות לצד האובייקט. עמודות שביטלתם את הסימון שלהן לא ייכללו בזרם.
    • אם רוצים לספק הגדרה טקסטואלית של האובייקטים שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom, ואז בשדה Object matching criteria מזינים את האובייקטים שרוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים. אם במכונה יש מספר גדול של אובייקטים, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהאובייקטים לא ייכללו ברשימת האובייקטים לשליפה.
  2. מגדירים את ערך מרווח הזמן בין הבדיקות בדקות. ‫Datastream משתמש בערך הזה כדי לבדוק אם יש שינויים בנתונים במופע של Workday. אפשר להשתמש בערך בטווח שבין 5 ל-1440 .
  3. מגדירים את הערך של מרווח הזמן בין דגימות לרענון מלא בדקות. ‫Datastream משתמש בערך הזה כדי לבצע רענון מלא תקופתי של אובייקטים שלא תומכים בסנכרון מצטבר, כמו תוספי נתונים. אפשר להשתמש בערך בטווח שבין 60 ל-1440 דקות.
  4. אם רוצים, מרחיבים את הצומת Show advanced options.
  5. בשדה Objects to exclude, מזינים את האובייקטים במכונה של המקור שרוצים להגביל את Datastream מלשלוף. לרשימה Objects to exclude יש עדיפות על פני הרשימה Objects to include. אם אובייקט עומד בקריטריונים גם של רשימת ההכללה וגם של רשימת ההחרגה, הוא לא נכלל בסטרימינג.
  6. בקטע Choose backfill mode for historical data, בוחרים את מצב המילוי החסר:
    • בוחרים באפשרות אוטומטי כדי להעביר את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill, מזינים את האובייקטים במכונה של המקור שרוצים להגביל את Datastream מלמלא אותם אוטומטית ביעד.
    • בוחרים באפשרות ידני כדי להעביר ליעד רק את השינויים בנתונים.
  7. לוחצים על המשך. החלונית Define connection profile בדף Create stream מופיעה בהתאם לסוג היעד.

בוחרים פרופיל חיבור ליעד

  1. אם יצרתם פרופיל חיבור ליעד, בחרו אותו מרשימת פרופילי החיבור.

    אם לא יצרתם פרופיל חיבור ליעד, אתם יכולים ליצור אותו בלחיצה על CREATE CONNECTION PROFILE בתחתית הרשימה הנפתחת, ואז לבצע את אותם השלבים כמו ביצירת פרופילי חיבור.

  2. לוחצים על המשך. מופיע החלונית Configure stream destination בדף Create stream.

הגדרת מידע על היעד של מקור הנתונים

בקטע הזה מוסבר איזה מידע צריך לספק כדי להגדיר את היעד ב-BigQuery או ב-Cloud Storage.

יעד ב-BigQuery

  1. בקטע Specify how Datastream should stream into a BigQuery dataset, בוחרים אחת מהאפשרויות הבאות בתפריט הנפתח Schema grouping:

    • קבוצת נתונים לכל סכימה: Datastream יוצר קבוצת נתונים ב-BigQuery לכל סכימת מקור, על סמך שם הסכימה.

      אם בוחרים באפשרות הזו, Datastream יוצר מערך נתונים בפרויקט שמכיל את מקור הנתונים לכל סכימה במסד הנתונים של המקור.

      בנוסף, אם בוחרים באפשרות מערך נתונים לכל סכימה, צריך לספק את הפרטים הבאים:

      1. בקטע Location type, מציינים איפה רוצים לאחסן את הנתונים ב-BigQuery. בוחרים באפשרות Region כדי לציין מיקום גיאוגרפי אחד, או באפשרות Multi-region כדי לציין אזור גדול יותר שמכיל מספר אזורים. אם אתם רוצים לשפר את העלויות והביצועים, בחרו באפשרות Region והשאירו את מערכי הנתונים לצד משאבים אחרים ב- Google Cloud שאתם מנהלים. כדי ליהנות ממכסות גדולות יותר, אפשר לבחור באפשרות Multi-region ולתת ל-BigQuery להשתמש בכמה אזורים בתוך קבוצה מסוימת. כשבוחרים באפשרות Region, השדה מוגדר כברירת מחדל לאזור שבחרתם בשביל הסטרימינג.
      2. (אופציונלי) בשדה Dataset prefix, מגדירים קידומת למערך הנתונים שנוצר על ידי הסטרימינג. המחרוזת שאתם מציינים מתווספת לשם הסכימה של המקור. לדוגמה, אם הסכימה נקראת <mySchema>, ואתם מגדירים את הקידומת של מערך הנתונים בתור <myPrefix>, Datastream יוצר מערך נתונים בשם <myPrefix><mySchema>.
      3. מרחיבים את הקטע הצגת אפשרויות הצפנה מתקדמות.

      4. כדי לציין איך אתם רוצים שהנתונים יוצפנו ב-BigQuery, אתם צריכים לבחור מפתח הצפנה בניהול Google או מפתח הצפנה בניהול הלקוח (CMEK).

    • ‫Single dataset for all schemas: ‏Datastream יוצר את כל הטבלאות בתוך מערך הנתונים הקיים ב-BigQuery שציינתם. כל טבלה שנוצרת על ידי Datastream נקראת בשילוב של שם הסכימה של המקור ושם הטבלה, וביניהם קו תחתון (לדוגמה, <mySchemaName>_<myTableName>). מערכי הנתונים הזמינים מקובצים לפי אזור. אפשר גם ליצור קבוצת נתונים חדשה.

  2. מציינים את מצב הכתיבה של הסטרימינג. בוחרים את מצב הכתיבה כדי להגדיר איך הנתונים נכתבים ומעובדים ב-BigQuery:

    • מיזוג: בוחרים באפשרות הזו אם רוצים שהנתונים יסונכרנו עם המקור.
    • הוספה בלבד: בוחרים באפשרות הזו אם רוצים לשמור את כל הנתונים ההיסטוריים של אירועי השינויים.

  3. מציינים את מגבלת ההתיישנות של הנתונים. האפשרות הזו זמינה רק אם בוחרים במצב מיזוג בשלב הקודם. כדי לאזן בין הביצועים והעלות של השאילתות ב-BigQuery לבין עדכניות הנתונים, אתם יכולים לבחור מגבלה. ‫BigQuery מחיל את השינויים ברקע באופן שוטף, או בזמן הרצת השאילתה, בהתאם למגבלת העדכניות. אם הנתונים עדכניים יותר, יכול להיות שעלויות העיבוד ב-BigQuery יהיו גבוהות יותר.

  4. לוחצים על המשך. מופיעה החלונית Review stream details and create בדף Create stream.

יעד של טבלאות Apache Iceberg

  1. בקטע Specify how Datastream should stream into a BigQuery dataset, בוחרים איך Datastream ייצור סכימות וטבלאות חדשות מהתפריט הנפתח Schema grouping:

    • קבוצת נתונים לכל סכימה: Datastream יוצר קבוצת נתונים ב-BigQuery לכל סכימת מקור, על סמך שם הסכימה.

      אם בוחרים באפשרות הזו, Datastream יוצר מערך נתונים בפרויקט שמכיל את מקור הנתונים לכל סכימה במסד הנתונים של המקור.

      בנוסף, אם בוחרים באפשרות מערך נתונים לכל סכימה, צריך לספק את הפרטים הבאים:

      1. בקטע Location type, מציינים איפה רוצים לאחסן את הנתונים ב-BigQuery. בוחרים באפשרות Region כדי לציין מיקום גיאוגרפי אחד, או באפשרות Multi-region כדי לציין אזור גדול יותר שמכיל מספר אזורים. אם אתם רוצים לשפר את העלויות והביצועים, בחרו באפשרות Region והשאירו את מערכי הנתונים לצד משאבים אחרים ב- Google Cloud שאתם מנהלים. כדי ליהנות ממכסות גדולות יותר, אפשר לבחור באפשרות Multi-region ולתת ל-BigQuery להשתמש בכמה אזורים בתוך קבוצה מסוימת. כשבוחרים באפשרות Region, השדה מוגדר כברירת מחדל לאזור שבחרתם בשביל הסטרימינג.
      2. (אופציונלי) בשדה Dataset prefix, מגדירים קידומת למערך הנתונים שנוצר על ידי הסטרימינג. המחרוזת שאתם מציינים מתווספת לשם הסכימה של המקור. לדוגמה, אם הסכימה נקראת <mySchema>, ואתם מגדירים את הקידומת של מערך הנתונים בתור <myPrefix>, Datastream יוצר מערך נתונים בשם <myPrefix><mySchema>.
      3. מרחיבים את הקטע הצגת אפשרויות הצפנה מתקדמות.

      4. כדי לציין איך אתם רוצים שהנתונים יוצפנו ב-BigQuery, אתם צריכים לבחור מפתח הצפנה בניהול Google או מפתח הצפנה בניהול הלקוח (CMEK).

    • ‫Single dataset for all schemas: ‏Datastream יוצר את כל הטבלאות בתוך מערך הנתונים הקיים ב-BigQuery שציינתם. כל טבלה שנוצרת על ידי Datastream נקראת בשילוב של שם הסכימה של המקור ושם הטבלה, וביניהם קו תחתון (לדוגמה, <mySchemaName>_<myTableName>). מערכי הנתונים הזמינים מקובצים לפי אזור. אפשר גם ליצור קבוצת נתונים חדשה.

  2. בקטע Define Datastream connection to Apache Iceberg tables, ממלאים את הפרטים הבאים:

    • בתפריט הנפתח Connection ID, בוחרים את המזהה של החיבור ל-BigQuery שיצרתם ושבו אתם רוצים להשתמש בסטרימינג. למידע על יצירת חיבור למשאבים ב-Cloud ב-BigQuery, קראו את המאמר הגדרת טבלאות Apache Iceberg ב-BigQuery.

    • מזינים או בוחרים את כתובת ה-URI של הקטגוריה שיצרתם ב-Cloud Storage. למידע על יצירת קטגוריה של Cloud Storage, ראו יצירת קטגוריה.

  3. בודקים את פורמט הקובץ ואת פורמט הטבלה. ‫Datastream תומך בפורמט הקובץ Parquet ובפורמט הטבלה Iceberg.

  4. בודקים את מצב הכתיבה של הסטרימינג. ‫Datastream תומך רק במצב הכתיבה Append-only כשמעבירים בסטרימינג לטבלאות Apache Iceberg.

  5. לוחצים על המשך. מופיעה החלונית Review stream details and create בדף Create stream.

יעד ב-Cloud Storage

  1. בשדה Stream path prefix, אפשר להזין את התיקייה של קטגוריית היעד שאליה Datastream יעביר סכימות, טבלאות ונתונים ממסד נתונים של מקור.

    לדוגמה, אם רוצים ש-Datastream יעביר נתונים ממסד הנתונים של המקור לתיקייה /root/example בקטגוריית היעד, מזינים את הערך /root/example בשדה Stream path prefix.

  2. בשדה Output format, בוחרים את הפורמט של הקבצים שנכתבים ב-Cloud Storage.

  3. זה שינוי אופציונלי. אם בוחרים בפורמט JSON, מופיעות שתי תיבות סימון:

    1. Include a Unified Types schema file in the file path: אם מסמנים את התיבה הזו, Datastream כותב שני קבצים ב-Cloud Storage: קובץ נתונים בפורמט JSON וקובץ סכימה בפורמט Avro. שם קובץ הסכימה זהה לשם של קובץ הנתונים, עם הסיומת .schema. אם לא מסמנים את התיבה הזו, Datastream כותב רק את קובץ הנתונים בפורמט JSON ב-Cloud Storage. כברירת מחדל, תיבת הסימון הזו לא מסומנת.
    2. הפעלת דחיסת gzip: אם מסמנים את התיבה הזו, Datastream משתמש בכלי gzip כדי לדחוס את הקבצים ש-Datastream כותב ב-Cloud Storage. אם לא מסמנים את התיבה הזו, Datastream כותב את הקבצים ב-Cloud Storage בלי לדחוס אותם. כברירת מחדל, תיבת הסימון הזו מסומנת.

  4. לוחצים על המשך. מופיעה החלונית Review stream details and create בדף Create stream.

יצירת השידור

  1. מאמתים את הפרטים של ה-stream ושל פרופילי החיבור של המקור והיעד שבהם ה-stream ישתמש כדי להעביר נתונים ממסד נתונים של מקור ליעד.

  2. לוחצים על הפעלת אימות כדי לאמת את השידור. באימות של סטרימינג, Datastream בודק שהמקור מוגדר כמו שצריך, מוודא שהסטרימינג יכול להתחבר גם למקור וגם ליעד, ומאמת את ההגדרה מקצה לקצה של הסטרימינג.

    1. אם מסד הנתונים של המקור הוא Oracle, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      תוקף רשימת האובייקטיםDatastream מוודא שרשימת ההחרגות לא כוללת את רשימת ההכללות.
      קישוריות של מנהרת SSH להעברה‫Datastream מוודא שהוא יכול להתחבר ליעד מבוצר באמצעות מנהרת SSH להעברה.
      קישוריות למסד נתונים של Oracle‫Datastream מוודא שהוא יכול להתחבר למסד הנתונים של Oracle במקור.
      הרשאות משתמשים ב-Oracle‫Datastream מוודא שלמשתמש שבאמצעותו הוא מתחבר למסד הנתונים של המקור יש את כל ההרשאות הנדרשות כדי לאחזר סכימות, טבלאות ונתונים ממסד הנתונים, כך ש-Datastream יוכל להעביר את המידע הזה בסטרימינג ליעד.
      הגדרת מצב הרישום ביומן‫Datastream מוודא שמצב הרישום ביומן של מסד הנתונים של Oracle מוגדר ל-ARCHIVELOG.
      הגדרת רישום משלים ביומן‫Datastream מוודא שרישום משלים ביומן מופעל בטבלאות של מסד הנתונים שמועברות בסטרימינג מהמקור ליעד.
      הגדרת Oracle CDC‫Datastream מוודא ששיטת ה-CDC שבחרתם תואמת להגדרות של מסד הנתונים.
      הגדרת קובצי יומן של ארכיון‫Datastream מוודא שיומן הארכיון מוגדר במקור, ושקובצי יומן הארכיון קיימים.
      הרשאות ב-Cloud Storage (ליעדים ב-Cloud Storage) ‫Datastream מוודא שיש לו את ההרשאות הנדרשות כדי לכתוב לקטגוריית היעד ב-Cloud Storage.

    2. אם מסד הנתונים של המקור הוא MySQL, אז Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      הרשאות שכפול‫Datastream מוודא שיש לו הרשאות לשכפל מסד נתונים של MySQL.
      גרסת מסד הנתונים‫Datastream מוודא שהגרסה של מסד הנתונים של MySQL נתמכת. מידע על המהדורות הנתמכות זמין במאמר גרסאות.
      הגדרת הפורמט של היומן הבינארי‫Datastream מוודא שהפורמט של היומן הבינארי של מסד הנתונים ב-MySQL מוגדר כ-ROW.
      היומן הבינארי מופעל‫Datastream מוודא שקובצי היומן הבינארי מוגדרים נכון ושהם קיימים.
      הגדרת תמונת השורה ביומן הבינארי‫Datastream מוודא שתמונת השורה של binlog מוגדרת ל-FULL.
      דחיסת Binlog מושבתת‫Datastream מוודא שדחיסת ה-binlog מושבתת.
      הופעלו עדכונים של רפליקה או של עבד של יומן‫Datastream מוודא שהעדכונים של הרפליקה או ה-slave של היומן מופעלים.
      הגדרת מצב GTID‏ (applies only to GTID-based CDC)אם משתמשים ברפליקציה שמבוססת על GTID, ‏Datastream מוודא שמצב ה-GTID מוגדר ל-ON.
      ‫GtidSet לא מכיל מזהי GTID מתויגים (applies only to GTID-based CDC)‫Datastream מוודא שקבוצת ה-GTID לא מכילה GTID מתויגים.
      הרשאות ב-Cloud Storage (ליעדים ב-Cloud Storage)‫Datastream מוודא שיש לו את ההרשאות הנדרשות כדי לכתוב לקטגוריית היעד ב-Cloud Storage.
      בדיקת אזהרותתיאור
      הגדרת יומנים שתוקפם פג בימים או יומנים שתוקפם פג בשניות או שעות שמירת Binlog‫Datastream מוודא שהערכים של expire_logs_days,‏ binlog_expire_logs_seconds ו-binlog retention hours גדולים מ-7,‏ 604800 ו-168, בהתאמה.
      הגדרת החבילה המקסימלית המותרת‫Datastream מוודא שהערך של max_allowed_packet מוגדר ל-1GB.
      אכיפה של עקביות GTID או מצב קפדני של GTID‏ (applies only to GTID-based CDC)‫Datastream מוודא שהעקביות של GTID או המצב הקפדני של GTID מופעלים.

    3. אם מסד הנתונים של המקור הוא PostgreSQL, אז Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      קישוריות למסד נתונים של PostgreSQL‫Datastream מוודא שהוא יכול להתחבר למסד הנתונים של PostgreSQL במקור.
      הפענוח הלוגי מופעל‫Datastream מוודא שהפרמטר wal_level של מסד הנתונים ב-PostgreSQL מוגדר לערך logical.
      הגדרת משבצת שכפול‫Datastream מאמת אם משבצת הרפליקציה של PostgreSQL קיימת ופעילה, אם ל-Datastream יש את ההרשאות הנדרשות כדי לגשת אליה ואם היא מוגדרת בצורה נכונה.
      הגדרת אתר החדשות‫Datastream מאמת שהפרסום קיים ושהטבלאות שצריך לשכפל בשביל הסטרימינג כלולות בפרסום.
      הרשאות למילוי חוסרים‫Datastream מוודא שהטבלאות שנדרשות למילוי חוסרים בנתונים היסטוריים קיימות, ושיש לו את ההרשאות הנדרשות לקריאת הנתונים.

    4. אם מסד הנתונים של המקור הוא SQL Server, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      גרסת SQL Server‫Datastream מוודא שיש תמיכה במהדורה של מסד הנתונים של שרת ה-SQL במקור. מידע על המהדורות הנתמכות זמין במאמר גרסאות.
      הרשאות משתמשים ב-SQL Server‫Datastream מוודא שלמשתמש יש את ההרשאות הנדרשות כדי לגשת למסד הנתונים של SQL Server במקור.
      ‫SQL Server CDC מופעל‫Datastream בודק אם CDC מופעל במסד הנתונים ובכל הטבלאות שנכללות בסטרים.
      אימותים של מסד נתונים ב-SQL Server‫Datastream בודק אם מסד הנתונים של המקור מוגדר כמו שצריך, אם כל דרישות השכפול מתקיימות ואם אין סוגי נתונים לא נתמכים בעמודות.
      הרשאות ב-Cloud Storage או ב-BigQuery‫Datastream מוודא שלמשתמש יש את ההרשאות הנדרשות לכתיבה ביעד.

    5. אם מסד הנתונים של המקור הוא Salesforce, אז Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      התחברות באמצעות פרטי כניסה‫Datastream מאמת שהוא יכול לבצע אימות מול ארגון Salesforce של הלקוח באמצעות פרטי הכניסה שסופקו.
      Bulk API‫Datastream מוודא שיש לו את ההרשאות הנדרשות כדי לגשת ל-Salesforce Bulk API 2.0. כדי לקרוא כמויות גדולות של נתונים, צריך את Bulk API 2.0.
      בדיקת אזהרותתיאור
      מכסות בקשות API‫Datastream מחשב אומדן של השימוש הצפוי ב-API על סמך מספר האובייקטים ומרווח הזמן שנבחר לדגימה. אם מספר הבקשות היומי הצפוי גבוה מהמגבלה של Salesforce, תוצג אזהרה ב-Datastream. אתם יכולים ליצור ולהפעיל את השידור גם אם בדיקת האימות לא עוברת.

    6. אם מסד הנתונים של המקור הוא MongoDB, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      הרשאות של משתמשיםDatastream מוודא שהתפקיד readAnyDatabase הוקצה למשתמש.
      הגדרות החיבור‫Datastream משתמש בפקודה hello כדי לוודא שהגדרות החיבור תקינות.
      גרסת MongoDB‫Datastream מוודא שגרסת MongoDB היא 5.0 ואילך.
      הרשאות ב-Cloud Storage או ב-BigQuery‫Datastream מוודא שלמשתמש יש את ההרשאות הנדרשות לכתיבה ביעד.

    7. אם מסד הנתונים של המקור הוא Spanner, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      Spanner API מופעל‫Datastream מוודא ש-Spanner API מופעל.
      מסד הנתונים קיים‫Datastream מאמת שמסד הנתונים של Spanner קיים.
      הרשאות IAM‫Datastream מוודא שלסוכן השירות שלו יש את הרשאות ה-IAM הנדרשות במסד הנתונים של המקור.
      סנכרון שינויים בזרמי נתונים קיים‫Datastream מוודא שזרם השינויים שצוין קיים במסד הנתונים.
      סוג תיעוד הערך‫Datastream מוודא שסנכרון השינויים בזרמי הנתונים מוגדר עם סוג תיעוד הערכים NEW_ROW.

    8. אם המקור הוא Dataverse, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      קישוריות לסביבת Dataverse‫Datastream מוודא שהוא יכול להתחבר לסביבת המקור ב-Dataverse.
      הרשאות משתמש ב-Dataverse‫Datastream מוודא שלמשתמש באפליקציה שמשמשת לחיבור לסביבת המקור יש את כל הרשאות הקריאה הנדרשות. הרשאות הקריאה נדרשות כדי לאחזר טבלאות ונתונים מהסביבה, כך ש-Datastream יוכל להעביר את המידע הזה ליעד.
      הגבלות על כתובות IP‫Datastream מאמת שכתובות ה-IP הציבוריות שלו מורשות להתחבר לנקודת הקצה של המכונה של Dataverse.
      נוכחות של השדה `modifiedon`‫Datastream מוודא שהשדה modifiedon קיים ואמין בטבלאות שמשוכפלות לסנכרון מצטבר.
      הרשאות ב-Cloud Storage או ב-BigQuery‫Datastream מוודא שיש לו את ההרשאות הנדרשות כדי לכתוב ליעד.

    9. אם המכונה של המקור היא Workday, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאהתיאור
      התחברות באמצעות פרטי כניסה‫Datastream מאמת את OAuth 2.0 עם Workday.
      הרשאות ISU‫Datastream מוודא שלמשתמש של מערכת השילוב יש את ההרשאות הנדרשות של מדיניות האבטחה של הדומיין.
      תוקף הדוחDatastream מוודא שהאובייקטים שנבחרו קיימים ונגישים באמצעות הפתרון Report as a Service ‏ (RaaS).

  3. אחרי שכל בדיקות האימות עוברות, לוחצים על CREATE & START כדי ליצור את הסטרימינג ולהתחיל אותו מיד, או על CREATE כדי ליצור את הסטרימינג בלי להתחיל אותו מיד.

    אם לא מתחילים את השידור עכשיו, אפשר להתחיל אותו מהדף Streams בלחיצה על START.

אחרי שיוצרים מקור נתונים, אפשר לראות מידע כללי ומפורט לגביו.

יצירת מקור נתונים באמצעות התהליך האוטומטי

אתם יכולים להשתמש בהגדרת הסטרימינג האוטומטית כדי ליצור שידורים ישירות מדף הסקירה הכללית של Cloud SQL ב- Google Cloud. התהליך האוטומטי מפשט את תהליך יצירת ה-stream, ואפשר להשתמש בו אם אתם משכפלים ל-BigQuery ממכונה של Cloud SQL ל-PostgreSQL, ‏Cloud SQL ל-MySQL או Cloud SQL ל-SQL Server.

איך יוצרים שידור באמצעות התהליך האוטומטי

המאמרים הבאים