שיטות מומלצות לשימוש במאגרי מידע

במאמר הזה מוסבר על מאגרים ב-Dataform:

סקירה כללית של השיטות המומלצות לשימוש במאגרים ב-Dataform

בקטע הזה מפורטות שיטות מומלצות לניהול הגודל והמבנה של המאגר, ולניהול מחזור החיים של הקוד ב-Dataform.

שיטות מומלצות לגודל המאגר

גודל המאגר משפיע על כמה היבטים של הפיתוח ב-Dataform, למשל:

  • שיתוף פעולה
  • קריאוּת של בסיס הקוד
  • תהליכי פיתוח
  • קומפילציה של תהליך עבודה
  • ביצוע של תהליך העבודה

ב-Dataform נאכפות מכסות ומגבלות של API על משאבי הידור. אם המאגר גדול, הוא עלול לחרוג מהמכסות ומהמגבלות האלה. זה עלול לגרום לכך שהקומפילציה וההפעלה של תהליך העבודה ייכשלו.

כדי לצמצם את הסיכון הזה, מומלץ לפצל מאגרים גדולים. כשמפצלים מאגר גדול, מחלקים תהליך עבודה גדול לכמה תהליכי עבודה קטנים יותר שמאוחסנים במאגרים שונים ומקושרים באמצעות יחסי תלות בין מאגרים.

הגישה הזו מאפשרת לכם לעמוד במכסות ובמגבלות של Dataform, להטמיע תהליכים והרשאות ברמה מפורטת ולשפר את הקריאות של בסיס הקוד ואת שיתוף הפעולה. עם זאת, ניהול של מאגרים מפוצלים יכול להיות מאתגר יותר מניהול של מאגר אחד.

סקירה כללית על גודל המאגר למידע נוסף על שיטות מומלצות לפיצול מאגרים, ראו פיצול מאגרים.

שיטות מומלצות למבנה המאגר

מומלץ לארגן את הקבצים בספרייה definitions כך שישקפו את השלבים בתהליך העבודה. חשוב לזכור שאפשר לאמץ מבנה מותאם אישית שמתאים לצרכים שלכם.

המבנה המומלץ הבא של definitions ספריות משנה משקף את השלבים העיקריים של רוב תהליכי העבודה:

  • ‫sources לאחסון הצהרות של מקורות נתונים.
  • ‫intermediate לאחסון הלוגיקה של טרנספורמציית הנתונים.
  • ‫output לאחסון הגדרות של טבלאות פלט.
  • ‫extras (אופציונלי) לאחסון קבצים נוספים.

השמות של כל הקבצים ב-Dataform צריכים לעמוד בהנחיות למתן שמות לטבלאות ב-BigQuery. מומלץ ששמות הקבצים בספרייה definitions במאגר Dataform ישקפו את מבנה ספריית המשנה.

במאמר מבנה הקוד במאגר מוסבר איך ליצור מבנה לקבצים במאגר ולתת להם שמות.

שיטות מומלצות למחזור החיים של הקוד

מחזור החיים של הקוד ב-Dataform מורכב כברירת מחדל מהשלבים הבאים:

כדי לנהל את מחזור החיים של הקוד ב-Dataform, אתם יכולים ליצור סביבות הרצה כמו פיתוח, Staging וייצור.

מבוא למחזור החיים של הקוד ב-Dataform

אתם יכולים לבחור אם לשמור את סביבות ההפעלה במאגר אחד או בכמה מאגרים.

סביבות הרצה במאגר אחד

אתם יכולים ליצור סביבות הרצה מבודדות, כמו פיתוח, Staging וייצור, במאגר Dataform אחד באמצעות שינויים מברירת המחדל של הידור סביבת העבודה והגדרות של גרסאות.

אפשר ליצור סביבות הרצה מבודדות בדרכים הבאות:

  • לפצל טבלאות פיתוח וייצור לפי סכימה.
  • פיצול טבלאות פיתוח וייצור לפי סכימה ופרויקט Google Cloud .
  • פיצול טבלאות פיתוח, Staging וייצור לפי Google Cloud פרויקט.

לאחר מכן, תוכלו לתזמן הרצות בסביבות Staging וסביבת ייצור באמצעות הגדרות של תהליכי עבודה. מומלץ להפעיל את ההרצות באופן ידני בסביבת הפיתוח.

למידע נוסף על שיטות מומלצות לניהול מחזור החיים של תהליך העבודה ב-Dataform, קראו את המאמר שיטות מומלצות למחזור החיים של תהליך העבודה.

מחזור החיים של הקוד בכמה מאגרים

כדי להתאים את הרשאות ניהול הזהויות והרשאות הגישה לכל שלב במחזור החיים של הקוד, אתם יכולים ליצור כמה עותקים של מאגר ולשמור אותם בפרויקטים שונים ב- Google Cloud .

כל פרויקט ב- Google Cloud משמש כסביבת הרצה שתואמת לשלב במחזור החיים של הקוד – לדוגמה, פיתוח וייצור.

בגישה הזו, מומלץ לשמור על בסיס קוד זהה של המאגר בכל הפרויקטים. כדי להתאים אישית את ההידור וההפעלה בכל עותק של המאגר, משתמשים בשינוי הגדרות ההידור של סביבת העבודה, בהגדרות הגרסה ובהגדרות תהליך העבודה.

סקירה כללית על גודל המאגר

בקטע הזה נסביר איך גודל המאגר משפיע על פיתוח תהליך העבודה ועל השימוש במשאבי ההידור של Dataform, ואיך להעריך את השימוש במשאבי ההידור של המאגר.

מידע על גודל המאגר ב-Dataform

גודל המאגר משפיע על ההיבטים הבאים של הפיתוח ב-Dataform:

  • שיתוף פעולה. אם כמה שותפי עריכה עובדים על מאגר גדול, הם יכולים ליצור מספר מוגזם של בקשות משיכה, מה שמגדיל את הסיכון להתנגשויות במיזוג.

  • קריאוּת של בסיס הקוד. אם יש מספר גדול של קבצים שמרכיבים תהליך עבודה במאגר אחד, יכול להיות שיהיה קשה לנווט במאגר.

  • תהליכי פיתוח. יכול להיות שחלקים מסוימים בתהליך עבודה גדול במאגר אחד ידרשו הרשאות או תהליכים בהתאמה אישית, כמו תזמון, ששונים מההרשאות ומהתהליכים שחלים על שאר תהליך העבודה. מאגר גדול מקשה על התאמת תהליכי הפיתוח לאזורים ספציפיים בתהליך העבודה.

  • קומפילציה של תהליך עבודה. ב-Dataform יש מכסות שימוש במשאבי הידור. אם המאגר גדול, יכול להיות שתחרגו מהמגבלות האלה וההידור ייכשל.

  • ביצוע של תהליך העבודה. במהלך ההפעלה, Dataform מריץ את קוד המאגר בתוך סביבת העבודה ופורס נכסים ב-BigQuery. ככל שהמאגר גדול יותר, כך ל-Dataform לוקח יותר זמן להריץ אותו.

אם הגודל של המאגר משפיע לרעה על הפיתוח ב-Dataform, אתם יכולים לפצל את המאגר לכמה מאגרים קטנים יותר.

מידע על מגבלות המשאבים של קומפילציית מאגרים

במהלך הפיתוח, Dataform מקמפל את כל הקוד של המאגר בתוך סביבת העבודה כדי ליצור ייצוג של תהליך העבודה במאגר. התוצאה הזו נקראת תוצאת הידור. ‫Dataform אוכף מגבלות שימוש על משאבי קומפילציה.

יכול להיות שהמאגר שלכם יחרוג ממגבלות השימוש מהסיבות הבאות:

  • באג של לולאה אינסופית בקוד של המאגר.
  • באג של דליפת זיכרון בקוד של המאגר.
  • מאגר גדול, בערך יותר מ-1,000 פעולות של תהליך עבודה.

מידע נוסף על מגבלות השימוש במשאבי הידור זמין במאמר מגבלות על משאבי הידור ב-Dataform.

הערכת השימוש במשאבי הקומפילציה של המאגר

אתם יכולים להעריך את השימוש במשאבי ההידור הבאים במאגר:

  • שימוש בזמן CPU.
  • שימוש בזמן בפועל.
  • הגודל הכולל המקסימלי של נתונים שעברו סריאליזציה בתרשים הפעולות שנוצר, שמוגדר במאגר.

כדי לקבל הערכה גסה של משך הזמן הנוכחי לקימפול של המאגר, אתם יכולים למדוד את משך הזמן לקימפול של תהליך העבודה ב-Dataform במכונה מקומית של Linux או macOS.

  • כדי לתזמן את ההידור של תהליך העבודה, מריצים במאגר את הפקודה dataform compile של Dataform CLI בפורמט הבא:

    time dataform compile
    

    בדוגמת הקוד הבאה מוצגת תוצאה של הפעלת הפקודה time dataform compile:

    real    0m3.480s
    user    0m1.828s
    sys     0m0.260s
    

אפשר להתייחס לתוצאה של real כאינדיקטור גס לשימוש בזמן בפועל, ולתוצאה של user כאינדיקטור גס לשימוש בזמן ה-CPU לצורך הידור המאגר.

כדי לקבל הערכה גסה של הגודל הכולל של תרשים הפעולות שנוצר במאגר, אפשר לכתוב את הפלט של התרשים לקובץ JSON. אפשר להתייחס לגודל של קובץ ה-JSON הלא דחוס כאינדיקטור גס לגודל התרשים הכולל.

  • כדי לכתוב את הפלט של התרשים המקומפל של תהליך העבודה לקובץ JSON, מריצים את הפקודה הבאה של Dataform CLI בתוך המאגר:

    dataform compile --json > graph.json
    

פיצול מאגרים

בקטע הזה נסביר על אסטרטגיות לפיצול מאגר ב-Dataform ולניהול יחסי תלות בין מאגרים.

מאגרים הם יחידות הליבה ב-Dataform. במאגר מאוחסנים כל קובצי ה-SQLX וה-JavaScript שמרכיבים את תהליך העבודה, וגם קובצי התצורה והחבילות של Dataform. אתם יכולים לאחסן תהליך עבודה במאגר אחד, או לפצל אותו בין כמה מאגרים.

לפיצול מאגר ב-Dataform יש כמה יתרונות:

  • עמידה במגבלות המשאבים של הידור (compilation) ב-Dataform. פיצול של תהליך עבודה גדול לכמה מאגרים קטנים יותר מפחית את הסיכון לחריגה מהמגבלות של Dataform על משאבי הידור.
  • תהליכי טחינה דקה. אתם יכולים להגדיר תהליכים, כמו כללי שילוב רציף (CI), בנפרד לכל חלק מפוצל של תהליך העבודה ולצוות שמפתח אותו.
  • הרשאות מפורטות. כדי לשפר את האבטחה הכוללת של תהליך העבודה, אתם יכולים להגדיר הרשאות בנפרד לכל חלק בתהליך העבודה ולצוות שמפתח אותו.
  • שיפור שיתוף הפעולה על ידי צמצום מספר השותפים שעובדים על כל חלק מפוצל בתהליך העבודה.
  • שיפור הקריאוּת של בסיס הקוד. אם מפצלים את הקבצים שמרכיבים תהליך עבודה גדול לכמה מאגרים, קל יותר לנווט בכל מאגר בנפרד מאשר לנווט בכל תהליך העבודה בבת אחת.
  • האצת הביצוע של תהליך העבודה של כל חלק מפוצל בתהליך העבודה, בהשוואה לביצוע של תהליך העבודה כולו.

לפיצול מאגר ב-Dataform יש את החסרונות הבאים:

  • צריך להגדיר אינטגרציה רציפה (CI) ופיתוח רציף (CD) בהתאמה אישית לכל מאגר Dataform ולמאגר Git התואם שלו.
  • צריך להגדיר תזמון בהתאמה אישית לכל מאגר Dataform ולמאגר Git התואם שלו.
  • קושי בניהול יחסי תלות בין האובייקטים של תהליך העבודה שמאוחסנים בכמה מאגרים.
  • אין תצוגה חזותית מקיפה של גרף אציקלי מכוון (DAG) של תהליך העבודה ב-SQL שמפוצל בין כמה מאגרים. בכל מאגר, ה-DAG שנוצר מייצג רק חלק מתהליך העבודה המלא.

אסטרטגיות לפיצול מאגר

כשמפצלים מאגר, מחלקים את הקבצים שמרכיבים תהליך עבודה ראשי ב-SQL לתהליכי עבודה משניים קטנים יותר, שמאוחסנים במאגרים נפרדים של Dataform.

אפשר לפצל מאגר באחת מהדרכים הבאות:

  • מאגר אחד לכל צוות פיתוח.
  • מאגר אחד לכל דומיין – לדוגמה, מכירות, שיווק או לוגיסטיקה.
  • מאגר מרכזי אחד ומאגר אחד לכל דומיין שמשתמש בתוכן של המאגר המרכזי כמקורות נתונים.

כדי לאחסן את תהליך העבודה הראשי בפלטפורמת אירוח של צד שלישי ב-Git, צריך לחבר כל אחד מהמאגרים הנפרדים שמכילים תהליכי עבודה משניים למאגר ייעודי של צד שלישי ב-Git.

ניהול יחסי תלות בין מאגרים

הדרך הכי יעילה לפצל מאגר היא לחלק את תהליך העבודה הראשי ב-SQL לתהליכי עבודה משניים עצמאיים, וליצור מאגרים נפרדים. מאגר עצמאי לא משתמש בתוכן של מאגר אחר כמקור נתונים. בגישה הזו לא צריך לנהל יחסי תלות בין מאגרים.

אם אי אפשר להימנע מתלויות בין מאגרים, אפשר לנהל אותן על ידי פיצול של מאגר לרצף של מאגרים, שבו מאגר תלוי במאגר הקודם ומשמש כמקור נתונים למאגר הבא. רצף המאגרים והתלויות שלהם צריך לשקף בצורה הטובה ביותר את המבנה של תהליך העבודה הראשי.

אתם יכולים ליצור יחסי תלות בין מאגרים באמצעות הצהרות על מקורות נתונים ב-Dataform. אתם יכולים להצהיר על סוג טבלה ב-BigQuery ממאגר Dataform אחר כמקור נתונים במאגר שאתם עורכים. אחרי שמצהירים על מקור נתונים, אפשר להפנות אליו כמו לכל פעולה אחרת בתהליך העבודה של Dataform, ולהשתמש בו כדי לפתח את תהליך העבודה.

כשמתזמנים את ההפעלה של תהליך עבודה שמפוצל בין מאגרים עם יחסי תלות בין מאגרים, צריך להריץ את המאגרים אחד אחרי השני לפי הסדר של יחסי התלות בין המאגרים.

מומלץ להימנע מפיצול של מאגר לקבוצת מאגרים עם יחסי תלות דו-כיווניים. תלות דו-כיוונית בין מאגרים מתרחשת כשמאגר מסוים הוא מקור נתונים למאגר אחר, וגם משתמש במאגר הזה כמקור נתונים. יחסי תלות דו-כיווניים בין מאגרים מסבכים את התזמון וההרצה של תהליך העבודה הראשי, וגם את תהליכי הפיתוח.

מבנה הקוד במאגר

בקטע הזה מתוארות שיטות מומלצות למבנה ולשמות של קובצי תהליכי עבודה בתיקיית השורש definitions של מאגר Dataform. המבנה המומלץ של הספרייה definitions משקף את השלבים של תהליך העבודה. אתם יכולים לבחור כל מבנה שמתאים לצרכים של העסק שלכם.

כדאי לארגן את קוד תהליך העבודה בספרייה definitions מהסיבות הבאות:

  • שיפור שיתוף הפעולה בבסיס הקוד על ידי הקצאת צוותים לחלקים נבחרים בתהליך העבודה.
  • שיפור יכולת התחזוקה של תהליך העבודה במקרה של שינויים ארגוניים.
  • לשפר את הניווט בבסיס הקוד.
  • שיפור יכולת ההתאמה של בסיס הקוד.
  • צמצום העומס האדמיניסטרטיבי על הצוות.

תיקיית השורש definitions במאגר של Dataform מכילה קוד שיוצר רכיבים של תהליך העבודה. אפשר לארגן את הקבצים בספרייה definitions במבנה של ספריות שמשקף את מבנה תהליך העבודה.

כשמפתחים תהליך עבודה, מגדירים טבלאות מקור ומשנים אותן כדי ליצור טבלאות פלט שאפשר להשתמש בהן למטרות עסקיות או למטרות ניתוח.

אפשר להבחין בין שלושה שלבים עיקריים בתהליך העבודה:

  1. הצהרה על מקורות נתונים.
  2. טרנספורמציה של נתוני המקור.
  3. הגדרה של טבלאות פלט מנתוני המקור שעברו טרנספורמציה.

המבנה הבא של ספריות המשנה בספרייה definitions משקף את השלבים העיקריים בתהליך העבודה:

sources
הצהרות על מקורות נתונים וטרנספורמציה בסיסית של נתוני המקור, למשל סינון.
intermediate
טבלאות ופעולות שקוראות מ-sources ומשנות נתונים לפני שמשתמשים בנתונים שעברו שינוי כדי להגדיר טבלאות outputs. בדרך כלל, הטבלאות לא נחשפות לתהליכים או לכלים נוספים, כמו כלים של בינה עסקית (BI), אחרי ש-Dataform מריץ אותן ב-BigQuery.
outputs
הגדרות של טבלאות שמשמשות תהליכים או כלים, כמו BI, אחרי ש-Dataform מריץ אותן ב-BigQuery.
extra
קבצים מחוץ לצינור עיבוד הנתונים הראשי של תהליך העבודה – לדוגמה, קבצים שמכילים נתונים של תהליך העבודה שהוכנו לשימוש נוסף, כמו למידת מכונה. ספריית משנה אופציונלית בהתאמה אישית.

שיטות מומלצות להשגת היעד sources

ספריית המשנה sources מכילה את השלב הראשון בתהליך העבודה: ההצהרה והטרנספורמציה הבסיסית של נתוני המקור.

בספריית המשנה sources, מאחסנים הצהרות של מקורות נתונים וטבלאות שמסננות, מסווגות, ממירות או משנות את השמות של העמודות.

אל תאחסנו טבלאות שמשלבות נתונים ממקורות שונים.

המרת נתונים של sources בטבלאות שמאוחסנות בספריית המשנה intermediate.

אם אתם מצהירים על מקורות נתונים מכמה מאגרים, למשל Google Ads או Google Analytics, הקצו ספריית משנה לכל מאגר.

בדוגמה הבאה מוצג מבנה של ספריית משנה של sources עם שני מאגרי מקור:

definitions/
    sources/
        google_ads/
            google_ads_filtered.sqlx
            google_ads_criteria_metrics.sqlx
            google_ads_criteria_metrics_filtered.sqlx
            google_ads_labels.sqlx
            google_ads_labels_filtered.sqlx
        google_analytics/
            google_analytics_users.sqlx
            google_analytics_users_filtered.sqlx
            google_analytics_sessions.sqlx

אם אתם מצהירים על כמה טבלאות של מקורות נתונים באותה סכימה, אתם יכולים לאחד את ההצהרות שלהן לקובץ JavaScript אחד.

מידע נוסף על יצירת הצהרות של מקורות נתונים באמצעות JavaScript זמין במאמר יצירת תהליכי עבודה באמצעות JavaScript בלבד.

בדוגמת הקוד הבאה מוצגים כמה מקורות נתונים בסכימה אחת, שמוצהרים בקובץ JavaScript אחד:

[
  "source_table_1",
  "source_table_2",
  "source_table_3"
].forEach((name) =>
  declare({
    database: "gcp_project",
    schema: "source_dataset",
    name,
  })
);

כדי להגן על תהליך העבודה מפני שינויים במקור הנתונים, אפשר ליצור תצוגה לכל הצהרה על מקור נתונים – לדוגמה, analytics_users_filtered.sqlx. התצוגה יכולה להכיל את הסינון והעיצוב הבסיסיים של נתוני המקור. שומרים את התצוגות בספריית המשנה sources.

אחר כך, כשיוצרים טבלאות intermediate או outputs, מפנים לתצוגות במקום לטבלאות המקור הגולמיות. כך אפשר לבדוק את טבלאות המקור. אם טבלת המקור משתנה, אתם יכולים לשנות את התצוגה שלה – למשל, להוסיף מסננים או לשנות את סוג הנתונים.

שיטות מומלצות להשגת היעד intermediate

ספריית המשנה intermediate מכילה את השלב השני בתהליך העבודה: הטרנספורמציה והצבירה של נתוני המקור ממקור אחד או יותר.

בספריית המשנה intermediate, מאחסנים קבצים שמשנים באופן משמעותי את נתוני המקור ממקור אחד או יותר בספריית המשנה sources – לדוגמה, טבלאות שמצרפות נתונים. בדרך כלל, טבלאות בספריית המשנה intermediate שולפות נתונים מטבלאות מקור או מטבלאות אחרות של intermediate.

משתמשים בטבלאות של intermediate כדי ליצור טבלאות של outputs. בדרך כלל, אחרי ש-Dataform מריץ את הטבלאות של intermediate ל-BigQuery, לא משתמשים בהן למטרות נוספות, כמו ניתוח נתונים. אפשר לחשוב על טבלאות intermediate בתור הלוגיקה של טרנספורמציית הנתונים שמאפשרת ליצור טבלאות פלט.

מומלץ לתעד ולבדוק את כל הטבלאות של intermediate.

שיטות מומלצות להשגת היעד outputs

ספריית המשנה outputs מכילה את השלב הסופי בתהליך העבודה: יצירת טבלאות פלט למטרות עסקיות מהנתונים שעברו טרנספורמציה.

בספרייה outputs, מאחסנים טבלאות שמתכננים להשתמש בהן בתהליכים או בכלים נוספים אחרי ש-Dataform מריץ אותן ב-BigQuery – לדוגמה, דוחות או מרכזי בקרה. בדרך כלל, טבלאות בספרייה outputs שולפות נתונים מהטבלאות intermediate.

מקבוצים את הטבלאות של outputs לפי הישות העסקית שאליה הן קשורות, למשל: שיווק, הזמנות או ניתוח נתונים. מקצים ספריית משנה לכל ישות עסקית.

כדי לאחסן טבלאות פלט בנפרד ב-BigQuery, אתם יכולים להגדיר סכימה ייעודית לטבלאות פלט. להוראות להגדרת סכימת טבלה, ראו שינוי הגדרות הטבלה.

בדוגמה הבאה מוצג מבנה של ספריית משנה של outputs עם ישויות עסקיות של sales ו-marketing:

definitions/
    outputs/
        orders/
            orders.sqlx
            returns.sqlx
        sales/
            sales.sqlx
            revenue.sqlx
        marketing/
            campaigns.sqlx

מומלץ לתעד ולבדוק את כל הטבלאות של outputs.

אסטרטגיית מתן שמות

השמות של כל הקבצים ב-Dataform צריכים לעמוד בהנחיות למתן שמות לטבלאות ב-BigQuery.

מומלץ ששמות הקבצים בספרייה definitions במאגר Dataform ישקפו את מבנה ספריית המשנה.

בספריית המשנה sources, שמות הקבצים צריכים להצביע על המקור שאליו הקובץ קשור. מוסיפים את שם המקור כתחילית לשמות הקבצים, לדוגמה: analytics_filtered.sqlx

בספריית המשנה intermediate, שמות הקבצים צריכים לזהות את ספריית המשנה, כדי ששותפי העריכה יוכלו להבחין בבירור בקבצים של intermediate. בוחרים קידומת ייחודית ומחילים אותה רק על קבצים בספרייה intermediate, לדוגמה stg_ads_concept.sqlx.

בספריית המשנה outputs, שמות הקבצים צריכים להיות תמציתיים, למשל orders.sqlx. אם יש לכם outputs טבלאות עם אותם שמות בספריות משנה שונות של ישויות, הוסיפו קידומת שמזהה את הישות – לדוגמה, sales_revenue.sqlx או ads_revenue.sqlx.

בדוגמה הבאה מוצג מבנה של ספריית משנה בתוך הספרייה definitions, עם שמות קבצים שתואמים לאסטרטגיית מתן השמות המומלצת:

definitions/
    sources/
        google_analytics.sqlx
        google_analytics_filtered.sqlx
    intermediate/
        stg_analytics_concept.sqlx
    outputs/
        customers.sqlx
        sales/
            sales.sqlx
            sales_revenue.sqlx
        ads/
            campaigns.sqlx
            ads_revenue.sqlx

שיטות מומלצות להידור ולתזמון

כשמגדירים הפעלות מתוזמנות ותהליכי עבודה של תזמור למאגר, כדאי לפעול לפי השיטות המומלצות הבאות כדי להבטיח הידור אמין:

  • שימוש בהגדרות של גרסאות להרצות מתוזמנות בסביבת הייצור: הגדרת גרסה מקמפלת את הקוד במאגר לפי לוח זמנים צפוי ושומרת את תוצאת הקימפול. כשצינורות עיבוד הנתונים של סביבת הייצור פועלים, הם פועלים מול התוצאה השמורה הזו באופן מיידי בלי ליזום בקשות לאחזור מהרשת למאגר Git המרוחק.
  • הגבלת הקומפילציה של commitish למשימות פיתוח ולמשימות בתדירות נמוכה: קריאה ל-CreateCompilationResult ישירות ב-commitish של Git, כמו הסתעפות, תג או SHA של commit, מחייבת את Dataform לשכפל את המאגר דרך הרשת בכל הפעלה. מומלץ להימנע מהגדרת משימות cron בסביבת הייצור או DAG של תזמור כדי לבצע קומפילציה חוזרת מ-commitish של Git בתדירות גבוהה.
  • הגדרת ניסיונות חוזרים אוטומטיים ולוחות זמנים מדורגים: אם הארכיטקטורה שלכם דורשת הידור מ-Git commitish בתזמונים חיצוניים, הגדירו ניסיונות חוזרים אוטומטיים עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) וטיימרים מדורגים של cron בו-זמנית. דוגמאות מפורטות לקוד ניסיון חוזר ושלבים לפתרון בעיות זמינים במאמר לא ניתן לגשת למאגר המרוחק.

המאמרים הבאים