במאמר הזה מוסבר על מאגרים ב-Dataform:
- סקירה כללית של השיטות המומלצות לשימוש במאגרים ב-Dataform
- סקירה כללית של גודל המאגר
- פיצול מאגרים
- מבנה הקוד במאגר
- שיטות מומלצות להידור ולתזמון
סקירה כללית של השיטות המומלצות לשימוש במאגרים ב-Dataform
בקטע הזה מפורטות שיטות מומלצות לניהול הגודל והמבנה של המאגר, ולניהול מחזור החיים של הקוד ב-Dataform.
שיטות מומלצות לגודל המאגר
גודל המאגר משפיע על כמה היבטים של הפיתוח ב-Dataform, למשל:
- שיתוף פעולה
- קריאוּת של בסיס הקוד
- תהליכי פיתוח
- קומפילציה של תהליך עבודה
- ביצוע של תהליך העבודה
ב-Dataform נאכפות מכסות ומגבלות של API על משאבי הידור. אם המאגר גדול, הוא עלול לחרוג מהמכסות ומהמגבלות האלה. זה עלול לגרום לכך שהקומפילציה וההפעלה של תהליך העבודה ייכשלו.
כדי לצמצם את הסיכון הזה, מומלץ לפצל מאגרים גדולים. כשמפצלים מאגר גדול, מחלקים תהליך עבודה גדול לכמה תהליכי עבודה קטנים יותר שמאוחסנים במאגרים שונים ומקושרים באמצעות יחסי תלות בין מאגרים.
הגישה הזו מאפשרת לכם לעמוד במכסות ובמגבלות של Dataform, להטמיע תהליכים והרשאות ברמה מפורטת ולשפר את הקריאות של בסיס הקוד ואת שיתוף הפעולה. עם זאת, ניהול של מאגרים מפוצלים יכול להיות מאתגר יותר מניהול של מאגר אחד.
סקירה כללית על גודל המאגר למידע נוסף על שיטות מומלצות לפיצול מאגרים, ראו פיצול מאגרים.
שיטות מומלצות למבנה המאגר
מומלץ לארגן את הקבצים בספרייה definitions כך שישקפו את השלבים בתהליך העבודה. חשוב לזכור שאפשר לאמץ מבנה מותאם אישית שמתאים לצרכים שלכם.
המבנה המומלץ הבא של definitions ספריות משנה משקף את השלבים העיקריים של רוב תהליכי העבודה:
-
sourcesלאחסון הצהרות של מקורות נתונים. -
intermediateלאחסון הלוגיקה של טרנספורמציית הנתונים. -
outputלאחסון הגדרות של טבלאות פלט. -
extras(אופציונלי) לאחסון קבצים נוספים.
השמות של כל הקבצים ב-Dataform צריכים לעמוד בהנחיות למתן שמות לטבלאות ב-BigQuery. מומלץ ששמות הקבצים בספרייה definitions במאגר Dataform ישקפו את מבנה ספריית המשנה.
במאמר מבנה הקוד במאגר מוסבר איך ליצור מבנה לקבצים במאגר ולתת להם שמות.
שיטות מומלצות למחזור החיים של הקוד
מחזור החיים של הקוד ב-Dataform מורכב כברירת מחדל מהשלבים הבאים:
פיתוח קוד של תהליכי עבודה בסביבות העבודה של Dataform.
אתם יכולים לפתח באמצעות Dataform core או באמצעות JavaScript בלבד.
הידור של הקוד לתוצאת הידור באמצעות ההגדרות מקובץ ההגדרות של תהליך העבודה.
אתם יכולים להגדיר תוצאות הידור בהתאמה אישית באמצעות הגדרות גרסה ושינויים בהידור של סביבת העבודה.
בעזרת הגדרות גרסה, אתם יכולים להגדיר תוצאות קומפילציה בהתאמה אישית של כל המאגר. בהמשך תוכלו לתזמן את ההפעלה שלהם בהגדרות של תהליך העבודה.
בעזרת שינוי הגדרות ברירת המחדל של הידור סביבת העבודה, אתם יכולים להגדיר שינויים בהגדרות ברירת המחדל של ההידור לכל סביבות העבודה במאגר, וליצור תוצאות הידור בהתאמה אישית לכל סביבת עבודה.
הפעלת תוצאת ההידור ב-BigQuery.
אתם יכולים לתזמן הפעלות או תוצאות של הידור מאגר באמצעות הגדרות של תהליכי עבודה.
כדי לנהל את מחזור החיים של הקוד ב-Dataform, אתם יכולים ליצור סביבות הרצה כמו פיתוח, Staging וייצור.
מבוא למחזור החיים של הקוד ב-Dataform
אתם יכולים לבחור אם לשמור את סביבות ההפעלה במאגר אחד או בכמה מאגרים.
סביבות הרצה במאגר אחד
אתם יכולים ליצור סביבות הרצה מבודדות, כמו פיתוח, Staging וייצור, במאגר Dataform אחד באמצעות שינויים מברירת המחדל של הידור סביבת העבודה והגדרות של גרסאות.
אפשר ליצור סביבות הרצה מבודדות בדרכים הבאות:
- לפצל טבלאות פיתוח וייצור לפי סכימה.
- פיצול טבלאות פיתוח וייצור לפי סכימה ופרויקט Google Cloud .
- פיצול טבלאות פיתוח, Staging וייצור לפי Google Cloud פרויקט.
לאחר מכן, תוכלו לתזמן הרצות בסביבות Staging וסביבת ייצור באמצעות הגדרות של תהליכי עבודה. מומלץ להפעיל את ההרצות באופן ידני בסביבת הפיתוח.
למידע נוסף על שיטות מומלצות לניהול מחזור החיים של תהליך העבודה ב-Dataform, קראו את המאמר שיטות מומלצות למחזור החיים של תהליך העבודה.
מחזור החיים של הקוד בכמה מאגרים
כדי להתאים את הרשאות ניהול הזהויות והרשאות הגישה לכל שלב במחזור החיים של הקוד, אתם יכולים ליצור כמה עותקים של מאגר ולשמור אותם בפרויקטים שונים ב- Google Cloud .
כל פרויקט ב- Google Cloud משמש כסביבת הרצה שתואמת לשלב במחזור החיים של הקוד – לדוגמה, פיתוח וייצור.
בגישה הזו, מומלץ לשמור על בסיס קוד זהה של המאגר בכל הפרויקטים. כדי להתאים אישית את ההידור וההפעלה בכל עותק של המאגר, משתמשים בשינוי הגדרות ההידור של סביבת העבודה, בהגדרות הגרסה ובהגדרות תהליך העבודה.
סקירה כללית על גודל המאגר
בקטע הזה נסביר איך גודל המאגר משפיע על פיתוח תהליך העבודה ועל השימוש במשאבי ההידור של Dataform, ואיך להעריך את השימוש במשאבי ההידור של המאגר.
מידע על גודל המאגר ב-Dataform
גודל המאגר משפיע על ההיבטים הבאים של הפיתוח ב-Dataform:
שיתוף פעולה. אם כמה שותפי עריכה עובדים על מאגר גדול, הם יכולים ליצור מספר מוגזם של בקשות משיכה, מה שמגדיל את הסיכון להתנגשויות במיזוג.
קריאוּת של בסיס הקוד. אם יש מספר גדול של קבצים שמרכיבים תהליך עבודה במאגר אחד, יכול להיות שיהיה קשה לנווט במאגר.
תהליכי פיתוח. יכול להיות שחלקים מסוימים בתהליך עבודה גדול במאגר אחד ידרשו הרשאות או תהליכים בהתאמה אישית, כמו תזמון, ששונים מההרשאות ומהתהליכים שחלים על שאר תהליך העבודה. מאגר גדול מקשה על התאמת תהליכי הפיתוח לאזורים ספציפיים בתהליך העבודה.
קומפילציה של תהליך עבודה. ב-Dataform יש מכסות שימוש במשאבי הידור. אם המאגר גדול, יכול להיות שתחרגו מהמגבלות האלה וההידור ייכשל.
ביצוע של תהליך העבודה. במהלך ההפעלה, Dataform מריץ את קוד המאגר בתוך סביבת העבודה ופורס נכסים ב-BigQuery. ככל שהמאגר גדול יותר, כך ל-Dataform לוקח יותר זמן להריץ אותו.
אם הגודל של המאגר משפיע לרעה על הפיתוח ב-Dataform, אתם יכולים לפצל את המאגר לכמה מאגרים קטנים יותר.
מידע על מגבלות המשאבים של קומפילציית מאגרים
במהלך הפיתוח, Dataform מקמפל את כל הקוד של המאגר בתוך סביבת העבודה כדי ליצור ייצוג של תהליך העבודה במאגר. התוצאה הזו נקראת תוצאת הידור. Dataform אוכף מגבלות שימוש על משאבי קומפילציה.
יכול להיות שהמאגר שלכם יחרוג ממגבלות השימוש מהסיבות הבאות:
- באג של לולאה אינסופית בקוד של המאגר.
- באג של דליפת זיכרון בקוד של המאגר.
- מאגר גדול, בערך יותר מ-1,000 פעולות של תהליך עבודה.
מידע נוסף על מגבלות השימוש במשאבי הידור זמין במאמר מגבלות על משאבי הידור ב-Dataform.
הערכת השימוש במשאבי הקומפילציה של המאגר
אתם יכולים להעריך את השימוש במשאבי ההידור הבאים במאגר:
- שימוש בזמן CPU.
- שימוש בזמן בפועל.
- הגודל הכולל המקסימלי של נתונים שעברו סריאליזציה בתרשים הפעולות שנוצר, שמוגדר במאגר.
כדי לקבל הערכה גסה של משך הזמן הנוכחי לקימפול של המאגר, אתם יכולים למדוד את משך הזמן לקימפול של תהליך העבודה ב-Dataform במכונה מקומית של Linux או macOS.
כדי לתזמן את ההידור של תהליך העבודה, מריצים במאגר את הפקודה
dataform compileשל Dataform CLI בפורמט הבא:time dataform compileבדוגמת הקוד הבאה מוצגת תוצאה של הפעלת הפקודה
time dataform compile:real 0m3.480s user 0m1.828s sys 0m0.260s
אפשר להתייחס לתוצאה של real כאינדיקטור גס לשימוש בזמן בפועל, ולתוצאה של user כאינדיקטור גס לשימוש בזמן ה-CPU לצורך הידור המאגר.
כדי לקבל הערכה גסה של הגודל הכולל של תרשים הפעולות שנוצר במאגר, אפשר לכתוב את הפלט של התרשים לקובץ JSON. אפשר להתייחס לגודל של קובץ ה-JSON הלא דחוס כאינדיקטור גס לגודל התרשים הכולל.
כדי לכתוב את הפלט של התרשים המקומפל של תהליך העבודה לקובץ JSON, מריצים את הפקודה הבאה של Dataform CLI בתוך המאגר:
dataform compile --json > graph.json
פיצול מאגרים
בקטע הזה נסביר על אסטרטגיות לפיצול מאגר ב-Dataform ולניהול יחסי תלות בין מאגרים.
מאגרים הם יחידות הליבה ב-Dataform. במאגר מאוחסנים כל קובצי ה-SQLX וה-JavaScript שמרכיבים את תהליך העבודה, וגם קובצי התצורה והחבילות של Dataform. אתם יכולים לאחסן תהליך עבודה במאגר אחד, או לפצל אותו בין כמה מאגרים.
לפיצול מאגר ב-Dataform יש כמה יתרונות:
- עמידה במגבלות המשאבים של הידור (compilation) ב-Dataform. פיצול של תהליך עבודה גדול לכמה מאגרים קטנים יותר מפחית את הסיכון לחריגה מהמגבלות של Dataform על משאבי הידור.
- תהליכי טחינה דקה. אתם יכולים להגדיר תהליכים, כמו כללי שילוב רציף (CI), בנפרד לכל חלק מפוצל של תהליך העבודה ולצוות שמפתח אותו.
- הרשאות מפורטות. כדי לשפר את האבטחה הכוללת של תהליך העבודה, אתם יכולים להגדיר הרשאות בנפרד לכל חלק בתהליך העבודה ולצוות שמפתח אותו.
- שיפור שיתוף הפעולה על ידי צמצום מספר השותפים שעובדים על כל חלק מפוצל בתהליך העבודה.
- שיפור הקריאוּת של בסיס הקוד. אם מפצלים את הקבצים שמרכיבים תהליך עבודה גדול לכמה מאגרים, קל יותר לנווט בכל מאגר בנפרד מאשר לנווט בכל תהליך העבודה בבת אחת.
- האצת הביצוע של תהליך העבודה של כל חלק מפוצל בתהליך העבודה, בהשוואה לביצוע של תהליך העבודה כולו.
לפיצול מאגר ב-Dataform יש את החסרונות הבאים:
- צריך להגדיר אינטגרציה רציפה (CI) ופיתוח רציף (CD) בהתאמה אישית לכל מאגר Dataform ולמאגר Git התואם שלו.
- צריך להגדיר תזמון בהתאמה אישית לכל מאגר Dataform ולמאגר Git התואם שלו.
- קושי בניהול יחסי תלות בין האובייקטים של תהליך העבודה שמאוחסנים בכמה מאגרים.
- אין תצוגה חזותית מקיפה של גרף אציקלי מכוון (DAG) של תהליך העבודה ב-SQL שמפוצל בין כמה מאגרים. בכל מאגר, ה-DAG שנוצר מייצג רק חלק מתהליך העבודה המלא.
אסטרטגיות לפיצול מאגר
כשמפצלים מאגר, מחלקים את הקבצים שמרכיבים תהליך עבודה ראשי ב-SQL לתהליכי עבודה משניים קטנים יותר, שמאוחסנים במאגרים נפרדים של Dataform.
אפשר לפצל מאגר באחת מהדרכים הבאות:
- מאגר אחד לכל צוות פיתוח.
- מאגר אחד לכל דומיין – לדוגמה, מכירות, שיווק או לוגיסטיקה.
- מאגר מרכזי אחד ומאגר אחד לכל דומיין שמשתמש בתוכן של המאגר המרכזי כמקורות נתונים.
כדי לאחסן את תהליך העבודה הראשי בפלטפורמת אירוח של צד שלישי ב-Git, צריך לחבר כל אחד מהמאגרים הנפרדים שמכילים תהליכי עבודה משניים למאגר ייעודי של צד שלישי ב-Git.
ניהול יחסי תלות בין מאגרים
הדרך הכי יעילה לפצל מאגר היא לחלק את תהליך העבודה הראשי ב-SQL לתהליכי עבודה משניים עצמאיים, וליצור מאגרים נפרדים. מאגר עצמאי לא משתמש בתוכן של מאגר אחר כמקור נתונים. בגישה הזו לא צריך לנהל יחסי תלות בין מאגרים.
אם אי אפשר להימנע מתלויות בין מאגרים, אפשר לנהל אותן על ידי פיצול של מאגר לרצף של מאגרים, שבו מאגר תלוי במאגר הקודם ומשמש כמקור נתונים למאגר הבא. רצף המאגרים והתלויות שלהם צריך לשקף בצורה הטובה ביותר את המבנה של תהליך העבודה הראשי.
אתם יכולים ליצור יחסי תלות בין מאגרים באמצעות הצהרות על מקורות נתונים ב-Dataform. אתם יכולים להצהיר על סוג טבלה ב-BigQuery ממאגר Dataform אחר כמקור נתונים במאגר שאתם עורכים. אחרי שמצהירים על מקור נתונים, אפשר להפנות אליו כמו לכל פעולה אחרת בתהליך העבודה של Dataform, ולהשתמש בו כדי לפתח את תהליך העבודה.
כשמתזמנים את ההפעלה של תהליך עבודה שמפוצל בין מאגרים עם יחסי תלות בין מאגרים, צריך להריץ את המאגרים אחד אחרי השני לפי הסדר של יחסי התלות בין המאגרים.
מומלץ להימנע מפיצול של מאגר לקבוצת מאגרים עם יחסי תלות דו-כיווניים. תלות דו-כיוונית בין מאגרים מתרחשת כשמאגר מסוים הוא מקור נתונים למאגר אחר, וגם משתמש במאגר הזה כמקור נתונים. יחסי תלות דו-כיווניים בין מאגרים מסבכים את התזמון וההרצה של תהליך העבודה הראשי, וגם את תהליכי הפיתוח.
מבנה הקוד במאגר
בקטע הזה מתוארות שיטות מומלצות למבנה ולשמות של קובצי תהליכי עבודה בתיקיית השורש definitions של מאגר Dataform. המבנה המומלץ של הספרייה definitions משקף את השלבים של תהליך העבודה. אתם יכולים לבחור כל מבנה שמתאים לצרכים של העסק שלכם.
כדאי לארגן את קוד תהליך העבודה בספרייה definitions מהסיבות הבאות:
- שיפור שיתוף הפעולה בבסיס הקוד על ידי הקצאת צוותים לחלקים נבחרים בתהליך העבודה.
- שיפור יכולת התחזוקה של תהליך העבודה במקרה של שינויים ארגוניים.
- לשפר את הניווט בבסיס הקוד.
- שיפור יכולת ההתאמה של בסיס הקוד.
- צמצום העומס האדמיניסטרטיבי על הצוות.
המבנה המומלץ של הספרייה definitions
תיקיית השורש definitions במאגר של Dataform מכילה קוד שיוצר רכיבים של תהליך העבודה. אפשר לארגן את הקבצים בספרייה definitions במבנה של ספריות שמשקף את מבנה תהליך העבודה.
כשמפתחים תהליך עבודה, מגדירים טבלאות מקור ומשנים אותן כדי ליצור טבלאות פלט שאפשר להשתמש בהן למטרות עסקיות או למטרות ניתוח.
אפשר להבחין בין שלושה שלבים עיקריים בתהליך העבודה:
- הצהרה על מקורות נתונים.
- טרנספורמציה של נתוני המקור.
- הגדרה של טבלאות פלט מנתוני המקור שעברו טרנספורמציה.
המבנה הבא של ספריות המשנה בספרייה definitions משקף את השלבים העיקריים בתהליך העבודה:
sources- הצהרות על מקורות נתונים וטרנספורמציה בסיסית של נתוני המקור, למשל סינון.
intermediate- טבלאות ופעולות שקוראות מ-
sourcesומשנות נתונים לפני שמשתמשים בנתונים שעברו שינוי כדי להגדיר טבלאותoutputs. בדרך כלל, הטבלאות לא נחשפות לתהליכים או לכלים נוספים, כמו כלים של בינה עסקית (BI), אחרי ש-Dataform מריץ אותן ב-BigQuery. outputs- הגדרות של טבלאות שמשמשות תהליכים או כלים, כמו BI, אחרי ש-Dataform מריץ אותן ב-BigQuery.
extra- קבצים מחוץ לצינור עיבוד הנתונים הראשי של תהליך העבודה – לדוגמה, קבצים שמכילים נתונים של תהליך העבודה שהוכנו לשימוש נוסף, כמו למידת מכונה. ספריית משנה אופציונלית בהתאמה אישית.
שיטות מומלצות להשגת היעד sources
ספריית המשנה sources מכילה את השלב הראשון בתהליך העבודה: ההצהרה והטרנספורמציה הבסיסית של נתוני המקור.
בספריית המשנה sources, מאחסנים הצהרות של מקורות נתונים וטבלאות שמסננות, מסווגות, ממירות או משנות את השמות של העמודות.
אל תאחסנו טבלאות שמשלבות נתונים ממקורות שונים.
המרת נתונים של sources בטבלאות שמאוחסנות בספריית המשנה intermediate.
אם אתם מצהירים על מקורות נתונים מכמה מאגרים, למשל Google Ads או Google Analytics, הקצו ספריית משנה לכל מאגר.
בדוגמה הבאה מוצג מבנה של ספריית משנה של sources עם שני מאגרי מקור:
definitions/
sources/
google_ads/
google_ads_filtered.sqlx
google_ads_criteria_metrics.sqlx
google_ads_criteria_metrics_filtered.sqlx
google_ads_labels.sqlx
google_ads_labels_filtered.sqlx
google_analytics/
google_analytics_users.sqlx
google_analytics_users_filtered.sqlx
google_analytics_sessions.sqlx
אם אתם מצהירים על כמה טבלאות של מקורות נתונים באותה סכימה, אתם יכולים לאחד את ההצהרות שלהן לקובץ JavaScript אחד.
מידע נוסף על יצירת הצהרות של מקורות נתונים באמצעות JavaScript זמין במאמר יצירת תהליכי עבודה באמצעות JavaScript בלבד.
בדוגמת הקוד הבאה מוצגים כמה מקורות נתונים בסכימה אחת, שמוצהרים בקובץ JavaScript אחד:
[
"source_table_1",
"source_table_2",
"source_table_3"
].forEach((name) =>
declare({
database: "gcp_project",
schema: "source_dataset",
name,
})
);
כדי להגן על תהליך העבודה מפני שינויים במקור הנתונים, אפשר ליצור תצוגה לכל הצהרה על מקור נתונים – לדוגמה, analytics_users_filtered.sqlx.
התצוגה יכולה להכיל את הסינון והעיצוב הבסיסיים של נתוני המקור.
שומרים את התצוגות בספריית המשנה sources.
אחר כך, כשיוצרים טבלאות intermediate או outputs, מפנים לתצוגות במקום לטבלאות המקור הגולמיות. כך אפשר לבדוק את טבלאות המקור.
אם טבלת המקור משתנה, אתם יכולים לשנות את התצוגה שלה – למשל, להוסיף מסננים או לשנות את סוג הנתונים.
שיטות מומלצות להשגת היעד intermediate
ספריית המשנה intermediate מכילה את השלב השני בתהליך העבודה: הטרנספורמציה והצבירה של נתוני המקור ממקור אחד או יותר.
בספריית המשנה intermediate, מאחסנים קבצים שמשנים באופן משמעותי את נתוני המקור ממקור אחד או יותר בספריית המשנה sources – לדוגמה, טבלאות שמצרפות נתונים. בדרך כלל, טבלאות בספריית המשנה intermediate שולפות נתונים מטבלאות מקור או מטבלאות אחרות של intermediate.
משתמשים בטבלאות של intermediate כדי ליצור טבלאות של outputs. בדרך כלל, אחרי ש-Dataform מריץ את הטבלאות של intermediate ל-BigQuery, לא משתמשים בהן למטרות נוספות, כמו ניתוח נתונים. אפשר לחשוב על טבלאות intermediate בתור הלוגיקה של טרנספורמציית הנתונים שמאפשרת ליצור טבלאות פלט.
מומלץ לתעד ולבדוק את כל הטבלאות של intermediate.
שיטות מומלצות להשגת היעד outputs
ספריית המשנה outputs מכילה את השלב הסופי בתהליך העבודה: יצירת טבלאות פלט למטרות עסקיות מהנתונים שעברו טרנספורמציה.
בספרייה outputs, מאחסנים טבלאות שמתכננים להשתמש בהן בתהליכים או בכלים נוספים אחרי ש-Dataform מריץ אותן ב-BigQuery – לדוגמה, דוחות או מרכזי בקרה. בדרך כלל, טבלאות בספרייה outputs שולפות נתונים מהטבלאות intermediate.
מקבוצים את הטבלאות של outputs לפי הישות העסקית שאליה הן קשורות, למשל: שיווק, הזמנות או ניתוח נתונים. מקצים ספריית משנה לכל ישות עסקית.
כדי לאחסן טבלאות פלט בנפרד ב-BigQuery, אתם יכולים להגדיר סכימה ייעודית לטבלאות פלט. להוראות להגדרת סכימת טבלה, ראו שינוי הגדרות הטבלה.
בדוגמה הבאה מוצג מבנה של ספריית משנה של outputs עם ישויות עסקיות של sales ו-marketing:
definitions/
outputs/
orders/
orders.sqlx
returns.sqlx
sales/
sales.sqlx
revenue.sqlx
marketing/
campaigns.sqlx
מומלץ לתעד ולבדוק את כל הטבלאות של outputs.
אסטרטגיית מתן שמות
השמות של כל הקבצים ב-Dataform צריכים לעמוד בהנחיות למתן שמות לטבלאות ב-BigQuery.
מומלץ ששמות הקבצים בספרייה definitions במאגר Dataform ישקפו את מבנה ספריית המשנה.
בספריית המשנה sources, שמות הקבצים צריכים להצביע על המקור שאליו הקובץ קשור. מוסיפים את שם המקור כתחילית לשמות הקבצים, לדוגמה: analytics_filtered.sqlx
בספריית המשנה intermediate, שמות הקבצים צריכים לזהות את ספריית המשנה, כדי ששותפי העריכה יוכלו להבחין בבירור בקבצים של intermediate.
בוחרים קידומת ייחודית ומחילים אותה רק על קבצים בספרייה intermediate, לדוגמה stg_ads_concept.sqlx.
בספריית המשנה outputs, שמות הקבצים צריכים להיות תמציתיים, למשל orders.sqlx. אם יש לכם outputs טבלאות עם אותם שמות בספריות משנה שונות של ישויות, הוסיפו קידומת שמזהה את הישות – לדוגמה, sales_revenue.sqlx או ads_revenue.sqlx.
בדוגמה הבאה מוצג מבנה של ספריית משנה בתוך הספרייה definitions, עם שמות קבצים שתואמים לאסטרטגיית מתן השמות המומלצת:
definitions/
sources/
google_analytics.sqlx
google_analytics_filtered.sqlx
intermediate/
stg_analytics_concept.sqlx
outputs/
customers.sqlx
sales/
sales.sqlx
sales_revenue.sqlx
ads/
campaigns.sqlx
ads_revenue.sqlx
שיטות מומלצות להידור ולתזמון
כשמגדירים הפעלות מתוזמנות ותהליכי עבודה של תזמור למאגר, כדאי לפעול לפי השיטות המומלצות הבאות כדי להבטיח הידור אמין:
- שימוש בהגדרות של גרסאות להרצות מתוזמנות בסביבת הייצור: הגדרת גרסה מקמפלת את הקוד במאגר לפי לוח זמנים צפוי ושומרת את תוצאת הקימפול. כשצינורות עיבוד הנתונים של סביבת הייצור פועלים, הם פועלים מול התוצאה השמורה הזו באופן מיידי בלי ליזום בקשות לאחזור מהרשת למאגר Git המרוחק.
- הגבלת הקומפילציה של commitish למשימות פיתוח ולמשימות בתדירות נמוכה: קריאה ל-
CreateCompilationResultישירות ב-commitish של Git, כמו הסתעפות, תג או SHA של commit, מחייבת את Dataform לשכפל את המאגר דרך הרשת בכל הפעלה. מומלץ להימנע מהגדרת משימות cron בסביבת הייצור או DAG של תזמור כדי לבצע קומפילציה חוזרת מ-commitish של Git בתדירות גבוהה. - הגדרת ניסיונות חוזרים אוטומטיים ולוחות זמנים מדורגים: אם הארכיטקטורה שלכם דורשת הידור מ-Git commitish בתזמונים חיצוניים, הגדירו ניסיונות חוזרים אוטומטיים עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) וטיימרים מדורגים של cron בו-זמנית. דוגמאות מפורטות לקוד ניסיון חוזר ושלבים לפתרון בעיות זמינים במאמר לא ניתן לגשת למאגר המרוחק.
המאמרים הבאים
- במאמר מבוא למחזור החיים של הקוד ב-Dataform מוסבר בהרחבה על מחזור החיים של הקוד ב-Dataform ועל הדרכים השונות להגדיר אותו.
- למידע נוסף על שיטות מומלצות למחזור החיים של תהליך העבודה, קראו את המאמר שיטות מומלצות למחזור החיים של תהליך העבודה.
- מידע נוסף על מגבלות המשאבים של הידור ב-Dataform
- במאמר קישור למאגר Git של צד שלישי מוסבר איך מקשרים מאגר Dataform למאגר Git של צד שלישי.
- סקירה כללית על תהליכי עבודה ב-Dataform