תזמון עומסי עבודה

תזמון עומסי עבודה ב-BigQuery מאפשר לתאם, להפוך לאוטומטיות ולנטר שרשראות של משימות נתונים ב-BigQuery ובשירותים חיצוניים. לא משנה אם אתם מנהלי נתונים, מנתחי נתונים או מפתחים, אתם יכולים להשתמש בכלים לתזמון מבוסס-זמן ומבוסס-אירועים כדי לנהל יחסי תלות ולהריץ עומסי עבודה עם כמה שלבים ברצף.

בחירת שיטת תזמון

כדי לבחור שיטת תזמון, צריך לזהות אם עומסי העבודה מבוססים על אירועים, על זמן או על שניהם. אירוע מוגדר כשינוי מצב, כמו שינוי בנתונים במסד נתונים או הוספת קובץ למערכת אחסון. בתזמון מבוסס-אירועים, פעולה באתר עשויה להפעיל פעילות נתונים, או שצריך לעבד אובייקט שמגיע לקטגוריה מסוימת מיד עם הגעתו. בתזמון מבוסס-זמן, יכול להיות שצריך לטעון נתונים חדשים פעם ביום או בתדירות גבוהה מספיק כדי להפיק דוחות שעתיים. אפשר להשתמש בתזמון מבוסס-אירועים ומבוסס-זמן בתרחישים שבהם צריך לטעון אובייקטים ל-data lake בזמן אמת, אבל דוחות הפעילות ב-data lake נוצרים רק פעם ביום.

בחירת כלי לתזמון פגישות

כלי תזמון עוזרים במשימות שקשורות לניהול עומסי עבודה מורכבים של נתונים, כמו שילוב של כמה שירותי Google Cloud או שירותי צד שלישי עם משימות ב-BigQuery, או הרצה של כמה משימות ב-BigQuery במקביל. לכל עומס עבודה יש דרישות ייחודיות לניהול יחסי תלות ופרמטרים, כדי להבטיח שהמשימות יבוצעו בסדר הנכון באמצעות הנתונים הנכונים. ב- Google Cloud יש כמה אפשרויות לתזמון, שמבוססות על שיטת התזמון ועל הדרישות של עומס העבודה.

ברוב המקרים, מומלץ להשתמש ב-Dataform, ב-Workflows, ב-Managed Airflow או ב-Vertex AI Pipelines. בטבלה הבאה מוצגת השוואה בטבלה:

Dataform תהליכי עבודה Managed Airflow Vertex AI Pipelines
מיקוד טרנספורמציית נתונים מיקרו-שירותים (microservices) ETL או ELT למידת מכונה
מורכבות * ** *** **
פרופיל משתמש מנתח נתונים או אדמין אדריכל נתונים מהנדס מערכות מידע מנתח נתונים
סוג הקוד ‫JavaScript, ‏ SQL, Python notebooks ‫YAML או JSON Python Python
בלי שרת (serverless)? כן כן מנוהל באופן מלא כן
לא מתאים ל- שרשראות של שירותים חיצוניים טרנספורמציה ועיבוד של נתונים צינורות עיבוד נתונים עם זמן אחזור נמוך או מונחי אירועים משימות שקשורות לתשתית

בקטעים הבאים מפורטים כלי התזמון האלה וכמה כלים נוספים.

שאילתות מתוזמנות

הדרך הפשוטה ביותר לתזמן עומסי עבודה היא לתזמן שאילתות חוזרות ישירות ב-BigQuery. זו הגישה הכי פחות מורכבת לתזמון, אבל אנחנו ממליצים עליה רק לשרשראות שאילתות פשוטות בלי תלויות חיצוניות. שאילתות שמתוזמנות בדרך הזו צריכות להיכתב ב-GoogleSQL, ויכולות לכלול פקודות של שפת הגדרת נתונים (DDL) ושפת טיפול בנתונים (DML).

שיטת התזמון: מבוססת-זמן

Dataform

‫Dataform הוא מסגרת טרנספורמציה חינמית מבוססת-SQL, שמתזמנת משימות מורכבות של טרנספורמציית נתונים ב-BigQuery. כשאתם טוענים נתונים גולמיים ל-BigQuery, אתם יכולים להשתמש ב-Dataform כדי ליצור אוסף מאורגן, נבדק ומנוהל גרסאות של מערכי נתונים וטבלאות. אתם יכולים להשתמש ב-Dataform כדי לתזמן הפעלות של הכנות הנתונים, ה-Notebooks וצינורות עיבוד הנתונים ב-BigQuery.

שיטת התזמון: מבוססת-זמן

Workflows

Workflows הוא כלי ללא שרת (serverless) שמתזמן שירותים מבוססי-HTTP עם זמן אחזור נמוך מאוד. הוא מתאים במיוחד לשרשור של מיקרו-שירותים, לאוטומציה של משימות תשתית, לשילוב עם מערכות חיצוניות או ליצירת רצף של פעולות ב- Google Cloud. במאמר הרצת כמה משימות BigQuery במקביל מוסבר איך משתמשים ב-Workflows עם BigQuery.

שיטת תזמון: מבוססת-אירועים ומבוססת-זמן

Managed Service for Apache Airflow

‫Managed Airflow הוא כלי מנוהל שמבוסס על Apache Airflow. זו הפלטפורמה המאוחדת המומלצת לארגונים לכל הנתונים העמידים ברמת הייצור ותהליכי העבודה של MLOps.

הכלי Managed Airflow מתאים במיוחד לניהול תהליכים עסקיים מורכבים מקצה לקצה שכוללים מערכות הטרוגניות, כמו חילוץ נתונים מ-BigQuery, הפעלת אימון מנוהל ב-Gemini Enterprise Agent Platform ועדכון לוחות בקרה חיצוניים כמו Looker.

ב-Managed Airflow יש ספרייה עם יותר מ-1,000 אופרטורים מובנים לשילובים חלקים, כך שלא צריך ליצור קונטיינרים בהתאמה אישית למשימות שלא קשורות ל-ML. בנוסף, בעזרת מסגרת YAML ההצהרתית, מדעני נתונים יכולים להשתמש בשירות עצמי כדי ליצור צינורות עיבוד נתונים ברמת ייצור, בלי צורך במומחיות מעמיקה ב-Airflow.

למידע נוסף על השימוש ב-Managed Airflow עם BigQuery, קראו את המאמר הפעלת DAG לניתוח נתונים ב- Google Cloud.

שיטת התזמון: מבוססת-זמן ומבוססת-אירועים

‫Gemini Enterprise Agent Platform Pipelines

‫Agent Platform Pipelines הוא כלי בלי שרת (serverless) שמבוסס על Kubeflow Pipelines, ונועד לשמש כפתרון למשימות ספציפיות ל-ML שמבוססות על קונטיינרים.

‫Agent Platform Pipelines מתאים לתהליכי עבודה עצמאיים שנשארים רק בסביבה של Agent Platform.

אתם יכולים להשתמש ב-Agent Platform Pipelines כאפשרות פשוטה לתשלום לפי הרצה, למשימות כמו תזמון משימות אימון מנוהלות ייעודיות ב-Gemini Enterprise Agent Platform או הרצת ניסויים טהורים שמתמקדים ב-Agent Platform.

במאמר ייצוא ופריסה של מודל למידת מכונה של BigQuery ‏(BQML) לצורך חיזוי מוסבר איך משתמשים ב-Vertex AI Pipelines עם BigQuery.

שיטת התזמון: מבוססת-אירועים

Apigee Integration

Apigee Integration הוא תוסף לפלטפורמת Apigee שכולל מחברים וכלים לטרנספורמציה של נתונים. הוא מתאים במיוחד לשילוב עם אפליקציות ארגוניות חיצוניות, כמו Salesforce. במאמר תחילת השימוש ב-Apigee Integration ובטריגר של Salesforce מוסבר איך משתמשים ב-Apigee Integration עם BigQuery.

שיטת תזמון: מבוססת-אירועים ומבוססת-זמן

Cloud Data Fusion

‫Cloud Data Fusion הוא כלי לשילוב נתונים שמציע צינורות עיבוד נתונים של ELT/ETL ללא קוד, ויותר מ-150 מחברים וטרנספורמציות שהוגדרו מראש. איך משכפלים נתונים מ-MySQL ל-BigQuery

שיטת תזמון: מבוססת-אירועים ומבוססת-זמן

Cloud Scheduler

‫Cloud Scheduler הוא מתזמן מנוהל באופן מלא למשימות כמו סטרימינג באצווה או פעולות תשתית שצריכות להתרחש במרווחי זמן מוגדרים. כדי ללמוד עוד על השימוש ב-Cloud Scheduler עם BigQuery, ראו איך מתזמנים תהליכי עבודה באמצעות Cloud Scheduler.

שיטת התזמון: מבוססת-זמן

Cloud Tasks

‫Cloud Tasks הוא שירות שמנוהל במלואו להפצה אסינכרונית של משימות שיכולות לפעול באופן עצמאי, מחוץ לעומס העבודה הראשי. היא מתאימה במיוחד להקצאת פעולות איטיות ברקע או לניהול קצבי הקריאות ל-API. למידע נוסף על השימוש ב-Cloud Tasks עם BigQuery, קראו את המאמר הוספת משימה לתור משימות של Cloud Tasks.

שיטת התזמון: מבוססת-אירועים

כלי צד שלישי

אפשר גם להתחבר ל-BigQuery באמצעות כמה כלים פופולריים של צד שלישי, כמו CData ו-SnapLogic. בתוכנית BigQuery Ready יש רשימה מלאה של פתרונות מאומתים של שותפים.

כלי העברת ההודעות

בהרבה עומסי עבודה של נתונים נדרשים חיבורים נוספים להעברת הודעות בין מיקרו-שירותים מנותקים, שצריך להפעיל רק כשמתרחשים אירועים מסוימים. ב-Google Cloud יש שני כלים שמיועדים לשילוב עם BigQuery.

Pub/Sub

‫Pub/Sub הוא כלי אסינכרוני להעברת הודעות בצינורות עיבוד נתונים לשילוב נתונים. הוא נועד להטמיע ולהפיץ נתונים כמו אירועים בשרת ואינטראקציות של משתמשים. אפשר להשתמש בו גם לעיבוד מקביל ולהעברת נתונים בסטרימינג ממכשירי IoT. איך משתמשים ב-Pub/Sub עם BigQuery

Eventarc

‫Eventarc הוא כלי מבוסס-אירועים שמאפשר לנהל את זרימת השינויים במצב לאורך פייפליין הנתונים. לכלי הזה יש מגוון רחב של תרחישי שימוש, כולל תיקון שגיאות אוטומטי, הוספת תוויות למשאבים, ריטוש תמונות ועוד. מידע נוסף על השימוש ב-Eventarc עם BigQuery זמין במאמר בניית צינור עיבוד נתונים ב-BigQuery באמצעות Eventarc.

המאמרים הבאים