בקטע הזה מתוארות אפשרויות של Google Cloud לתזמון תהליכי עבודה.
תבניות של תהליכי עבודה ב-Dataproc
תבניות של תהליכי עבודה ב-Managed Service for Apache Spark הן מנגנון גמיש וקל לשימוש לניהול ולהפעלה של תהליכי עבודה. תבנית של תהליך עבודה היא הגדרה של תהליך עבודה שאפשר לעשות בה שימוש חוזר. הוא מגדיר תרשים של משימות עם מידע על המקום שבו צריך להריץ את המשימות האלה.
Cloud Scheduler
Cloud Scheduler הוא מתזמן משימות cron ברמה שמתאימה לארגונים שמנוהל באופן מלא. הוא מאפשר לתזמן כמעט כל משימה, כולל משימות באצווה, משימות Big Data ופעולות בתשתית הענן. הוא מספק תזמון פשוט מבוסס-זמן, למשל מדי יום או מדי שעה, בלי שתצטרכו לכתוב קוד.
יתרונות:
מאפשרת ליצור מופעים של תבניות של תהליכי עבודה על בסיס זמן, בהתאם לביטויי cron מוכרים.
לא צריך לכתוב קוד
מדריך: תהליך עבודה באמצעות Cloud Scheduler
Cloud Functions
פונקציות Cloud Run הן פתרון מחשוב קל משקל שמאפשר ליצור פונקציות עצמאיות למטרה אחת, שמגיבות לאירועים ב-Cloud בלי לנהל שרת או סביבת זמן ריצה. אתם יכולים להשתמש בפונקציות Cloud Run כדי להפעיל את Workflows בתגובה לאירועים ב-Pub/Sub או לשינויים בקבצים ב-Cloud Storage. אתם יכולים להשתמש בפונקציות Cloud Run עם Cloud Scheduler לתהליכי עבודה שדורשים חישוב של פרמטרים מבוססי-זמן.
יתרונות:
מאפשר ליצור מופע של תהליך עבודה בתגובה לאירועי נתונים, כמו קבצים חדשים ב-Cloud Storage או אירועי Pub/Sub.
נדרש מעט מאוד קוד באמצעות ספריות הלקוח של Managed Service for Apache Spark ב-Go, ב-Node.js או ב-Python.
ליצור באופן דינמי תהליכי עבודה ופרמטרים של תהליכי עבודה
מדריך: תהליך עבודה באמצעות פונקציות Cloud Run
Cloud Composer
Managed Airflow הוא שירות מנוהל של Apache Airflow שמאפשר ליצור, לתזמן, לנטר ולנהל תהליכי עבודה.
יתרונות:
תמיכה בתזמון מבוסס-זמן ומבוסס-אירועים
קריאות פשוטות יותר ל-Managed Service for Apache Spark באמצעות אופרטורים
ליצור באופן דינמי תהליכי עבודה ופרמטרים של תהליכי עבודה
בניית תהליכי נתונים שכוללים כמה מוצרי Google Cloud
מדריך: תהליך עבודה באמצעות Managed Service for Apache Airflow