Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
כדי להפעיל אפליקציה קריטית לעסק ב-Managed Airflow, צריך שגורמים שונים יבצעו משימות שונות. הרשימה הבאה לא ממצה, אבל היא מפרטת את תחומי האחריות של Google ושל הלקוח.
תחומי האחריות של Google
הקשחה ותיקון של הרכיבים והתשתית הבסיסית של סביבת Managed Airflow, כולל אשכול Google Kubernetes Engine, מסד נתונים של Cloud SQL (שמארח את מסד הנתונים של Airflow), Pub/Sub, Artifact Registry ורכיבי סביבה אחרים. במיוחד, זה כולל שדרוג אוטומטי של התשתית הבסיסית, כולל אשכול GKE ומכונה של Cloud SQL בסביבה.
הגנה על הגישה לסביבות של Managed Airflow באמצעות שילוב של בקרת גישה שניתנת על ידי IAM, הצפנת נתונים במנוחה כברירת מחדל, מתן הצפנת אחסון נוספת בניהול הלקוח והצפנת נתונים במעבר.
Google Cloud שילובים לניהול זהויות והרשאות גישה, יומני ביקורת של Cloud ו-Cloud Key Management Service.
הגבלה ורישום ביומן של הרשאות האדמין של Google באשכולות של לקוחות, למטרות תמיכה חוזית באמצעות Access Transparency ואישור גישה מראש.
פרסום מידע על שינויים שגורמים לחוסר תאימות לדורות קודמים בין גרסאות Managed Airflow לגרסאות Airflow בנתוני הגרסה של Managed Airflow.
עדכון המאמרים בנושא Managed Airflow:
תיאור של כל הפונקציות ש-Managed Airflow מספק.
הוראות לפתרון בעיות כדי לשמור על תקינות הסביבות.
פרסום מידע על בעיות ידועות ופתרונות עקיפים (אם יש כאלה).
טיפול באירועי אבטחה קריטיים שקשורים לסביבות Managed Airflow ולתמונות Airflow שסופקו על ידי Managed Airflow (לא כולל חבילות Python שהלקוח התקין), על ידי אספקת גרסאות חדשות של הסביבה שמטפלות באירועים.
בהתאם לחבילת התמיכה של הלקוח, פתרון בעיות שקשורות לתקינות הסביבה של Managed Airflow.
תחזוקה והרחבה של הפונקציונליות של ספק Managed Airflow Terraform.
שיתוף פעולה עם קהילת Apache Airflow כדי לתחזק ולפתח אופרטורים של Google Airflow.
פתרון בעיות, ואם אפשר, תיקון בעיות בפונקציונליות העיקרית של Airflow.
תחומי האחריות של הלקוח
לשדרג לגרסאות חדשות של Managed Airflow ו-Airflow כדי להמשיך לקבל תמיכה במוצר ולפתור בעיות אבטחה, אחרי ששירות Managed Airflow יפרסם גרסה של Managed Airflow שפותרת את הבעיות.
תחזוקת הקוד של ה-DAG כדי לשמור על התאימות שלו לגרסת Airflow שבה משתמשים.
שמירה על תצורת אשכול GKE של הסביבה ללא שינוי, במיוחד כולל תכונת השדרוג האוטומטי שלה.
שמירה על הרשאות מתאימות ב-IAM לחשבון השירות של הסביבה. במיוחד, שמירה על ההרשאות שנדרשות לסוכן Managed Airflow ולחשבון השירות של הסביבה. לשמור על ההרשאות הנדרשות למפתח ה-CMEK שמשמש להצפנת סביבת Managed Airflow, ולהחליף אותו לפי הצורך.
שמירה על הרשאות מתאימות ב-IAM לקטגוריה של הסביבה ולמאגר Artifact Registry שבו מאוחסנות תמונות הרכיבים של Managed Airflow.
שמירה על הרשאות IAM תקינות לחשבון שירות שמתקין חבילות PyPI. למידע נוסף על בקרת גישה
שמירה על הרשאות מתאימות של משתמשי קצה ב-IAM ובהגדרות של בקרת הגישה בממשק המשתמש של Airflow.
שמירה על גודל מסד הנתונים של Airflow מתחת ל-16GB באמצעות DAG לתחזוקה.
לפתור את כל הבעיות בניתוח ה-DAG לפני שפונים לתמיכה של Cloud Customer Care.
לתת שמות ל-DAG בצורה נכונה (לדוגמה, בלי להשתמש בתווים בלתי נראים כמו רווח או TAB בשמות של DAG) כדי שאפשר יהיה לדווח על מדדים בצורה נכונה ל-DAG.
לשדרג את הקוד של DAGs כך שלא ישתמש באופרטורים שהוצאו משימוש, ולעבור לחלופות העדכניות שלהם. יכול להיות שאופרטורים שהוצאו משימוש יוסרו מספקי Airflow, וזה עלול להשפיע על התוכניות שלכם לשדרג לגרסה מאוחרת יותר של Managed Airflow או Airflow. האופרטורים שהוצאו משימוש גם לא מתוחזקים, וצריך להשתמש בהם "כמו שהם".
הגדרת הרשאות IAM מתאימות כשמשתמשים בקצוות עורפיים סודיים כמו Secret Manager, כדי שלחשבון השירות של הסביבה תהיה גישה אליהם.
התאמת הפרמטרים של סביבת Managed Airflow (כמו מעבד (CPU) וזיכרון לרכיבי Airflow) והגדרות Airflow כדי לעמוד בציפיות הביצועים והעומס של סביבות Managed Airflow באמצעות המדריך לאופטימיזציה של Managed Airflow והמדריך להתאמה לעומס (scaling) של הסביבה.
אל תסירו את ההרשאות שנדרשות על ידי Managed Airflow Agent וחשבונות השירות של הסביבה (הסרת ההרשאות האלה עלולה להוביל לפעולות ניהול שנכשלו או לכשלים ב-DAG ובמשימות).
להשאיר את כל השירותים וממשקי ה-API שנדרשים ל-Managed Airflow מופעלים תמיד. ליחסי התלות האלה צריכות להיות מכסות שמוגדרות ברמות שנדרשות ל-Managed Airflow.
שמירת מאגרי Artifact Registry שמארחים קובצי אימג' של קונטיינרים שמשמשים סביבות Managed Airflow.
לפעול לפי ההמלצות והשיטות המומלצות להטמעת DAG.
אבחון כשלים ב-DAG ובמשימות באמצעות ההוראות לפתרון בעיות בתזמון, לפתרון בעיות ב-DAG ולפתרון בעיות בטריגרים.
לא להתקין או להפעיל רכיבים נוספים באשכול GKE של הסביבה, שעלולים להפריע לרכיבים של Managed Airflow ולמנוע מהם לפעול בצורה תקינה.
ניהול תוכנית התאוששות מאסון (DR), כולל הגדרה וניהול של תמונות מצב כדי לעמוד בדרישות של שמירת הנתונים וההמשכיות העסקית. Google לא משחזרת סביבות שנמחקו או את הגיבויים של מסדי הנתונים שלהן.
תחזוקה של שרשרת האספקה של יחסי התלות של Python לחבילות שהלקוח מתקין. זה כולל פתרון בעיות בהתקנה שנגרמו בגלל חוסר התאמה של יחסי תלות ב-Python, והגדרת מגבלות ספציפיות לגרסאות כשמוסיפים או משנים את החבילות האלה.