סקירה כללית של יכולות מבוססות-סוכנים ב-Managed Airflow

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

היכולות של סוכנים ב-Managed Airflow מאפשרות לקבל תובנות לגבי תקינות הסביבה והמדדים שלה, לאבחן ולפתור בעיות בתהליכי עבודה שנכשלו, לחבר סוכני פיתוח חיצוניים לסביבות באמצעות Model Context Protocol‏ (MCP) ולהחיל המלצות אוטומטיות לטלמטריה והעברות.

סוכן Managed Airflow

בתיבת הדו-שיח 'שאלת סוכן' מוצגת תשובה של סוכן Managed Airflow לשאלה 'למה הסביבה שלי לא תקינה?' התשובה היא שיצירת הסביבה נכשלה.
איור 1. שיחה עם סוכן Managed Airflow (אפשר ללחוץ כדי להגדיל)

הסוכן של Managed Airflow יכול לעזור לכם:

  • לזהות בעיות קיימות או פוטנציאליות או צווארי בקבוק ולבצע אופטימיזציה של הביצועים בסביבה שלכם.
  • הסבר, אבחון ופתרון של בעיות במשימות Airflow שנכשלו ובהרצות של DAG. ניתוח של ביצוע המשימה.
  • קבלת תובנות לגבי מדדים ומידע על מעקב בסביבה.

כדי לבדוק הפעלות של DAG שנכשלו ומופעים של משימות, מתחילים שיחה עם הסוכן של Managed Airflow במסוף Google Cloud . כדי להתחיל בחקירת שורש הבעיה, לוחצים על הלחצן Investigate (חקירה) עבור הפעלות DAG שנכשלו ומופעי משימות.

הסוכן של Managed Airflow מספק דוחות אבחון מובנים, שכוללים:

  • תיאור הבעיה
  • ראיות עם קטעי יומן וחותמות זמן
  • המלצות מעשיות לתיקון

שרת מרוחק של Model Context Protocol‏ (MCP)

שרת Model Context Protocol‏ (MCP) מספק ממשק JSON-RPC בתקן פתוח שמאפשר לסוכני מפתחים חיצוניים, כמו Gemini Code Assist,‏ Gemini CLI,‏ ChatGPT,‏ Claude,‏ Cursor,‏ Goose או כלים בהתאמה אישית, לקיים אינטראקציה עם סביבות Managed Airflow.

שרת ה-MCP המרוחק מספק את היכולות והכלים הבאים:

  • פעולות במחזור החיים של הסביבה: יצירה ומחיקה של סביבות, הצגת רשימה של סביבות, קבלת פרטים על סביבה והתקנה של חבילות PyPI.
  • פעולות DAG: הצגת רשימת DAG, הפעלת ריצות DAG ובדיקת מצב הביצוע של DAG ומשימות.
  • אחזור אבחון: אחזור יומני משימות ובדיקת שגיאות ביצוע.

יכול להיות שתרצו לאפשר רק כלים לקריאה בלבד בסביבות מסוימות באמצעות מדיניות הארגון. בכלים של MCP שהם לקריאה בלבד, המאפיין MCP‏ mcp.tool.isReadOnly מוגדר כ-True.

אופטימיזציה של הסביבה שמבוססת על טלמטריה

כדי לבצע אופטימיזציה של סביבות על סמך נתוני טלמטריה, אפשר להשתמש במיומנות ההמלצות של Data Agent Kit (gcp-managed-airflow-recommendations).

הסקיל של ההמלצות מספק ניתוח טלמטרי אוטומטי של המדדים הבאים:

  • ניצול המעבד (CPU) והזיכרון של עומס העבודה.
  • תדירות ההפעלה מחדש של העובד ומתזמן המשימות.
  • זמן האחזור של ניתוח ה-DAG.
  • היגיינה של קטגוריות ב-Cloud Storage.

על סמך ניתוח הטלמטריה, המיומנות מציעה הנחיות מפורטות לשינוי אפשרויות ההגדרה של Airflow, לאופטימיזציה של שינוי גודל אוטומטי של עובדים ומתזמנים ולטיפול בצווארי בקבוק של משאבים.

עזרה בהעברת DAG

כדי להפוך את ההעברות והשדרוגים של תהליכי העבודה לאוטומטיים, אפשר להשתמש במיומנות ההעברה של Data Agent Kit (gcp-managed-airflow-migrations).

מיומנות ההעברה מפעילה תהליך עבודה לשדרוג שכולל ארבעה שלבים:

  1. ניתוח סטטי של תלות ובדיקות תאימות: ניתוח קוד באמצעות כלים כמו כללי לינטינג של Ruff ל-Airflow.
  2. מתכונים אוטומטיים לתיקון: יצירת תיקונים להוצאה משימוש ולעדכונים של ספקים, כמו עדכונים של חבילת ספק Google.
  3. ארגון מחדש של קוד DAG: ארגון מחדש אוטומטי של קוד DAG.
  4. אימות ואישור: מוודאים שהזרימות שהועברו נכונות.

מגבלות

היכולות האג'נטיות ב-Managed Airflow מוגבלות באופן הבא.

מיקום אחסון הנתונים ועיבוד שיחות:

  • הסוכן המנוהל של Airflow במסוף מבוסס על Conversational Analytics API, שפועל בהתאם למדיניות משלו בנושא מיקום הנתונים.
  • ההנחיות והשיחות ב-Chat יכולות לעבור עיבוד באזור גיאוגרפי או במספר אזורים שונים מאלה שבהם נמצאים סביבת Managed Airflow והנתונים שלכם.

תפקידים ואימות ב-IAM:

  • כדי להשתמש בשרת MCP מרוחק, צריך להקצות תפקידי IAM מפורשים: roles/serviceusage.serviceUsageAdmin כדי להפעיל את השירות ו- roles/mcp.toolUser כדי להריץ קריאות לכלים.

  • מומלץ להשתמש בזהויות שירות ייעודיות לסוכנים חיצוניים (כמו Gemini Code Assist, ‏ Gemini CLI, ‏ ChatGPT,‏ Claude, ‏ Cursor, ‏ Goose) כדי לבדוק את הפעולות ולהגביל אותן.

  • הגישה מוגבלת על ידי פרטי הכניסה של OAuth, שמבחינים בין גישה מלאה (https://www.googleapis.com/auth/composer) לבין גישה לקריאה בלבד (https://www.googleapis.com/auth/composer.readonly).

היקף הפעילות של MCP ואמצעי הגנה על האבטחה:

  • פעולות שמשנות או מוחקות נתונים כפופות לאילוצים של מדיניות הארגון ולמדיניות של IAM בנושא דחיית גישה.

המלצות טלמטריה ומיומנויות העברה:

  • היכולת 'המלצות' (gcp-managed-airflow-recommendations) מנתחת טלמטריה (ניצול מעבד (CPU) וזיכרון, הפעלה מחדש של workers ו-Schedulers, חביון של ניתוח DAG והיגיינה של קטגוריות של Cloud Storage) ומספקת עצות לכוונון, אבל לא מיישמת שינויים בתשתית באופן אוטומטי.
  • הכלי להעברת נתונים (gcp-managed-airflow-migrations) מבצע אוטומציה של ניתוח התלות ושל שינוי מבנה הקוד ב-Airflow 2.11.1 וב-Airflow 3, אבל שינויים שעלולים לשבור את הקוד דורשים אימות ידני ואימות של הבדיקה.

עיון בתנאים ובהסכמי רמת השירות (SLA):

  • היכולות שזמינות בגרסת טרום-השקה או באמצעות פרמטרים של מודל בגרסת טרום-השקה פועלות בהתאם לתנאים של מוצרים בשלב טרום-GA, ולא חלים עליהן הסכמי רמת שירות (SLA) של GA.

המאמרים הבאים