מעקב אחרי מודלים

במאמר הזה מוסבר איך לעקוב אחרי ההתנהגות, התקינות והביצועים של המודלים בניהול מלא ב-Gemini Enterprise Agent Platform. במאמר מוסבר איך להשתמש בלוח הבקרה המובנה של ניטור המודלים כדי לקבל תובנות לגבי השימוש במודלים, לזהות בעיות של זמן אחזור ולפתור שגיאות.

תלמדו איך:

  • לגשת למרכז הבקרה של ניראות המודל ולהבין את הנתונים שמוצגים בו.
  • לצפות במדדי המעקב הזמינים.
  • מעקב אחרי התנועה בנקודת הקצה של המודל באמצעות Metrics Explorer.

איך פותחים את מרכז הבקרה של ניראות המודל ומבינים את הנתונים שבו

ב-Agent Platform יש לוח בקרה מובנה לצפייה בהתנהגות, בתקינות ובביצועים של מודלים בניהול מלא. מודלים בניהול מלא, שנקראים גם "מודל כשירות" (MaaS), מסופקים על ידי Google וכוללים את מודלי Gemini מבית Google ומודלים של שותפים עם נקודות קצה מנוהלות. מדדים ממודלים באירוח עצמי לא נכללים בלוח הבקרה.

פלטפורמת הסוכנים אוספת ומדווחת באופן אוטומטי על הפעילות ממודלים של MaaS, כדי לעזור לכם לפתור במהירות בעיות של זמן אחזור ולעקוב אחרי הקיבולת.

דוגמה ללוח בקרה של ניטור מודלים במסוף Cloud
דוגמה למרכז בקרה של ניטור מודלים

תרחיש לדוגמה

מפתחי אפליקציות יכולים לראות איך המשתמשים יוצרים אינטראקציה עם המודלים שהם חשפו. לדוגמה, אתם יכולים לראות את המגמות לאורך זמן של השימוש במודל (בקשות למודל לשנייה) ושל עוצמת המחשוב של ההנחיות של המשתמשים (זמני האחזור של הפעלת המודל). לכן, מכיוון שהמדדים האלה קשורים לשימוש במודל, אתם יכולים גם להעריך את העלויות של הפעלת כל מודל.

אם מתעוררת בעיה, אתם יכולים לפתור אותה במהירות ממרכז הבקרה. כדי לבדוק אם המודלים מגיבים בצורה מהימנה ובזמן, אתם יכולים לבדוק את שיעורי השגיאות ב-API, את זמני האחזור של הטוקן הראשון ואת קצב העברת הנתונים של הטוקנים.

מדדי המעקב הזמינים

בלוח הבקרה של ניטור המודל מוצגת קבוצת משנה של מדדים שנאספים על ידי Cloud Monitoring, כמו בקשות למודל לשנייה (QPS), תפוקת טוקנים וזמן אחזור של הטוקן הראשון. בלוח הבקרה אפשר לראות את כל המדדים הזמינים.

מגבלות

ב-Agent Platform נאספים מדדים בלוח הבקרה רק לקריאות ל-API לנקודת קצה (endpoint) של מודל. Google Cloud השימוש במסוף, כמו מדדים מ-Agent Studio, לא נוסף ללוח הבקרה.

צפייה במרכז הבקרה

  1. בקטע Agent Platform במסוף Google Cloud , נכנסים לדף Overview.

    מעבר אל Agent Platform

  2. בדף Overview, בקטע Model observability, לוחצים על Show all metrics כדי לפתוח את מרכז הבקרה של Model Observability במסוף Google Cloud Observability.

  3. כדי לראות מדדים של מודל ספציפי או במיקום מסוים, מגדירים מסנן אחד או יותר בחלק העליון של דף מרכז הבקרה.

    תיאורים של כל מדד מופיעים בקטע "aiplatform" בדף Google Cloud מדדים.

הצגת רזולוציה של שנייה אחת

בלוח הבקרה של ניראות המודל נוספות אפשרויות לרזולוציה של שנייה אחת לתרשימים הקיימים, כשהרישום ביומן של המטא-נתונים של בקשות ההסקה מופעל. האפשרויות של שנייה אחת קוראות את יומני המטא-נתונים של בקשות ההסקה במקום את המדדים המצטברים של דקה אחת, כך שהן מציגות פרצים שממוצע של דקה אחת מסתיר.

כדי להשתמש באפשרויות של שנייה אחת, צריך להפעיל בפרויקט רישום ביומן של מטא-נתונים של בקשות להסקת מסקנות, וקטגוריית יומנים ב-_Default ששודרגה ל-Observability Analytics. כדי להפעיל את הרישום ביומן, עיינו בקטע הפעלת יומני מטא-נתונים של בקשות להסקת מסקנות.

כדי לראות אותם, לוחצים על הצגת כל המדדים כדי לפתוח את מרכז הבקרה של ניטור המודל. בתרשימים שתומכים ברזולוציה של שנייה אחת יש תפריט נפתח בכותרת: Model requests per second (QPS),‏ Token count by model,‏ Model invocations by response code,‏ Model invocations error rate (%) והתרשימים בקטע Tokens. בכל תפריט נפתח, האפשרות הקיימת 1-minute resolution from metrics נשארת כברירת המחדל, ונוספת האפשרות 1-second resolution from logs. כדי לראות נקודה אחת לשנייה, בוחרים באפשרות של שנייה אחת ומגדירים את טווח הזמן ל-200 שניות או פחות. בטווחים ארוכים יותר, כל נקודה היא הממוצע לשנייה בקטגוריה שלה. עד שהרישום ביומן יופעל, באפשרויות של שנייה אחת יוצג הכיתוב "אין יומנים של בקשות להסקת מסקנות בחלון הזה". הפעילו את הרישום ביומן כדי לראות נתונים של שנייה אחת" במקרא של התרשים, והאפשרויות של דקה אחת פועלות כמו קודם.

תרשים של ניראות המודל עם האפשרות "רזולוציה של שנייה אחת"
תרשים של ניטור מודל, שבו התפריט הנפתח מוגדר לאפשרות של רזולוציה של שנייה אחת מיומני הרישום.

מעקב אחרי התנועה בנקודת הקצה של המודל

כדי לעקוב אחרי התנועה לנקודת הקצה ב-Metrics Explorer, צריך לפעול לפי ההוראות הבאות:

  1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

    כניסה ל-Metrics Explorer

  2. בוחרים את הפרויקט שרוצים לראות את המדדים שלו.

  3. בתפריט הנפתח מדד, לוחצים על בחירת מדד.

  4. בשורת החיפוש Filter by resource or metric name, מזינים Gemini Enterprise Agent Platform Endpoint.

  5. בוחרים את קטגוריית המדדים Agent Platform Endpoint > Prediction. בקטע Active metrics, בוחרים אחד מהמדדים הבאים:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    לוחצים על אישור. כדי להוסיף יותר ממדד אחד, לוחצים על Add query.

    אתם יכולים לסנן או לצבור את המדדים באמצעות התפריטים הנפתחים הבאים:

    • כדי לבחור ולהציג קבוצת משנה של נתונים על סמך קריטריונים מסוימים, משתמשים בתפריט הנפתח Filter. לדוגמה, כדי לסנן לפי המודל gemini-2.0-flash-001, משתמשים ב-endpoint_id = gemini-2p0-flash-001 (שימו לב שהתו . בגרסת המודל מוחלף ב-p).

    • כדי לשלב כמה נקודות על הגרף לערך אחד ולראות תצוגה מסוכמת של המדדים, משתמשים בתפריט הנפתח צבירה. לדוגמה, אפשר לצבור את הסכום של response_code.

  6. אפשר גם להגדיר התראות לנקודת הקצה. למידע נוסף, קראו את המאמר ניהול מדיניות התראות.

כדי להציג את המדדים שאתם מוסיפים לפרויקט באמצעות מרכז בקרה, קראו את המאמר סקירה כללית של מרכזי הבקרה.

המאמרים הבאים