גישה למדדים

במאמר הזה מוסבר איך לגשת למדדים שנוצרו על ידי אפליקציית Gemini Enterprise. המדדים האלה מספקים תובנות לגבי הביצועים והתקינות של האפליקציה.

אפשר להציג את נתוני הטלמטריה של המדדים באמצעות Metrics Explorer או ישירות בסוכנים בודדים באמצעות הכרטיסייה Observability של הסוכן.

מושגים מרכזיים

בקטע הזה נסביר על מושגים מרכזיים שקשורים ליכולת הצפייה ב-Gemini Enterprise.

קונספט	תיאור
מדדים	מדדים הם מדידות מספריות שהמערכות אוספות לאורך זמן. המדידות האלה מייצגות את הביצועים, את השימוש במשאבים או את ההתנהגות של מערכת. מהנדסים משתמשים במדדים כדי לעקוב אחרי תקינות המערכת, לזהות מגמות ולהפעיל התראות.
מדדים ברמת הסוכן	מדדים שמודדים את הפעילות של סוכן ספציפי, כמו הסשנים, תחלופת המסרים והפעלות הכלים שלו. הם מפורטים בסוג המשאב Gemini Enterprise Agent, והם נאספים רק כשהגדרת הנראות Enable instrumentation of OpenTelemetry traces and logs מופעלת עבור הסוכן הזה.
מדדים ברמת האפליקציה	מדדים שמודדים את כל התנועה לאפליקציה ולא לסוכן יחיד, כמו מספר הבקשות והחביון מקצה לקצה. הם מופיעים בקטע Gemini Enterprise Engine בסוג המשאב, כאשר Engine הוא שם ה-API של אפליקציית Gemini Enterprise. הנתונים האלה נאספים ללא קשר להגדרות הנראות.

לפני שמתחילים

חשוב לוודא שיש לכם את הפריטים הבאים:

• התפקיד אדמין של Gemini Enterprise או התפקיד Google Cloud משתמש של Gemini Enterprise במסוף.

• אפליקציית Gemini Enterprise קיימת. מידע על יצירת אפליקציה חדשה זמין במאמר יצירת אפליקציה.

• כדי לגשת אל Metrics Explorer, צריך להיות לכם התפקיד צפייה ב-Monitoring (roles/monitoring.viewer).

• מפעילים את הגדרת הנראות Enable instrumentation of OpenTelemetry traces and logs (הפעלת מכשור של מעקבים ויומנים של OpenTelemetry). בהתאם לסוג הסוכן, מפעילים את האפשרות הזו בהגדרות ברמת האפליקציה (בסוכן Core Assistant) או בכרטיסייה Configuration של הסוכן (בסוכנים שנוצרו על ידי עובדים ב-Workflow Builder ובסוכני Deep Research). מידע נוסף מופיע במאמר בנושא ניהול הגדרות של יכולת תצפית. ההגדרה הזו נדרשת למדדים בהיקף הסוכן. המדדים בהיקף האפליקציה, שמפורטים בקטע Gemini Enterprise Engine, נאספים בלי זה.

שמירת נתונים

המדדים שנוצרו על ידי אפליקציית Gemini Enterprise מאוחסנים ב-Cloud Monitoring בפרויקט Google Cloud , והשמירה שלהם מתבצעת בהתאם למדיניות של Cloud Monitoring. מדדים של Gemini Enterprise מתפרסמים עם הקידומת discoveryengine.googleapis.com/, והם נכללים ברמה 'כל שאר המדדיםGoogle Cloud '. כברירת מחדל, הם נשמרים למשך 6 שבועות. נתונים ישנים יותר מתקופת השמירה נמחקים באופן אוטומטי. כדי לראות את ערכי השמירה המוסמכים והעדכניים ביותר, אפשר לעיין במאמר בנושא שמירת נתונים במסמכי המכסות והמגבלות של Cloud Monitoring.

גישה למדדים ב-Metrics Explorer

כדי לגשת למדדים:

1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

   לדף Metrics Explorer

2. בוחרים את הפרויקט Google Cloud שבו נוצרה אפליקציית Gemini Enterprise.

3. לוחצים על Select a metric (בחירת מדד) כדי לפתוח את סרגל החיפוש.

4. בסרגל החיפוש, מחפשים את המדדים הבאים:

   הערה: נתוני המדדים מתעדכנים כל דקה. לשמות המדדים מתווספת קידומת של המשאב שהם מוגבלים אליו. האפליקציה שלכם מיוצגת על ידי סוג המשאב Gemini Enterprise Engine, שהוא שם ה-API של אפליקציית Gemini Enterprise.

   שם המדד	תיאור
   Gemini Enterprise Agent - Gemini Enterprise Agent Session Count	מספר הסשנים שטופלו על ידי סוכן Gemini Enterprise.
   Gemini Enterprise Agent - Gemini Enterprise Agent Tool Count	מספר הפעמים שבהן סוכן Gemini Enterprise הפעיל כלים.
   Gemini Enterprise Agent - Gemini Enterprise Agent Turn Count	מספר התורות בשיחה בסשנים של סוכן Gemini Enterprise.
   Gemini Enterprise Agent - Gemini Enterprise Agent Total Latency	החביון הכולל של התשובות מסוכן Gemini Enterprise.
   Gemini Enterprise Agent - Gemini Enterprise Agent Tool Total Latency	החביון הכולל שנוצר כתוצאה מהפעלות של כלים בסוכן Gemini Enterprise.
   Gemini Enterprise DataConnector - Gemini Enterprise DataConnector Request Count	המספר הכולל של הבקשות שנשלחו למחברי הנתונים של Gemini Enterprise (נקראים גם מאגרי נתונים במסוף Google Cloud ).
   ‫Gemini Enterprise DataConnector – Gemini Enterprise DataConnector זמני האחזור של הבקשות	‫(Beta) זמן האחזור של בקשות שנשלחות למחברים של נתונים ב-Gemini Enterprise (נקראים גם מאגרי נתונים במסוף Google Cloud ) במילישניות.
   Gemini Enterprise Engine - Gemini Enterprise Engine Request Count	המספר הכולל של בקשות שהתקבלו באפליקציית Gemini Enterprise, בכל התנועה לאפליקציה ולא רק מסוכן יחיד. פירוט לפי שיטת API, קוד תגובה קנוני של gRPC , סיווג קוד התגובה, סוג השאילתה והמודל.
   Gemini Enterprise Engine - Gemini Enterprise Engine Request Total Latency	הפילוג של זמן האחזור של בקשות מקצה לקצה באפליקציית Gemini Enterprise. נרשם לכל בקשה, כולל בקשות שמחזירות שגיאה.
   Gemini Enterprise Engine – זמן האחזור של Gemini Enterprise Engine עד לקבלת התשובה הראשונה	הפיזור של זמן האחזור בין קבלת בקשה לבין סטרימינג של טוקן התשובה הראשון. הערך הזה מתועד רק לבקשות שמניבות לפחות טוקן תשובה אחד.
   ‫Gemini Enterprise Engine – זמן ההמתנה עד לטוקן הראשון של Gemini Enterprise Engine	התפלגות זמן האחזור בין קבלת בקשה לבין סטרימינג של הטוקן הראשון, בין אם הטוקן הזה הוא חלק מתהליך החשיבה של המודל או תשובה סופית. הנתון הזה נרשם רק עבור בקשות שמפיקות לפחות אסימון אחד בסטרימינג.

5. בוחרים את המדד שרוצים לחקור ולוחצים על אישור.

6. אפשר גם להגדיר מסנני תוויות נוספים, רכיבי צבירה ולשנות את טווח הזמן.

   הערה: מידע נוסף על שימוש ב-Metrics Explorer זמין במאמר יצירת תרשימים באמצעות Metrics Explorer.

   

גישה למדדים של סוכנים

אפשר גם לראות לוחות בקרה של מדדים תפעוליים, מדדים שספציפיים לכלי ומדדי סשנים ישירות עבור סוכנים ספציפיים בכרטיסייה Observability של הסוכן במסוף Google Cloud .

הערה: הכרטיסייה Observability זמינה לסוכני Core Assistant, לסוכני Workflow Builder ולסוכני Deep Research.

כדי לגשת למדדים של סוכן:

1. במסוף Google Cloud , עוברים לאפליקציה ולוחצים על Agents (סוכנים).
2. בוחרים את הסוכן שרוצים לבדוק ולוחצים על הכרטיסייה Observability (יכולת צפייה).

בכרטיסייה Observability (יכולת תצפית) מוצגים נתוני טלמטריה תפעוליים מרכזיים שמחולקים לארבע תצוגות: Overview (סקירה כללית), Tools (כלים), Latency (חביון) ו-Error rate (שיעור השגיאות).

מדדים בדף הסקירה הכללית

בתצוגה הזו יש מרכז שליטה עם סיכום של נתוני סשן סטנדרטיים ונתוני תקינות של סוכנים, כולל:

• סשנים: סה"כ מספר הסשנים של המשתמשים.
• משך הזמן הממוצע לסשן: משך הזמן הממוצע שחלף במהלך סשן.
• הפעלות של סוכן: מספר הפעמים הכולל שבוצעו קריאות לסוכן.
• זמן הטעינה של הסוכן: זמן הטעינה לאורך זמן ומדדים ספציפיים.
• תנועה של סוכנים: נפח הבקשות הנכנסות.
• שיעור השגיאות של הסוכן: אחוז ההפעלות של הסוכן שנכשלו.

מדדים של כלים

בתצוגה הזו מתמקדים בשימוש בכלי ובזמן האחזור של כלים שמחוברים לסוכן, כולל:

• סה"כ קריאות: מספר הבקשות להפעלת הכלי.
• משך P95 לפי כלי: חביון הביצועים באחוזון ה-95, מסווג לפי כלי.
• מספר השיחות לפי כלי: המספר הכולל של השיחות חלקי מספר הכלים השונים.
• שיעור השגיאות לפי כלי: שיעור הכשלים בהרצות לפי כלי.
• שיעור האינטראקציות שלא הפעילו כלי: השיעור שבו אינטראקציות לא הפעילו כלי.

מדדי זמן אחזור

בתצוגה הזו אפשר לראות את זמן האחזור של התשובה של הסוכן. כל מדד מוצג ככרטיס סיכום של p50 ו-p95 לטווח הזמן שנבחר, וכתרשים של סדרת זמנים שבו מוצגים מגמות לאורך זמן. אפשר גם לסנן את מדדי זמן האחזור לפי תכונה. בתצוגה מוצגים המדדים הבאים:

• הזמן עד לטוקן הראשון (TTFT): זמן האחזור בין קבלת בקשה לבין הזרמת הטוקן הראשון, בין אם הטוקן הזה הוא חלק מתהליך החשיבה של המודל או חלק מהתשובה.
• ‫Time to First Answer (TTFA): זמן האחזור בין קבלת הבקשה לבין סטרימינג של הטוקן הראשון של התשובה, שהוא הטוקן הראשון שלא מהווה חלק מהחשיבה של המודל. אם הסוכן מתקשר לכלי אחרי שהוא מתחיל לענות, המדידה מתחילה מחדש, כך שזמן התגובה משקף את הזמן שבו התחילה ההזרמה של התשובה שהמשתמש קורא, ולא את הקריינות הזמנית.
• הזמן עד הטוקן האחרון (TTLT): זמן התגובה בין קבלת הבקשה לבין סטרימינג של הטוקן האחרון, כלומר עד שהתשובה הושלמה.

סינון מדדי השהייה לפי תכונה

תכונה היא סוג האינטראקציה שמיוצגת על ידי תור, כמו חיפוש באינטרנט או יצירת תמונה. אפשר לסנן את מדדי זמן האחזור לפי תכונה כדי לראות אילו סוגים של אינטראקציות הם האיטיים ביותר, וכדי למנוע ממדד של תכונה איטית אחת להטות את זמן האחזור הכולל.

כדי לסנן את מדדי זמן האחזור לפי תכונה:

1. בכרטיסייה Observability של הסוכן, לוחצים על התצוגה Latency.
2. לוחצים על סינון לפי תכונה.
3. בוחרים את התכונה שרוצים לבדוק.

בכרטיסי הסיכום ובתרשימי סדרות הזמן יוצגו רק הפעלות של התכונה הזו.

כדי להשוות בין כל התכונות בבת אחת, אפשר להשתמש בטבלה Features telemetry, שבה מפורטים הנתונים הבאים לגבי כל תכונה:

• נתח התנועה: אחוז הפניות שמשויכות לתכונה.
• ‫TTFT,‏ TTFA ו-TTLT: חביון p50 ו-p95 של התכונה.

אפשר לסנן באמצעות התכונות הבאות:

• פרמטריות: אינטראקציות ששולחות בקשות למודל רק לפלט טקסט, ללא כלים, כמו משימות תרגום.
• יצירת מדיה: משימות של יצירת תמונות וסרטונים.
• חיפוש באינטרנט בלבד: אינטראקציות ששולחות בקשות למודל באמצעות הכלי לחיפוש באינטרנט.
• ניתוח קבצים שהועלו: אינטראקציות ששולחות בקשות למודל לצד קבצים שהמשתמשים העלו.
• מחבר: שאילתות ששולחות בקשות למחברים פנימיים או של צד שלישי.
• ‫Canvas: משימות יצירה שמשתמשות ב-Canvas.
• מיומנות: אינטראקציות שמפעילות מיומנות.
• אחר: קטגוריה כללית לסיבובים שכוללים כמה תכונות או שלא סווגו עדיין.

מדדים של שיעור שגיאות

בתצוגה הזו אפשר לראות איך הבקשות של הסוכן נפתרות, מקובצות לפי סוג התגובה: OK (2xx), Client errors (4xx), Server errors (5xx), and Canceled. היא כוללת:

• נפח הבקשות לפי סוג תגובה: מספר הבקשות הנכנסות לאורך זמן, מוצגות בערימה לפי סוג התגובה.
• שיעור השגיאות לפי סוג תגובה: אחוז הבקשות שנכשלו לאורך זמן, מחולק לפי סוג תגובה.
• קודי שגיאה של לקוח (4xx) וקודי שגיאה של שרת (5xx): קודי התגובה הקנוניים של gRPC לאורך זמן, כמו INVALID_ARGUMENT או INTERNAL, כדי שתוכלו לדעת אילו שגיאות ספציפיות גורמות לעלייה חדה.
• סיכומים: מספר הבקשות והאחוז מכלל הבקשות לכל תוצאה בטווח הזמן שנבחר, עם טבלאות נפרדות שמדרגות את קודי השגיאה של הלקוח והשרת.

המאמרים הבאים

• יצירת לוחות בקרה עם המדדים של Gemini Enterprise. מידע נוסף זמין במאמר בנושא יצירה וניהול של לוחות בקרה בהתאמה אישית.
• יצירת התראות כשמדדים חוצים סף מסוים. מידע נוסף זמין במאמר יצירת מדיניות התראות על סמך סף של מדד
• כדי להשבית את המעקב של Metrics Explorer, ראו השבתת הגדרות של יכולת התבוננות.