מעקב אונליין מאפשר לכם לבדוק באופן רציף את איכות הנציגים בסביבת הייצור. הגישה הפרואקטיבית הזו עוזרת לזהות שינויים באיכות – ירידה ניכרת בביצועים של הנציג לאורך זמן – שנגרמים כתוצאה משינויים בהתנהגות המשתמשים או בנתונים חיצוניים. אם מגדירים מעקב אונליין, אפשר לתת ציון אסינכרוני לעקבות בזמן אמת באמצעות מדדים מוגדרים מראש ומדדים בהתאמה אישית, כדי לוודא שהנציג נשאר אמין ועומד בסטנדרטים של הביצועים.
לפני שמתחילים
כדי להפעיל מעקב אונליין אחרי הנציגים, צריך לוודא שהדרישות הבאות מתקיימות:
- פורסים את הנציג כמו שמתואר במאמר פריסת נציג.
- מוודאים שהאפשרות Cloud Trace מופעלת בפרויקט.
- (אופציונלי) אם אתם מתכננים ליצור כלים למעקב באופן פרוגרמטי, עיינו בדף הערכת הנציגים כדי לקבל הוראות לאתחול של Agent Platform SDK.
דרישות לגבי נתוני טלמטריה
כדי לבצע מעקב אונליין, הסוכן צריך לייצא אותות OpenTelemetry ספציפיים כדי לספק את ההקשר הנדרש להערכה:
Invoke agent span: חייב לכלול את המאפיינים הבאים:
-
gen_ai.agent.name: המזהה של הנציג. -
gen_ai.agent.description: תיאור קצר של מטרת הסוכן. -
gen_ai.conversation.id: מזהה ייחודי של סשן השיחה הספציפי.
-
אירועי הסקה: האירוע
gen_ai.client.inference.operation.detailsצריך לתעד:-
gen_ai.input.messages: ההנחיות שנשלחו לסוכן. -
gen_ai.output.messages: התשובות שהסוכן יוצר. -
gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת. -
gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.
-
אם אתם משתמשים ב-ערכה לפיתוח סוכנים (ADK), עליכם להפעיל את יכולות הטלמטריה האלה על ידי הגדרת משתני הסביבה הבאים:
OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'
הקלטת מדיה ב-Cloud Storage
אם הנציג משתמש בנתונים ממספר מקורות, כמו תמונות או מסמכים גדולים, מומלץ לתעד את הקלט והפלט בקטגוריה של Cloud Storage במקום להטמיע אותם ישירות בטווחים של המעקב. כדי להפעיל את זה, מגדירים את משתני הסביבה הבאים:
OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'
מידע נוסף זמין במאמר איסוף פרומפטים מולטי-מודאליים ותשובות.
איך פועלים שירותי מעקב אונליין
המעקבים אונליין פועלים בלולאת הערכה מתוזמנת, בדרך כלל כל 10 דקות. הלולאה פועלת לפי השלבים הבאים:
- שאילתה: נתונים שנדגמו מ-Cloud Trace ומ-Cloud Logging על סמך המסננים שלכם.
- הערכה: הפעלת מדדים שהוגדרו באמצעות שירות ההערכה של פלטפורמת הסוכנים של Gemini Enterprise.
- דיווח: כתיבת התוצאות בחזרה ל-Cloud Logging וייצוא של ציונים מספריים ל-Cloud Monitoring.
יצירת מעקב אונליין
במסוף Google Cloud , נכנסים לדף Agent Platform > Agents > Evaluation.
בוחרים בכרטיסייה מעקב אונליין ולוחצים על מעקב חדש.
ציון מסנני מעקב:
- Agent engine: בוחרים את הנציג שרוצים לעקוב אחריו מהתפריט הנפתח.
- קריטריונים לסינון: בוחרים אם להעריך את כל המעקבים של הנציג או להחיל קריטריונים ספציפיים לסינון.
הגדרת קריטריונים לסינון (אם משתמשים בעקבות מסוננות):
- בדיקה ראשונית: בוחרים מסגרת זמן (לדוגמה, Last 1 day) כדי לראות תצוגה מקדימה של נתוני המעקב בסביבת הייצור שתואמים למסנן.
- מסננים: מזינים קריטריונים כדי לטרגט תנועה ספציפית. אפשר לסנן לפי מאפיינים כמו
Duration(לדוגמה,Duration > 2) אוToken usage.
הגדרת מדדים: מוסיפים את המדדים שרוצים לעקוב אחריהם באופן רציף, כמו בטיחות.
הגדרת דגימה:
- אחוז הדגימה: מגדירים את אחוז התנועה בזמן אמת שרוצים להעריך.
- מספר דגימות מקסימלי לכל הרצה: הגדירו מגבלה כדי לנהל את עלויות ההערכה.
לוחצים על יצירה.
ניהול המסכים
אחרי שיוצרים מעקב, אפשר לנהל אותו מהרשימה מעקבים באינטרנט:
- מתג הסטטוס: לוחצים על אפשרויות נוספות more_vert ובוחרים באפשרות הפעלה או השבתה כדי להשהות את ההערכה בלי למחוק את ההגדרה.
- השהיה והמשך: משתמשים באפשרויות נוספות more_vert כדי לעצור את ההערכה באופן זמני.
- Duplicate: יצירת מעקב חדש עם הגדרות שמולאו מראש ממעקב קיים.
- הצגת נתוני מעקב: לוחצים על הקישור View traces בעמודה Sampled traces של מוניטור כדי לעבור ישירות לנתוני המעקב המסוננים בכרטיסייה Traces של הסוכן.
הצגת התוצאות בלוח הבקרה של יכולת התצפית
כדי לראות את מדדי ההערכה לצד אותות אחרים של ביצועים:
- במסוף Google Cloud , נכנסים לדף Agent Platform > Agents.
- בתפריט הניווט הימני, לוחצים על Deployments.
בוחרים את הסוכן.
בתצוגה Dashboard, בוחרים בקטע המשנה Evaluation כדי לראות תרשימים של סדרות זמנים למדדים שהגדרתם, כמו איכות התשובה, בטיחות ושיעורי ההזיות.
הצגת תוצאות של מעקבים ספציפיים
אתם יכולים גם לבדוק את תוצאות ההערכה של שיחות ספציפיות ישירות בתצוגת המעקבים:
- במסוף Google Cloud , נכנסים לכרטיסייה Traces של הנציג.
- בוחרים סשן או מעקב מהטבלה כדי לפתוח את חלונית הפרטים.
- לוחצים על הכרטיסייה הערכה כדי לראות את הציונים והנימוקים לאינטראקציה הספציפית הזו.
פתרון בעיות במסכים אונליין
אם הכלי למעקב אונליין פעיל אבל לא מופיעות תוצאות במרכז הבקרה:
- אימות הטלמטריה: מוודאים שהסוכן מייצא בצורה נכונה את האירועים והטווחים הנדרשים של OpenTelemetry. בודקים ב-Cloud Trace אם המעקבים בזמן אמת מכילים את המאפיינים של
gen_ai.. - בודקים את המסננים: בודקים את הקריטריונים של המסננים במסך. משתמשים בתכונה Initial Inspection כדי לוודא שהמסננים תואמים לתנועה בסביבת הייצור.
בדיקת יומנים פנימיים: כלי הניטור אונליין כותבים מידע לאבחון ב-Cloud Logging. אם הבדיקה נכשלת, נוצר יומן שגיאות. כדי למצוא את היומנים האלה ב-Logs Explorer, מחפשים את מזהה המעקב או מעקבים וסוכנים ספציפיים:
resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID" # Or search by trace or agent labels.trace="YOUR_TRACE_ID" labels.reasoning_engine_id="YOUR_AGENT_ID"