אם אתם מפתחים סוכני AI, אתם יכולים להשתמש ב-OpenTelemetry באפליקציות שלכם כדי לבדוק איך הסוכנים מסיקים מסקנות, מפעילים כלים ומגיבים להנחיות. במדריך הזה מוסבר איך לתעד נתוני טלמטריה של סוכנים באמצעות מסגרות כמו LangGraph והערכה לפיתוח סוכנים (ADK), ואיך לנתח הנחיות ותשובות מולטי-מודאליות ב-Cloud Trace.
הוספת מכשור לסוכנים כדי להבין את ההתנהגות שלהם
כשאתם מפתחים או מנהלים אפליקציות של AI גנרטיבי, נתוני הטלמטריה מתעדים את שלבי החשיבה, הקריאות לכלים והאינטראקציות החיצוניות של הסוכנים האוטונומיים. הנתונים האלה שימושיים מהסיבות הבאות:
- הבנת התנהגות לא דטרמיניסטית: תהליך החשיבה של הנציג הוא לא דטרמיניסטי, ולכן טלמטריה היא הדרך היחידה לבדוק את ההחלטות שהנציג מקבל ואת הכלים שהוא בוחר.
- פתרון בעיות ואבחון שגיאות: בעזרת המעקבים אפשר לזהות בקשות API שנכשלו, לולאות אינסופיות של הרצה וצווארי בקבוק שגורמים לעיכובים ב-Agentic Workflows מבוזרים.
- תמיכה בפיקוח ואימות תנועה: בעזרת נתוני הטלמטריה אפשר להציג באופן חזותי את תהליכי התקשורת, למשל בטופולוגיית האפליקציה, כדי לוודא שהסוכנים מתקשרים רק עם סוכנים מורשים, שרתי MCP ונקודות קצה חיצוניות.
- הערכת איכות הפלט והעלות: איסוף הנחיות, תשובות ושימוש באסימונים עוזר לכם להעריך את דיוק המודל, לזהות הזיות ולשפר את צריכת המשאבים.
איך אפשר להטמיע כלים באפליקציות שלכם שמבוססות על AI גנרטיבי
כדי להוסיף לאפליקציה כלי מדידה, צריך ליצור נתוני טלמטריה ולשלוח אותם ליעד שבו אפשר לאחסן את הנתונים, לשלוח אליהם שאילתות ולנתח אותם. לדוגמה, כשהכלים שולחים נתוני טלמטריה לפרויקט ב- Google Cloud , אתם יכולים להשתמש ב-Google Cloud Observability כדי לראות ולנתח את הנתונים האלה.
Cloud Trace מחלץ באופן אוטומטי אירועים מ-spans שנכתבו על ידי אפליקציות של AI גנרטיבי, כשה-spans האלה תואמים למוסכמות הסמנטיות של spans ואירועים. למידע נוסף על המוסכמות האלה, אפשר לעיין במסמכים הבאים:
ב-Cloud Trace אפשר גם להציג הנחיות ותשובות מולטי-מודאליות. במקרה כזה, ההנחיות והתשובות שלכם לא מצורפות לנתוני המעקב. במקום זאת, הם מאוחסנים בקטגוריה של Cloud Storage. מידע נוסף על ההגדרה הזו זמין במאמר איסוף וצפייה בהנחיות ובתשובות מולטי-מודאליות.
שיטות מומלצות
מומלץ להוסיף לאפליקציה כלי מדידה באמצעות OpenTelemetry, פרויקט בקוד פתוח שמספק מסגרת מאוחדת להוספת כלי מדידה לאפליקציות. הדוגמאות למדידת אינסטרומנטציה שמופיעות במאמר הזה משתמשות ב-OpenTelemetry.
אנחנו גם ממליצים לאחסן את ההנחיות והתשובות בקטגוריה של Cloud Storage במקום ברשומת יומן:
יש לכם שליטה מפורטת על התוכן בקטגוריה של Cloud Storage. לדוגמה, אתם יכולים למחוק שיחות ספציפיות שמאוחסנות בקטגוריה. עם זאת, אי אפשר למחוק רשומות יומן ספציפיות.
בקטגוריות של Cloud Storage אפשר לאחסן אובייקטים שגדולים בהרבה מהגודל המקסימלי של רשומת יומן, שמוגבל ל-256 KiB. אם הנתונים שמתקבלים חורגים מהגודל המקסימלי של רשומת יומן, Cloud Logging מחזיר שגיאת
INVALID_ARGUMENTומוחק את הנתונים. אם הפקודה מסתיימת ללא שגיאה אבל שדות מסוימים חורגים ממגבלות הגודל שלהם, Cloud Logging חותך את הנתונים האלה.
למידע נוסף על OpenTelemetry, קראו את המאמר מה זה OpenTelemetry?.
דוגמאות לאינסטרומנטציה
כדי להתחיל להשתמש בסוכן למדידת ביצועים, תוכלו להיעזר באפליקציות ובמדריכים לדוגמה הבאים:
איסוף והצגה של פרומפטים ותשובות מולטי-מודאליים: איך מגדירים סוכן LangGraph ReAct או סוכן AI גנרטיבי שנוצר באמצעות ADK כדי לאסוף פרומפטים ותשובות מולטי-מודאליים. בנוסף, מוסבר איך:
- אחסון הנחיות ותשובות בקטגוריה של Cloud Storage.
- בדף Trace Explorer אפשר לראות את ההנחיות והתשובות.
- לנתח הנחיות ותשובות באמצעות BigQuery.
- להעריך הנחיות ותשובות באמצעות Vertex AI SDK ל-Python.
הוספת מכשור לסוכן LangGraph ReAct באמצעות OpenTelemetry: איך משתמשים ב-OpenTelemetry כדי להוסיף מכשור לאפליקציית AI גנרטיבי שמשתמשת ב-LangChain או ב-LangGraph framework. בנוסף, יש קישור לאפליקציה לדוגמה שאפשר להוריד ולהפעיל. האפליקציה לדוגמה אוספת פרומפטים טקסטואליים ותשובות.
במאמר הוספת כלים לאפליקציות ADK באמצעות OpenTelemetry מוסבר איך להפעיל כלים מובנים שאוספים נתוני טלמטריה מהפעולות העיקריות של הנציג. הנתונים האלה כוללים פרומפטים טקסטואליים ותשובות של הסוכן. הוא גם מקשר לאפליקציה לדוגמה שאפשר להוריד ולהפעיל. האפליקציה לדוגמה אוספת פרומפטים טקסטואליים ותשובות.
במאמר בדיקת קריאות ל-MCP באמצעות יומן מעקב מוסבר איך להגדיר את האפליקציה כך שתעביר את הקשר יומן המעקב לשרתי MCP מרוחקים של Google Cloud, כדי שהשרתים האלה יוכלו לצרף יחידות לוגיות למעקב ליומן מעקב.