Knowledge Catalog for AI agents

מערכות אקולוגיות של נתונים הופכות למורכבות יותר ויותר, ולכן יישומי AI צריכים יותר מסתם גישה לנתונים גולמיים. הם צריכים הקשר עסקי. ‫Knowledge Catalog הוא התפתחות של Dataplex, והוא מתמקד בהעצמת מערכות AI ואג'נטיות.

בבסיס הפלטפורמה הזו, מפה מאוחדת מקשרת בין נכסי הנתונים הפיזיים שלכם לבין סמנטיקה עסקית, כללי ניהול ויחסי שימוש. על ידי שילוב Knowledge Catalog בזרימות העבודה של ה-AI שלכם, תוכלו להשיג את הדברים הבאים:

  • לעגן סוכני AI במטא-נתונים מהימנים, עדכניים והקשריים כדי להנחות את הסוכנים בתהליך החשיבה הרציונלית.

  • לצמצם את ההזיות ולהבטיח שהתשובות של מודלים גנרטיביים יתבססו על נתונים מהימנים של הארגון.

  • לספק הקשר מאוחד – תצוגה יחידה ומנוהלת של סביבת הנתונים – לסוכני AI.

תרחישים לדוגמה

ל-Knowledge Catalog יש תפקידים שונים לאורך מחזור החיים של הנתונים וה-AI:

  • מפתחי AI ויוצרי סוכנים. מפתחים שיוצרים בוטים או סוכנים בהתאמה אישית (לדוגמה, באמצעות LangChain או הערכה לפיתוח סוכנים (ADK)) שצריכים לשלוח שאילתות לנתונים ארגוניים ולהבין אותם.

    • תרחישי שימוש: חיפוש בשפה טבעית ואחזור הקשר כדי לאפשר לסוכנים לעבוד עם נתונים ארגוניים; גילוי נתונים אג'נטי.

  • מנתחי נתונים. משתמשים בכלים מבוססי-AI כמו Gemini ב-BigQuery או ב-Looker כדי למצוא נתונים ולהבין את המשמעות העסקית שלהם.

    • תרחישי שימוש: שאילתות בשפה טבעית וחיפוש נתונים באמצעות שיחה.

  • אחראים על נתונים. מומחים בתחום שמפקחים על העשרת המטא-נתונים באמצעות AI ומוודאים את איכות ההקשר של הקטלוג.

    • תרחישי שימוש: סקירה, איסוף וקידום של מטא-דאטה ותיאורים שנוצרו על ידי בינה מלאכותית.

גישה להקשר של Knowledge Catalog באמצעות MCP

Model Context Protocol‏ (MCP) הוא גשר סטנדרטי שמאפשר לסוכני AI ולכלים להתחבר בצורה חלקה למקורות נתונים כמו Knowledge Catalog.

כדי להתאים לזרימות עבודה שונות של Deployment (פריסה), Knowledge Catalog מציע שני סוגים של יישומי MCP. הבנת מתי להשתמש בכל אחד מהם היא המפתח להגדרת הסביבה שלך:

  • שרת MCP מרוחק: בעת בניית אפליקציות ענן מקוריות, פריסת סוכנים לסביבות ללא שרת (כמו Cloud Run) או שילוב עם שירותים מנוהלים חיצוניים שבהם ברצונך להימנע מניהול תשתית מקומית.

  • Local MCP Toolbox: במהלך פיתוח סוכן מקומי, יצירת אב טיפוס מהיר או כשצריך שילוב ישיר עם סביבות פיתוח משולבות (IDE) מקומיות למחשב כמו VS Code או Cursor.

שרת MCP מרוחק

נקודת קצה שמתארחת ב-Google ומאפשרת גישה ישירה לכלים של Knowledge Catalog לאפליקציות ולשירותי AI (לדוגמה, סוכנים שפועלים ב-Cloud Run או שירותים חיצוניים כמו Claude).

  • נקודת קצה (endpoint)‏: https://dataplex.googleapis.com/mcp
  • יתרונות: אין צורך להפעיל שרת MCP מקומי; מתאים לסביבות ללא שרת.
  • הפניה: שימוש בשרת MCP מרוחק

ארגז כלים מקומי של MCP

כלי שורת פקודה שפועל כשרת proxy מקומי בין סביבת הפיתוח המשולבת (IDE) (לדוגמה, VS Code, ‏ Cursor) או כלים מקומיים לבין Knowledge Catalog.

  • התקנה: קובץ בינארי להורדה.
  • הגדרה: בדרך כלל כוללת קובץ .mcp.json או קובץ הגדרות בהגדרות של הפרויקט או של סביבת הפיתוח המשולבת (IDE).
  • יתרונות: מתאים לסביבות פיתוח מאובטחות מקומיות ולשילוב עם סביבות פיתוח משולבות (IDE) שונות.
  • הפניה: שימוש בשרת MCP מקומי

הוספת הקשר ל-Knowledge Catalog

כדי למקסם את הערך של Knowledge Catalog for AI, התרשים הבסיסי צריך להיות עשיר בהקשר עסקי. אפשר לעשות את זה באמצעות תכונות מוכנות לשימוש או באמצעות העשרה מותאמת אישית של סוכנים.

העשרה מוכנה מראש באמצעות תובנות לגבי נתונים

תובנות לגבי נתונים (מבוססות על Gemini ב-BigQuery) מעשירות את הקטלוג באופן אוטומטי, וכך מצמצמות את בעיית ה'התנעה קרה' בפלטפורמות נתונים חדשות. כשהתכונה מופעלת, היא יוצרת באופן אוטומטי את הפריטים הבאים:

  • תיאורים ברמת מערך הנתונים והעמודות.
  • גרפים של קשרים בין טבלאות.
  • דוגמאות לשאילתות שמבוססות על דפוסי שימוש היסטוריים.

כך סוכנים במורד הזרם מקבלים מיד הבנה סמנטית בלי שנדרש ניהול נתונים ידני.

לדוגמה, עבור טבלה בשם telco_churn, תובנות נתונים יכולות ליצור באופן אוטומטי תיאורים עבור שדות כמו Tenure ו-MonthlyCharges, להסיק קשרים לטבלאות לקוחות ולפרסם שאילתת דוגמה כגון מציאת שיעורי נטישה לפי פלח לקטלוג.

מידע נוסף זמין במאמר על תובנות מהנתונים לגבי נתונים מובְנים.

העשרה של הקשר באמצעות סוכנים

בארגונים עם מאגרי ידע מיוחדים, אפשר ליצור סוכני העשרה בהתאמה אישית כדי להזין מטא-נתונים ממקורות ייחודיים כמו ויקי פנימי, מאגרי קוד או מערכות קנייניות.

  • ‫Knowledge Catalog APIs (פעולות CRUD): משמשים להוספה או לעדכון של מטא-נתונים בקטלוג.

    • לדוגמה, אפשר לקרוא לשיטת UpdateEntry API כדי לצרף באופן פרוגרמטי היבט של סקירה כללית לטבלה באמצעות תיעוד שחולץ ממערכת פנימית.

  • כלים כמו ADK: משמשים ליצירת סוכני העשרה.

    • לדוגמה, אפשר ליצור סוכן ADK מבוסס-Java שמשתמש בכלים פנימיים כדי לחלץ דפי ויקי טכניים, משתמש ב-LLM כדי לנתח אותם למונחים במילון מונחים ומסנכרן את המונחים עם Knowledge Catalog.

  • פעולות ייצוא וייבוא: משמשות לעדכונים בכמות גדולה של מטא נתונים עם בדיקה.

    • לדוגמה, אפשר לייצא מילון המונחים הארגוני שנוצר על ידי AI לקובץ, לאפשר למנהלי נתונים לבדוק ולשפר את ההגדרות בשיתוף פעולה, ואז לייבא את הקובץ הסופי בחזרה לקטלוג.

המאמרים הבאים