Knowledge Studio (גרסת טרום-השקה) הופך מטא-נתונים למנוע הקשר פעיל שעוזר לשפר את המהימנות של אפליקציות AI גנרטיבי. אתם יכולים להשתמש ב-Knowledge Studio כדי למנוע הזיות בסוכני AI, כמו ניתוח נתונים של שיחות ב-BigQuery וב-Gemini, על ידי עיגון שלהם בהקשר העסקי שלכם.
Knowledge Studio מאחד מידע מפוצל מסכימות, מוויקי ומשאילתות SQL קודמות, וכך הופך את תהליך הניהול של המטא-נתונים לאוטומטי. אתם יכולים לחקור נתונים באמצעות שפה טבעית, לנווט בתרשים הקשר חזותי שמקשר בין נכסי נתונים לסמנטיקה עסקית, ולהפעיל תהליכי עבודה אוטומטיים שמכינים טיוטות של עדכונים בקטלוג לבדיקה אנושית. לאחר מכן, תוכלו להציג באופן דינמי את בלוקי ההקשר האלה לסוכנים באמצעות Model Context Protocol (MCP) או ממשקי ה-API של Knowledge Catalog.
המסמך הזה מיועד לאדריכלי נתונים, למובילי משילות ולמהנדסי AI שרוצים להבין איך Knowledge Studio פועל.
מקטלוג פסיבי למנוע תלוי-הקשר פעיל
בקטלוגים טיפוסיים של מטא-נתונים נשמרים סכימות, תיאורים ומילוני נתונים סטטיים. מטא-נתונים סטטיים מספיקים למנתחי נתונים אנושיים שמחפשים טבלאות, אבל הם לא מספיקים לסוכני AI גנרטיבי שצריכים:
קשרים סמנטיים עמוקים: הבנה של אופן החיבור בין טבלאות בסכימות, אילו עמודות מייצגות מדדים עסקיים חשובים ואיך מילוני המונחים הארגוניים ממופים לאחסון הבסיסי.
עיגון תפעולי: שילוב דפוסי שימוש ב-SQL בעולם האמיתי, תדירות השאילתות וההנחיות והתשובות בפועל של הסוכן בהקשר.
למידה עצמית רציפה: שיפור אוטומטי של תיאורי הטבלאות, ההיבטים והגדרות העמודות על סמך משוב מהמשתמשים ושיעורי ההצלחה של הסוכן.
Knowledge Studio מספק את היכולות האלה באמצעות מנוע תלוי הקשר שפועל תמיד, מחלץ באופן רציף אותות תפעוליים, יוצר הצעות למטא-נתונים באיכות גבוהה ומספק בלוקים של הקשר בפורמט מוגדר מראש לסוכנים באמצעות Model Context Protocol (MCP) או Knowledge Catalog APIs.
ממשקי Knowledge Studio
ב-Knowledge Studio, תהליך העבודה מחולק לשלושה חלקים עיקריים:
צ'אט חדש: ממשק צ'אט לשיחה ותרשים הקשר אינטראקטיבי לגילוי נתונים, חקירה והכלי לתיקוף שאילתות סמנטיות באמצעות שפה טבעית. מידע נוסף זמין במאמר עיון בנכסי נתונים.
קבוצות הקשר: ממשק ליצירה ולניהול של מאגרים לוגיים (קבוצות של רשומות) שמכילים את המטא-נתונים המועשרים, כדי לבסס בצורה בטוחה סוכני AI במורד הזרם. מידע נוסף זמין במאמר ניהול קבוצות של הגדרות הקשר.
העשרות: מרכז בקרה ליצירת מטא-נתונים באופן אוטומטי, להגדרת נקודות השוואה להערכה ולבדיקת עדכונים בקטלוג שהוצעו על ידי AI (בקשות לשינוי) באמצעות תהליכי עבודה של ניהול תוכן שכוללים את האדם שבתהליך. מידע נוסף זמין במאמר מידע על משימות העשרה.
תרחישים אמיתיים של שימוש בכמה מוצרים
Knowledge Studio מקשר בין מחסן הנתונים, מאגרי הידע הארגוניים והאפליקציות של ה-AI הגנרטיבי. התרחישים הבאים ממחישים איך Knowledge Studio פועל בכמה מוצרים בארכיטקטורה ארגונית.
איך לבסס שאילתות בשפה טבעית ב-BigQuery
האתגר: אנליסטים עסקיים משתמשים בשפה טבעית בניתוח נתונים באמצעות שיחה כדי לשאול שאלות כמו "מה היה שיעור השימור נטו שלנו לפי אזור ברבעון האחרון?" בלי סמנטיקה עסקית מותאמת אישית, המודל עלול להזות מפתחות איחוד או לבלבל בין הזמנות ברוטו לבין הכנסה נטו.
הפתרון ב-Knowledge Studio: האנליסט משתמש בממשק New chat כדי לאמת את הקשרים בין טבלאות ה-staging של המכירות לבין
SZBank Business Glossaryהמאושר. Knowledge Studio מבסס את ניתוח השיחות על תרשים ההקשר הפעיל, כדי לוודא שה-SQL שנוצר כולל תנאי איחוד מאומתים ונוסחאות KPI סטנדרטיות.
העשרת מטא-נתונים מנוהלי עבודה סטנדרטיים (SOP) של הארגון
האתגר: צוותי הנדסת נתונים מנהלים עשרות מערכי נתונים ב-BigQuery, אבל כללי העסק הקריטיים והשושלת של צינור עיבוד הנתונים נמצאים בוויקי חיצוניים של Confluence או בכרטיסי Jira. ככל שהסכימות מתפתחות, התיעוד של הקטלוג מתיישן.
הפתרון ב-Knowledge Studio: מנהל המשילות מגדיר משימת העשרה חוזרת שמטרגטת את מערך הנתונים של Analytics. Knowledge Studio מקבל נהלים תפעוליים סטנדרטיים לא מובְנים מ-Confluence ויומני שאילתות היסטוריים מ-Cloud Logging, ומציע באופן אוטומטי הגדרות מעודכנות של עמודות וקשרים בין טבלאות. האוצרים בודקים את ההבדלים המוצעים בדף Run Details ומאשרים את העדכונים המאומתים בקטלוג.
מתן הקשר מותאם אישית לנציגים
- האתגר: מפתחי AI שיוצרים סוכני תמיכה או ייעוץ ללקוחות באמצעות LangChain או ADK צריכים סמנטיקה עדכנית של סכימה, בלי להטמיע בקוד פרטי כניסה למסד נתונים או להעמיס על ההנחיות הגדרות של טבלאות גדולות.
- הפתרון של Knowledge Studio: ב-Knowledge Studio, מטא-נתונים שנאספו ותרשימי איחוד מאומתים נשמרים בקבוצת הקשר (למשל
entryGroups/customer-360). כדי לגשת להקשר, הסוכנים יכולים להתחבר ל-Knowledge Studio באמצעות Model Context Protocol (MCP) או להשתמש בממשקי ה-API של Knowledge Catalog. בזמן ההסקה, הנציג שולח שאילתה לנקודת הקצה של MCP או לממשקי ה-API של הקטלוג כדי לאחזר באופן דינמי הקשר עסקי מאושר ושאילתות לדוגמה שרלוונטיות לכוונת המשתמש.
סקירה כללית של הארכיטקטורה
בתרשים הבא מוצג איך הרכיבים של Knowledge Studio פועלים עם נכסי הנתונים, מודלי הבסיס והאפליקציות מבוססות ה-AI:
מושגי ליבה
כדי לעבוד ביעילות עם Knowledge Studio, חשוב להבין איך המטא-נתונים של הארגון עוברים תהליכים של בניית מודלים, אריזה ואוצרוּת.
תרשים הקשר
תרשים ההקשר הוא הטופולוגיה החזותית המרכזית והאינטראקטיבית ב-Knowledge Studio. הוא מאחד את נכסי הנתונים (כמו טבלאות ב-BigQuery, תצוגות ו-lake houses) עם סמנטיקה עסקית (כמו מונחים במילון המונחים הארגוני, נוסחאות של מדדים ומוצרי נתונים). בקטלוגים רגילים, טבלת נתונים וההגדרה המשויכת אליה במילון המונחים הארגוני קיימות במאגרים נפרדים. בתרשים ההקשר, הם קיימים כצמתים
באותו קנבס. מנתחי נתונים ומהנדסים יכולים לראות באופן חזותי את הקשרים בין הנתונים שלהם, על סמך שימוש משוער, תנאי צירוף בטבלאות ועוד, ו-Gemini משתמש בתרשים כדי לבסס את החקירה בשפה טבעית. מידע נוסף זמין במאמר עיון בנכסי נתונים ב-Knowledge Studio.
סוגי המשאבים והחיבורים שנתמכים בתרשים ההקשר
בתרשים ההקשר אפשר להציג את המשאבים הבאים של Knowledge Catalog כצמתים או כמכלים:
- Tables and views: טבלאות, תצוגות, מערכי נתונים וקטלוגים טכניים של BigQuery ו-Lakehouse.
- מסדי נתונים ואחסון: מסדי נתונים תפעוליים (כמו Spanner ו-AlloyDB) ומשאבים של Cloud Storage.
- ניתוח ומודלים: פרויקטים של Looker ומודלים, בדיקות וחשיפות של dbt.
- מונחים במילון: הגדרות עסקיות ספציפיות ממילון המונחים הארגוני.
- מוצרי נתונים: חבילות נבחרות של נכסי נתונים לשימוש של צוותים שונים.
- הקשר: קבוצות של הקשרים בהתאמה אישית ומסמכים מצורפים.
- נכסים בהתאמה אישית: קבוצות של רשומות בהתאמה אישית וסוגי רשומות שלא נתמכים.
התרשים מגדיר את הקשר בין המשאבים האלה באמצעות הצגה חזותית של קצוות הקשרים הסמנטיים הבאים:
צירוף סכימה: קשרי צירוף מבניים ותפעוליים בין טבלאות. המערכת סורקת באופן אוטומטי את המשימות ב-BigQuery כדי לאתר שאילתות שמצביעות על כך שעמודות בטבלאות שונות חולקות את אותה משמעות ושאפשר לצרף אותן יחד.
הגדרה: קישורים שממפים נכס נתונים טכני או עמודה להגדרה התואמת במילון המונחים הארגוני.
הקשר: קישורים שמשייכים קבוצות הקשרים מיוחדות או תיעוד של דומיין מותאם אישית לנכס נתונים מסוים.
thought חבילות: קישורי צבירה שמראים אילו נכסי נתונים מקובצים במוצר נתונים ספציפי.
קישורים לערכים
קישור לרשומה מייצג קצה סמנטי מכוון או לא מכוון בתרשים ההקשר. הקישורים האלה מחברים באופן חזותי בין נכסי הנתונים לבין משאבים מאוחדים אחרים ב-Canvas. אתם יכולים לסנן את הקישורים האלה באופן סלקטיבי כדי לבודד קשרים ספציפיים בין הנתונים שלכם.
קישורי רשומות מחברים בין ישויות שונות בארגון:
קישורים להגדרות: קישור של עמודות בטבלה הבסיסית ישירות למונחים מאושרים במילון המונחים הארגוני ולנוסחאות של מדדי KPI.
קישורי קשרים: מיפוי של מפתח ראשי מאומת, מפתח זר ונתיבי איחוד (join) של כמה טבלאות.
קישורים למעקב אחרי סוכנים: שיוך הנחיות של משתמשי AI בעולם האמיתי לטבלאות הספציפיות ששימשו למענה עליהן.
קישורים לחבילות: צירוף קבוצות של נכסי נתונים למוצר נתונים שנאספו.
קישורי כניסה משמשים כחיבורים נפרדים שצריך לעבור כדי להרכיב קבוצות הקשר. במהלך הרצות אוטומטיות של העשרה, הנציג מציע קישורים חדשים לרשומות לאישור של האוצר בכל פעם שהוא מזהה מונחים לא מקושרים או מועמדים לצירוף.
קבוצות הקשרים
קבוצת הקשר היא מאגר מוגבל של מידע סמנטי והפניות לנכסי נתונים. כל קבוצת הקשר מוטמעת בתור קבוצת רשומות (type="context-set") ייעודית.
קבוצות ההקשרים יוצרות גבולות הרמטיים לביצוע פעולות, שמונעים מהסוכנים לבצע חיפושים פתוחים בכל הקטלוג של הארגון. השיטה הזו מפחיתה את ההזיות ואת צריכת הטוקנים.
כדי להבין את ההבדלים בין קבוצות הקשר לבין מבנים קשורים, כמו מוצרי נתונים ותרשים ההקשר הסמנטי, או כדי לקבל מידע מפורט על יכולות ארכיטקטוניות, קטגוריות, מרחבי שמות ודפוסי התייעצות עם סוכנים, קראו את הסקירה הכללית על קבוצות הקשר.
משימות והרצות של העשרה
שיפור המטא-נתונים האוטומטי ב-Knowledge Studio מאורגן לפי משימות העשרה, משימות העשרה והרצות העשרה.
משימת העשרה: הגדרה קבועה שקובעת איך סוכן ההעשרה מנתח קבוצה מטורגטת של נכסי נתונים. משימת העשרה מגדירה את קבוצת ההקשרים לטירגוט, את מקורות הקלט לפי הקשר ואת נקודות ההשוואה להערכה.
משימת העשרה: תהליך התזמור בקצה העורפי ב-Knowledge Studio שמבצע משימת העשרה.
הרצת העשרה: מופע הרצה יחיד של משימה בנקודת זמן מסוימת. בכל הפעלה, המערכת בודקת את נכסי היעד, מחלצת אותות סמנטיים ויוצרת בקשות לשינוי (הצעות) שמנהלי הנתונים יכולים לבדוק.
תרשים הקשר בהשוואה לשושלת נתונים
כדי לבחור את הכלי המתאים, חשוב להבין את ההבדל בין תרשים ההקשר של Knowledge Studio לבין שושלת הנתונים של Knowledge Catalog.
שושלת נתונים עוקבת אחרי התנועה התפעולית והטרנספורמציה הבסיסית של הנתונים לאורך זמן. שושלת היוחסין עונה על שאלות כמו: מה מקור הנתונים האלה? איזה צינור עיבוד נתונים של ETL אכלס את הטבלה הזו? אם הסכימה הזו במעלה הזרם משתנה, אילו מרכזי בקרה במורד הזרם יפסיקו לפעול? הצמתים מייצגים נכסים בסיסיים ומשימות טרנספורמציה (כמו צינורות עיבוד נתונים ב-Dataflow או משימות ב-BigQuery), והקצוות המכוונים מייצגים את זרימת הנתונים הבסיסית.
תרשים הקשר שמייצג את הסמנטיקה, הקשרים והידע בתחום של העסק. תרשים ההקשר עונה על שאלות כמו: מה המשמעות של העמודה הזו במונחים עסקיים? מה הקשר הרעיוני בין שתי הטבלאות האלה? איך סוכן ה-AI צריך לשלב את הנכסים האלה כדי לענות על שאלה? הצמתים מייצגים נכסים בסיסיים לצד ישויות קונספטואליות (כמו מונחים במילון, נוסחאות של מדדי KPI ומוצרי נתונים), והקצוות מייצגים קשרים סמנטיים (כמו קישורים בין עמודות להגדרות במילון ותנאי איחוד מאומתים).
מידע נוסף על מעקב אחר צינורות עיבוד נתונים זמין במאמר שושלת נתונים של Knowledge Catalog.
אבטחה ומשילות ברמה שמתאימה לארגונים
Knowledge Studio מבוסס על ארכיטקטורת אבטחה ברמה שמתאימה לארגונים שמיועדת לסביבות עם פיקוח קפדני.
זהות הרצה בניהול המשתמש: משימות העשרה פועלות באמצעות חשבון שירות בניהול המשתמש, שהוא זהות שאתם יוצרים ומנהלים בפרויקט כדי לאפשר לשירותים לפעול בשמכם. סוכן השירות של Dataplex (P4SA) מתחזה לחשבון השירות הזה באמצעות התפקיד יצירת אסימונים בחשבון שירות (
roles/iam.serviceAccountTokenCreator) כדי ליצור פרטי כניסה לטווח קצר מסוג OAuth 2.0. יצירת פרטי הכניסה האלה לטווח קצר מגבילה את משך החיים של טוקני הגישה, ומצמצמת את הסיכון לחשיפת פרטי הכניסה בהשוואה לשימוש במפתחות של חשבונות שירות לטווח ארוך.אימות של צד שלישי: כדי לקשר מקורות ידע מרוחקים ב-SaaS (כמו Microsoft SharePoint, Atlassian Confluence, Jira ו-GitHub), משתמשים במנהל האימות של Agent Identity ב-Google Cloud. כך מובטח שמפעילים אנושיים לא יטפלו אף פעם בסודות לקוח גולמיים.
במאמר הגדרת דרישות מוקדמות להעשרה מוסבר איך להגדיר את אמצעי האבטחה האלה.
מגבלות
משטרי תאימות של Assured Workloads (כולל FedRAMP, CJIS, IL4/IL5 ו-HIPAA).
התחייבויות לגבי מיקום אחסון הנתונים (DRZ). יכול להיות שהנתונים שהתכונה הזו מעבדת יאוחסנו או יעובדו מחוץ לגבולות הגיאוגרפיים שהגדרתם.
מפתחות הצפנה בניהול הלקוח (CMEK) הנתונים שמאוחסנים או מעובדים באמצעות התכונה הזו מוצפנים באמצעות מפתחות הצפנה שבבעלות Google וGoogle-owned and Google-managed encryption keys, במקום באמצעות Cloud Key Management Service או מפתחות Cloud EKM.
VPC Service Controls. אין תמיכה ב-VPC Service Controls.
התראות של Access Transparency (AXT) ואמצעי בקרה של אישור גישה מראש. פעולות שאנשי Google מבצעים כדי לתמוך בגרסת טרום-ההשקה הזו או לתחזק אותה לא יתועדו ב-Access Transparency Cloud Access Ledger (CAL).
במהלך גרסת טרום-השקה (Preview), Knowledge Studio פועל במסגרת המגבלות הנוספות הבאות:
היקף אזורי של קבוצת הקשרים: אין תמיכה בקבוצות הקשרים גלובליות שמקושרות לנכסי נתונים אזוריים. קבוצות ההקשר חייבות להתאים לגבולות האזוריים של הנכסים שהן כוללות.
ניהול דרך מסוף: משימות העשרה וסשנים של חקירה מנוהלים דרך מסוף Google Cloud . ממשקי API בארכיטקטורת REST ישירים ופקודות CLI של
gcloudלניהול משימות לא זמינים בגרסת טרום-השקה (Preview). עם זאת, סוכנים במורד הזרם יכולים לגלות ולשאול באופן פרוגרמטי קבוצות הקשר שנאספו באמצעות ממשקי ה-API של Knowledge Catalog (ListEntries,LookupEntry) ו-Model Context Protocol (MCP).ניהול מרכזי: כל הבדיקות והאישורים של המטא-נתונים מתבצעים בדף Enrichment run details.
אין מק"ט חיוב נפרד: ל-Knowledge Studio אין מק"טים נפרדים למוצרים. חיובי השימוש משקפים את הצריכה הרגילה של המשאבים הבסיסיים ( Gemini Reasoning Engine, BigQuery ו-Cloud Storage).
המאמרים הבאים
עיון בנכסי הנתונים ובתרשים ההקשר
אתם יכולים להשתמש בלוח הציור החזותי ב-Knowledge Studio כדי לשוחח בצ'אט עם הנתונים שלכם ולעקוב אחרי קשרים סמנטיים.
מידע על הקשר הנתונים
איך ההקשר הפעיל הופך מטא-נתונים פסיביים למידע שסוכני AI יכולים להסתמך עליו כדי למנוע הזיות.
סקירה כללית על קבוצות הקשר
מידע ולמידה על מאגרי ההקשרים הארוזים של Knowledge Studio, שמשמשים לביסוס בטוח של סוכני ה-AI במורד הזרם.
מידע על משימות העשרה
איך מגדירים תהליכי עבודה לחילוץ מטא-נתונים מבוססי-AI כדי ליצור הקשר של נתונים באופן אוטומטי.
הגדרת הקשר בסיסי לנתונים
ליצור מילון מונחים ארגוני, להגדיר סוגי היבטים בהתאמה אישית ולהעשיר נכסים ב-BigQuery.
התאמת סוכנים באמצעות MCP
מחברים סוכני AI וכלים למפתחים ל-Knowledge Catalog באמצעות Model Context Protocol.