שימוש ב-Knowledge Catalog עם BigQuery

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לנהל באופן מרכזי את המטא-נתונים של BigQuery ולספק גישה אליהם באמצעות סוכנים. למידע נוסף, ראו סקירה כללית על Knowledge Catalog.

איך משתמשים ב-Knowledge Catalog עם BigQuery?

‫Knowledge Catalog פועל עם BigQuery בדרכים הבאות:

הטמעה אוטומטית של מטא-נתונים

ב-Knowledge Catalog מתבצעים באופן אוטומטי גילוי ואינדוקס של מטא-נתונים טכניים מנכסי BigQuery. המצב הזה כולל את האפשרויות הבאות:

ייצוג והעשרה של מטא-נתונים

  • רשומות: כל טבלה או נכס ב-BigQuery מיוצגים כרשומה בקטלוג, ולא כטבלה כולה, לדוגמה project.dataset.table.
  • שילוב של כרטיס מידע על איכות הנתונים: ב-Knowledge Catalog יש כרטיס מידע על איכות הנתונים לכל רשומה בקטלוג. בנוסף לסריקות הנתונים המובנות של Knowledge Catalog, תוצאות של טענות נכונות (assertions) מ-Dataform הן מקור לכרטיס המידע הזה.

  • העשרת מטא-נתונים אוטומטית: בטבלאות ובתצוגות שנוצרו באמצעות Dataform, אתם יכולים להגדיר מטא-נתונים סמנטיים ישירות בקוד. המטא-נתונים האלה מסונכרנים באופן אוטומטי עם Knowledge Catalog אחרי שפעולת צינור עיבוד הנתונים מסתיימת בהצלחה. אלה סוגי ההיבטים שנתמכים:

    • סקירה כללית: מסמכי תיעוד וטקסט סיכום של הרשומה.
    • היבטים כלליים: תגי מטא-נתונים סמנטיים לפרטים טכניים, כמו מידע על המערכת וסוג הטבלה.

    כדי לבדוק את הסטטוס של עדכון המטא-נתונים, פועלים לפי ההוראות במאמר הצגת הפעלות ידניות קודמות.

    אחרי שהמטא-נתונים סונכרנו, אתם יכולים לחפש את הרשומה ב-Knowledge Catalog ולצפות בה. למידע נוסף, קראו את המאמר חיפוש משאבים.

  • מטא-נתונים ברמת העמודה: עמודות או שדות ספציפיים מיוצגים כנתיבים, וכך אפשר לצרף מטא-נתונים ספציפיים, כמו סמני פרטים אישיים מזהים (PII) או ציוני איכות נתונים, לשדות ספציפיים בטבלה ב-BigQuery, ולא רק לטבלה עצמה.

  • היבטים: המטא-נתונים הטכניים מועשרים בהיבטים שמוסיפים הקשר עסקי לנתונים, כמו בעלות, איכות הנתונים ותיעוד.

  • מוצרי נתונים: אתם יכולים לארוז נכסים קשורים של BigQuery במוצרי נתונים – לדוגמה, נתונים עסקיים של מסחר אלקטרוני – שיש להם אילוצי גישה ומשילות משותפים.

  • חיפוש סמנטי: המשתמשים יכולים להשתמש בשפה טבעית כדי לחפש נתונים ב-BigQuery. האפשרות הזו שימושית במיוחד למדעני נתונים ולסוכני AI שרוצים למצוא מוצרי נתונים מהימנים באמצעות שאילתות ארוכות או מורכבות.
  • תרגום שמות: כדי שיהיה קל יותר לחפש באופן פרוגרמטי, המערכת מאפשרת לתרגם שמות של BigQuery SQL, או שמות מלאים, לשמות של רשומות ב-Knowledge Catalog.

גישה וביסוס של סוכנים

  • גישה אג'נטית: סוכני AI יכולים לגלות את הכלים של Knowledge Catalog ולהשתמש בהם באופן דינמי דרך שרת MCP מקומי או מרוחק.
  • הקשר לסוכני AI: ב-Knowledge Catalog אפשר ליצור תרשים הקשר שמקשר בין מערכי נתונים ב-BigQuery לבין סמנטיקה עסקית. כך אפשר לצמצם את ההזיות של ה-AI ולוודא שהמודלים משתמשים בנתונים שאושרו על ידי הארגון.

ניהול ותאימות

  • שושלת נתונים: Knowledge Catalog עוקב באופן אוטומטי אחרי האופן שבו הנתונים זורמים ומשתנים בטבלאות ב-BigQuery ומחוצה להן. היכולת הזו קריטית לביקורת של מידע אישי רגיש, כמו פרטים אישיים מזהים (PII), בכל נכסי הנתונים.
  • בקרת גישה: ניהול המטא-נתונים משולב עם ניהול זהויות והרשאות גישה (IAM) ועם VPC Service Controls, כדי לוודא שהגילוי והגישה למטא-נתונים של BigQuery מתבצעים בהתאם למדיניות האבטחה של הארגון.

המאמרים הבאים

מידע נוסף על Knowledge Catalog: