הצגת קשרים בין נתונים ב-Knowledge Catalog

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מגלה קישורים פוטנציאליים בין נכסי נתונים, ועוזר לכם לגלות את הנתונים הקשורים ולהבין את אופי הקשר.

לפני שמתחילים

לפני שצופים בקשרים בין נכסי נתונים, צריך לוודא שהוקצו לכם התפקידים הנדרשים.

התפקידים הנדרשים

כדי לראות את הקשרים בין נכסי נתונים ב-Knowledge Catalog, לא צריך תפקידי IAM ספציפיים ל-Knowledge Catalog. כדי לקבוע אם אתם יכולים לראות את הקשרים, Knowledge Catalog משתמש בהרשאות הקיימות שלכם במערכות המקוריות שבהן נמצאים הנכסים, כמו BigQuery. לדוגמה, כדי לראות קשרים שכוללים טבלה ב-BigQuery, צריך את ההרשאה bigquery.tables.get.

אם אין לכם הרשאה לצפות בנכס במערכת המקור שלו, בתרשים הקשרים של Knowledge Catalog יוסתרו כל הקשרים שכוללים את הנכס הזה. כך אפשר לוודא שהתצוגה של הקשרים תואמת לגבולות האבטחה ולהרשאות שנקבעו במערכות המקור.

מידע על קשרים בין נתונים

קשרי הגומלין בין הנתונים ממחישים את הקשר בין נכסי הנתונים. לדוגמה, אם מאתרים טבלה עם נתוני לקוחות, הקשרים שלה יכולים לחשוף טבלאות קשורות עם רשימת הזמנות או כרטיסי תמיכה. בנוסף, הקשרים משמשים כמדריך מבני, ומספקים הקשר חיוני למודלים של שפה גדולה. כתוצאה מכך, ה-AI יוצר תשובות מדויקות יותר ומנסח שאילתות מדויקות כדי לאחזר מידע ספציפי.

‫Knowledge Catalog מגלה ושומר באופן אוטומטי קשרים נפוצים בין נכסי הנתונים. נתוני הקשר מגיעים ממקורות שונים, כמו:

  • Knowledge Catalog של יומני השאילתות ההיסטוריים מנתח באופן רציף את היסטוריית השאילתות כדי לזהות דפוסי JOIN פוטנציאליים בין טבלאות.
  • תובנות לגבי נתונים מציעות קשרים בין נתונים לפי דרישה, על ידי ניתוח מאפייני סכימה וחפיפות נתונים באמצעות מודלים גדולים של שפה.

נכסי נתונים נתמכים

אפשר לראות את קשרי הנתונים של טבלאות ותצוגות מפורטות ב-BigQuery.

הצגת הקשרים בין הנתונים

כדי לראות את קשרי הנתונים של טבלאות ותצוגות ב-BigQuery, אפשר להשתמש בGoogle Cloud מסוף או ב-Dataplex API.

console

כדי לראות את קשרי הנתונים של טבלה ב-BigQuery:

  1. במסוף Google Cloud , עוברים לדף Search ב-Knowledge Catalog.

    מעבר אל חיפוש

  2. מחפשים טבלה ב-BigQuery שרוצים לראות את הקשרים שלה.

  3. בתוצאות החיפוש, לוחצים על שם הטבלה כדי לפתוח את דף הערך שלה.

  4. בכרטיסייה קשרי גומלין אפשר לראות את הפרטים הבאים על כל קשר בין נתונים:

    • יעד: השם של נכס הנתונים המקושר.
    • קשר גומלין: העמודות הספציפיות שמשמשות לקישור הנכסים.
    • סוג: אופי הקישור. לדוגמה, גם הצטרפויות תכופות וגם קשרים שהתגלו על ידי תובנות מנתונים מופיעים כ-JOIN.

    • מקור: המקור של הקשר.

      • ‫Query history הוא המקור להצטרפות תכופה.
      • ‫Data insights הוא המקור של הקשרים שמתגלים על ידי תובנות מנתונים.

    • פעולה: שאילתה לדוגמה שאפשר להשתמש בה כדי לגלות את הקשר בין הנכסים.

REST

הקשרים שמתגלים מאוחסנים ב-Knowledge Catalog כEntryLinks שיוצרים קשר בין שני נכסי נתונים (רשומות) ב-Knowledge Catalog. הפרטים על הקשר, כמו העמודות המצורפות ומקור הקשר, נשמרים כהיבטים של EntryLinks.

כדי לראות את הקשרים בין הנתונים, אפשר להשתמש בשיטות הבאות:

  • ‫LookupEntryLinks מאחזר את כל EntryLinks שמפנים לרשומה ספציפית של נתונים כמקור או כיעד, כדי להחזיר את כל קבוצת הקשרים שמשויכים לרשומה נתונה.

  • ‫LookupContext מספק נקודת קצה (endpoint) יחידה להצגת סוכני AI עם מטא-נתונים הקשריים. היא מחזירה חבילה תמציתית של מטא-נתונים בפורמט מוגדר מראש, כולל נכסי נתונים קשורים.

מיקומים

אפשר להשתמש בקשרים בין נתונים בכל המיקומים של BigQuery.

מגבלות

  • Knowledge Catalog מנתח מדגם של היסטוריית השאילתות כדי לזהות קשרים, ולכן יכול להיות שחלק מהשאילתות לא יובילו לגילוי קישורים.
  • יכול להיות שיחלפו עד 72 שעות אחרי הפעלת השאילתה עד שהקשרים יתגלו.

המאמרים הבאים