ניהול נכסי נתונים באמצעות Knowledge Catalog

ב-Knowledge Catalog, המטא-נתונים של משאבי Bigtable מקוטלגים באופן אוטומטי. התכונה הזו עוזרת לכם לחפש ולנהל את נכסי הנתונים של Bigtable.

המטא-נתונים מסתנכרנים אוטומטית מ-Bigtable ל-Knowledge Catalog בשביל המשאבים הבאים של Bigtable:

  • מכונות
  • אשכולות
  • טבלאות, כולל פרטים של קבוצת עמודות

  • צפיות:

    • תצוגות מורשות
    • תצוגות מהותיות רציפות
    • תצוגות לוגיות

    לתצוגות אין רשומות בקטלוג הגלובלי. כדי לגשת למטא-נתונים של תצוגה, צריך לשלוח שאילתה לאזור שהוקצה למכונה. למידע נוסף, קראו את הקטע גישה למטא-נתונים של תצוגה במסמך הזה.

‫Knowledge Catalog הוא שירות מנוהל לניהול מטא-נתונים. הוא מספק תצוגה מאוחדת ומנגנוני תיוג למטא-נתונים טכניים ועסקיים. בסקירה הכללית של Knowledge Catalog מוסבר למה כדאי להשתמש בו.

יתרונות השימוש ב-Knowledge Catalog עם Bigtable

המידע על הנתונים שלכם ב-Knowledge Catalog עוזר לתמוך בניתוח, בשימוש חוזר בנתונים, בפיתוח אפליקציות ובניהול נתונים.

אתם יכולים לחפש רשומות ב-Knowledge Catalog לפי פרטים, כמו שם המשאב. לדוגמה, חפשו שם של מכונה כדי למצוא את הרשומה של המכונה, או חפשו קבוצת עמודות כדי למצוא את הרשומה של הטבלה. אפשר גם להשתמש בחיפוש מרובה מאפיינים, ולהחיל מסננים כדי לצמצם את החיפוש. מידע נוסף זמין במאמר חיפוש משאבים ב-Knowledge Catalog.

הטמעה וקיטלוג של תצוגות Bigtable מאפשרים לכם:

  • במלאי המרכזי אפשר למצוא נכסי נתונים מפורטים, כמו תצוגות מהותיות מורשות, לוגיות ורציפות.
  • לראות אילו תצוגות קיימות ולמי יש גישה אליהן, כדי שצוותי הניהול יוכלו להחיל כללי מדיניות ובקרות גישה.
  • כדי להבין את ההקשר, חשוב להבין איך תצוגות מורשות מתחברות לטבלאות ואיך תצוגות לוגיות ותצוגות מהותיות רציפות מתחברות למכונות.

העשרת המטא-נתונים באמצעות היבטים עוזרת להבין ולקטלג את הנתונים בטבלאות Bigtable. היבטים מאפשרים לכם לצרף מטא-נתונים עסקיים וטכניים בהתאמה אישית לרשומות מקוטלגות, וכך לשפר את החיפוש של הנתונים בכל מאגר הנתונים שלכם ולאפשר חיפושים ממוקדים. מידע נוסף זמין במאמר ניהול היבטים והעשרת מטא-נתונים.

איך מתחילים להשתמש ב-Knowledge Catalog

כדי להתחיל להשתמש ב-Knowledge Catalog לניהול נכסי הנתונים ב-Bigtable, צריך לבצע את הפעולות הבאות:

  1. אופציונלי: אם אתם משתמשים חדשים ב-Knowledge Catalog, הפעילו את Dataplex API.

  2. להקצות תפקידי IAM לחשבונות משתמשים שצריכים גישה לרשומות של Bigtable ב-Knowledge Catalog.

  3. איך מחפשים נכסי נתונים

  4. כדי להבין איך למצוא את המטא-נתונים, כדאי לעיין בתחביר החיפוש של Knowledge Catalog.

  5. קראו את המושגים בנושא ניהול מטא-נתונים באמצעות היבטים. למידע נוסף, קראו את המאמר מידע על מטא-נתונים ב-Knowledge Catalog.

הצגת מטא-נתונים ב-Knowledge Catalog

כל סוג של תצוגת Bigtable מיוצג כסוג רשומה נפרד בקטלוג. ב-Knowledge Catalog נשמרים מטא-נתונים ספציפיים (היבטים) לכל סוג:

סוג התצוגה שדות של מטא-נתונים
תצוגה מורשית הגדרה מלאה של קבוצת המשנה, סטטוס ההגנה מפני מחיקה. מזהה מסד הנתונים הטבלאי הוא חלק מנתיב המשאב של הרשומה ומרשומת ההורה, ולא שדה היבט נפרד.
תצוגה לוגית שאילתת SQL, סכימה, סטטוס ההגנה מפני מחיקה. מסד הנתונים הטבלאי מצוין בשאילתת ה-SQL.
תצוגה מהותית רציפה שאילתת SQL, סכימה, סטטוס ההגנה מפני מחיקה, פרטי האחסון. מסד הנתונים הטבלאי מצוין בשאילתת ה-SQL. בהיבט האחסון, השדה sourceUri מפנה למשאב התצוגה עצמו, ולא למסד הנתונים הטבלאי.

דרכים לחיפוש מטא-נתונים של Bigtable

אתם יכולים לחפש מטא-נתונים מסונכרנים של Bigtable באמצעות Knowledge Catalog.

בנוסף לפרדיקטים לסינון, אתם יכולים לחפש משאבים של Bigtable באמצעות שדות המטא-נתונים הבאים:

  • Instance

    • שם המכונה ב-Bigtable
    • מזהה המכונה של Bigtable
    • מיקום האשכול
    • מזהה אשכול

  • טבלה

    • מזהה טבלה
    • שם קבוצת העמודות
    • שם המכונה ב-Bigtable
    • מזהה המכונה של Bigtable

אפשר לחפש תצוגות לפי הקטגוריות הבאות:

  • סוג התצוגה:
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • כינוי לתצוגה מאוחדת: משתמשים בכינוי VIEW כדי למצוא את כל סוגי התצוגות של Bigtable בו-זמנית.
  • פרטי מטא-נתונים: חיפוש לפי טקסט של שאילתה, משאב הורה, פרטי הגדרה של קבוצת משנה או מאפיינים ספציפיים כמו הגנה מפני מחיקה.
  • אזור: במסוף Google Cloud , משתמשים במסננים location=LOCATION או במסנני אזור כדי לחפש תצוגות או כל משאב אחר באזור.

כשמציגים רשומה של טבלה או מכונה גלובלית של Bigtable במסוףGoogle Cloud , הכרטיסייה Entry list לא כוללת תצוגות אזוריות. באופן דומה, כשמציגים רשומה של תצוגה אזורית, נתיב הניווט שלה לא מקשר למכונה או לטבלה ההורה שלה. כדי למצוא את המשאבים האלה, חפשו אותם ישירות באמצעות קטגוריות החיפוש הקודמות.

גישה למטא-נתונים של תצוגה

בניגוד למכונות ולטבלאות של Bigtable, לתצוגות אין רשומות בקטלוג הגלובלי. המטא-נתונים של התצוגות מאוחסנים רק באזור שהוקצה למכונה שלכם ב-Knowledge Catalog‏ (knowledgeCatalogRegion).

כשמחפשים משאבים ב-Knowledge Catalog, אפשר להשתמש במסנני אזורים כדי למצוא תצוגות או כל משאב אחר באזור ספציפי. עם זאת, כשמשתמשים ב-API או בספריות הלקוח של Dataplex כדי לחפש, לאחזר או לנהל היבטים בתצוגות של Bigtable, צריך לציין את האזור של Knowledge Catalog של המכונה בפרמטר location של כתובת ה-URL של הבקשה. אם תציינו את המיקום בתור global, הפקודה תחזיר את השגיאה NOT_FOUND.

בקטעים הבאים מוסבר איך לגשת למטא-נתונים של התצוגה באזור של המכונה.

איך מוצאים את האזור של Knowledge Catalog במכונה

כדי למצוא את המאפיין knowledgeCatalogRegion של מכונת Bigtable, משתמשים בפקודה gcloud bigtable instances describe:

gcloud bigtable instances describe INSTANCE_ID

מחליפים את INSTANCE_ID במזהה הייחודי של המכונה.

פלט הפקודה כולל את השדה knowledgeCatalogRegion, כמו בדוגמה הבאה:

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

בדוגמה הזו, המיקום של בקשות Dataplex API ומסנני האזור לתצוגות במכונה הזו הוא us-central1.

בדיקת רשומה של תצוגה ב-Knowledge Catalog

המסוף

כדי לבדוק את הרשומה של תצוגה ב-Knowledge Catalog:

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. בשדה החיפוש, מזינים את השם או המזהה של התצוגה ב-Bigtable, או מזינים שאילתת חיפוש ולוחצים על Enter.

    אפשר לחפש תצוגות באמצעות הפרדיקטים הבאים:

    • כל הצפיות: VIEW
    • תצוגות מורשות: type=cloud-bigtable-authorized-view
    • תצוגות לוגיות: type=cloud-bigtable-logical-view
    • תצוגות מהותיות רציפות: type=cloud-bigtable-materialized-view
    • צפיות לפי אזור: לדוגמה, location=us-central1

  3. כדי לצמצם את החיפוש, לוחצים על מסננים.

  4. בתוצאות החיפוש, לוחצים על שם התצוגה כדי לפתוח את דף הפרטים של הרשומה.

    בדף הפרטים של הרשומה מוצגים כל המאפיינים של הרשומה, כולל מידע כללי, היבטים של המערכת, כמו שאילתת SQL, סכימה או הגדרה של קבוצת משנה, והיבטים מותאמים אישית שמצורפים.

gcloud

כדי לבדוק את הרשומה של התצוגה ב-Knowledge Catalog, מריצים את הפקודה gcloud dataplex entries lookup:

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VIEW_RESOURCE_NAME: הנתיב למשאב של Bigtable בשביל התצוגה (בלי // בהתחלה). יוצרים את הנתיב למשאב לפי סוג התצוגה:
    • תצוגה מורשית: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • תצוגה לוגית: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • תצוגה מהותית רציפה: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • ‫PROJECT_ID: המזהה הייחודי של הפרויקט ב-Google Cloud .
  • ‫INSTANCE_ID: המזהה הייחודי של המכונה ב-Bigtable.
  • ‫TABLE_ID: בתצוגות מורשות, המזהה הייחודי של מסד הנתונים הטבלאי שמכיל את התצוגה.
  • ‫VIEW_ID: המזהה שהוקצה לתצוגה.
  • ‫LOCATION: האזור של מכונת Bigtable ב-Knowledge Catalog (לדוגמה, us-central1).

הפלט מחזיר את כל מאפייני הרשומה, כולל היבטי המערכת וההיבטים המותאמים אישית שמצורפים. בפלט, השדה parentEntry מכיל נתיב כניסה אזורי לטבלה או למכונה ברמה העליונה. מכיוון ש-Bigtable מאחסן רשומות של טבלאות ומכונות רק במיקום global, אי אפשר לגשת לרשומת ההורה האזורית הזו. כדי לחפש את הרשומה של טבלת ההורה או המכונה, מציינים את global בתור המיקום.

REST

כדי לחפש רשומת תצוגה באופן פרוגרמטי באמצעות Dataplex API, שולחים בקשת HTTP GET מאומתת ל-method‏ lookupEntry:

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VIEW_RESOURCE_NAME: הנתיב למשאב של Bigtable בשביל התצוגה (בלי // בהתחלה). יוצרים את הנתיב למשאב לפי סוג התצוגה:
    • תצוגה מורשית: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • תצוגה לוגית: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • תצוגה מהותית רציפה: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • ‫PROJECT_ID: המזהה הייחודי של הפרויקט ב-Google Cloud .
  • ‫INSTANCE_ID: המזהה הייחודי של המכונה ב-Bigtable.
  • ‫TABLE_ID: בתצוגות מורשות, המזהה הייחודי של מסד הנתונים הטבלאי שמכיל את התצוגה.
  • ‫VIEW_ID: המזהה שהוקצה לתצוגה.
  • ‫LOCATION: האזור של מכונת Bigtable ב-Knowledge Catalog (לדוגמה, us-central1).

הפלט מחזיר את כל מאפייני הרשומה, כולל היבטי המערכת וההיבטים המותאמים אישית שמצורפים. בפלט, השדה parentEntry מכיל נתיב כניסה אזורי לטבלה או למכונה ברמה העליונה. מכיוון ש-Bigtable מאחסן רשומות של טבלאות ומכונות רק במיקום global, אי אפשר לגשת לרשומת ההורה האזורית הזו. כדי לחפש את הרשומה של טבלת ההורה או המכונה, מציינים את global בתור המיקום.

התפקידים הנדרשים

כדי להציג, לתייג ולחפש משאבי Bigtable ב-Knowledge Catalog, נדרשות הרשאות שונות. באופן כללי, כדאי להקצות לחשבונות המשתמשים בארגון את התפקיד המינימלי שנדרש לביצוע משימה.

הרשאה לצפות בהיבטים ציבוריים ופרטיים

כדי לקבל את ההרשאות שדרושות לצפייה בהיבטים ציבוריים ופרטיים במשאבי Bigtable, צריך לבקש מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי לצפות בהיבטים ציבוריים ופרטיים. אלה ההרשאות המדויקות שנדרשות:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

כדי להציג את התצוגות, נדרשות ההרשאות הבאות:

  • תצוגות מורשות: bigtable.authorizedViews.get
  • תצוגות לוגיות: bigtable.logicalViews.get
  • תצוגות מהותיות רציפות: bigtable.materializedViews.get

הרשאה לחפש משאבים ב-Bigtable

כדי לקבל את ההרשאות שדרושות לחיפוש משאבי Bigtable ב-Knowledge Catalog, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי לחפש משאבים ב-Bigtable. אלה ההרשאות המדויקות שנדרשות:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

כדי להציג את התצוגות, נדרשות ההרשאות הבאות:

  • תצוגות מורשות: bigtable.authorizedViews.get
  • תצוגות לוגיות: bigtable.logicalViews.get
  • תצוגות מהותיות רציפות: bigtable.materializedViews.get

הרשאה לחפש ולראות מטא-נתונים של Bigtable

כדי לחפש ולראות מטא-נתונים של משאבי Bigtable, צריך תפקיד שכולל את ההרשאות הבאות:

  • מכונות וטבלאות: bigtable.instances.get,‏ bigtable.clusters.get,‏ bigtable.tables.get
  • תצוגות מורשות: bigtable.authorizedViews.get
  • תצוגות לוגיות: bigtable.logicalViews.get
  • תצוגות מהותיות רציפות: bigtable.materializedViews.get

בדרך כלל, תפקידים מוגדרים מראש כמו roles/bigtable.viewer או roles/bigtable.admin כוללים את ההרשאות האלה.

הרשאה לצרף היבטים למשאבי Bigtable

כדי לקבל את ההרשאות שנדרשות לצירוף היבטים למשאבי Bigtable ב-Knowledge Catalog, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי להוסיף היבטים ציבוריים ופרטיים. אלה ההרשאות המדויקות שנדרשות:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

כדי להציג את התצוגות, נדרשות ההרשאות הבאות:

  • תצוגות מורשות: bigtable.authorizedViews.update
  • תצוגות לוגיות: bigtable.logicalViews.update
  • תצוגות מהותיות רציפות: bigtable.materializedViews.update

אופציונלי: יצירת תפקיד בהתאמה אישית

אתם יכולים ליצור תפקיד בהתאמה אישית כדי לתת למשתמשים גישה מלאה לכל המטא-נתונים של Bigtable ב-Knowledge Catalog בפרויקט או בארגון. לאחר מכן, תוכלו להקצות כל משתמש או חשבון שירות שצריך גישה כחשבון משתמש של התפקיד בהתאמה אישית. מידע נוסף על תפקידים בהתאמה אישית זמין במאמר תפקידים והרשאות.

בוחרים שם משמעותי לתפקיד, כמו Bigtable Dataplex Editor, ואז מקצים רק את חשבונות המשתמשים שצריכים גישה לתפקיד. הוראות להגדרה מופיעות במאמר יצירה וניהול של תפקידים בהתאמה אישית.

נותנים לתפקיד בהתאמה אישית את ההרשאות הבאות:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

מידע נוסף זמין במאמר הרשאות IAM ב-Knowledge Catalog. במאמר הרשאות מפורטות ההרשאות של Bigtable.

מגבלות

בקטעים הבאים מפורטות המגבלות שצריך להביא בחשבון לפני שמשתמשים ב-Knowledge Catalog כדי לנהל את המטא-נתונים של Bigtable.

אילוצי מיקום

אם הארגון שלכם אוכף אילוצי מיקום, יכול להיות שרשומות המטא-נתונים של משאבי Bigtable לא יסונכרנו עם Knowledge Catalog. כל הרשומות שנוצרו לפני אכיפת אילוצי המיקום נשמרות ב-Knowledge Catalog.

כדי לאפשר ל-Knowledge Catalog לטעון משאבים, צריך לוודא שמדיניות המיקום מאפשרת את הפעולות הבאות:

  • האזור global במספר אזורים למכונות ולטבלאות.
  • האזור הספציפי שתואם ל-knowledgeCatalogRegion של המכונה לתצוגות.

חריגה בשם של קבוצת העמודות

‫Dataplex API דוחה בקשות שבהן שם קבוצת העמודות בבקשה כולל נקודה (.). לדוגמה, אם שם קבוצת העמודות הוא personal.info.

המאמרים הבאים