הוספת מטא-נתונים לטבלה ב-BigQuery

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לצרף מטא-נתונים עסקיים וטכניים לנכסי הנתונים שלכם, כדי לארגן, לגלות ולנהל את הנתונים. ב-Knowledge Catalog, כל נכס נתונים מיוצג כרשומה, ואתם מצרפים מטא-נתונים על ידי הוספת היבטים – קבוצות של שדות מטא-נתונים קשורים שמוגדרים על ידי תבנית שניתן לעשות בה שימוש חוזר, שנקראת סוג היבט.

במדריך למתחילים הזה תיצרו קבוצת נתונים וטבלה ב-BigQuery מקבוצת נתונים ציבורית ב-BigQuery, תיצרו סוג aspect ותוסיפו aspect לרשומת הטבלה.

לפני שמתחילים

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataplex and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להוספת מטא-נתונים לטבלה ב-BigQuery, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מערך נתונים וטבלה

  1. נכנסים לדף BigQuery Studio במסוף Google Cloud .

    כניסה ל-BigQuery Studio

  2. יוצרים מערך נתונים:

    1. בחלונית הימנית, לוחצים על Explorer:

      כפתור מודגש לחלונית Explorer.

      אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

    2. בחלונית Explorer, מוצאים את הפרויקט. לוחצים על View actions ואז על Create dataset.

    3. בשדה Dataset ID, מזינים את הערך catalog_demo_dataset.

      משאירים את ערכי ברירת המחדל בשאר השדות.

    4. לוחצים על Create dataset.

  3. העתקת טבלה ציבורית לקבוצת הנתונים:

    1. בחלונית Explorer, מחפשים את הטבלה בשם bigquery-public-data.new_york_citibike.citibike_stations. יכול להיות שתצטרכו להגדיר את היקף החיפוש כך שיכלול את הפרויקט bigquery-public-data.

      הטבלה הזו היא חלק ממערך הנתונים NYC Citi Bike Trips, מערך נתונים ציבורי שמכיל נתונים על תוכנית לשיתוף אופניים.

    2. בוחרים את הטבלה citibike_stations.

    3. לוחצים על More > Make a copy of table ומזינים את הפרטים הבאים:

      • ‫Project: בוחרים את הפרויקט.
      • ‫Dataset: בוחרים באפשרות catalog_demo_dataset.
      • טבלה: מזינים bike_stations.

    4. לוחצים על Copy.

  4. בחלונית Explorer, מאתרים את מערך הנתונים catalog_demo_dataset ומוודאים שהטבלה bike_stations מופיעה במערך הנתונים.

הגדרת תבנית מטא-נתונים: יצירת סוג היבט

  1. במסוף Google Cloud , נכנסים לדף Metadata types ב-Knowledge Catalog.

    מעבר לסוגי מטא-נתונים

  2. לוחצים על הכרטיסייה סוגי היבטים ואז על הכרטיסייה בהתאמה אישית.

  3. לוחצים על Create aspect type.

  4. בשדה Aspect type ID, מזינים data-governance-demo.

  5. בקטע Location, בוחרים באפשרות global.

  6. בקטע Template, לוחצים על Add field. משתמשים במידע שבטבלה הבאה כדי להוסיף כמה שדות לסוג ההיבט:

    שם סוג חובה תיאור
    source-of-data-asset טקסט לא -
    retention-date תאריך ושעה לא -
    data-classification

    טיפוסים בני מנייה (enum)

    מוסיפים את הערכים Public,‏ Sensitive ו-Confidential.

    		 כן -
    has-pii בוליאני כן Whether the data asset has personally identifiable information

  7. לוחצים על Save.

הוספת מטא-נתונים לטבלה: הוספת היבט לרשומה

  1. נכנסים לדף Search ב-Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. בתיבת החיפוש, מזינים catalog_demo_dataset.

  3. בוחרים בטבלה bike_stations.

  4. מוסיפים היבט מותאם אישית לרשומה:

    1. בקטע Aspects, ליד Optional aspects, לוחצים על Add.

    2. בוחרים את סוג ההיבט data-governance-demo.

      כך נוצר היבט שמשתמש בסוג ההיבט שלכם כתבנית.

    3. מזינים את הערכים הבאים:

      • המקור של נכס הנתונים: Copied from NYC Citi Bike Trips public dataset
      • תאריך שמירה: מזינים תאריך.
      • סיווג נתונים לקטגוריות: Public
      • מכיל פרטים אישיים מזהים (PII): False

    4. לוחצים על Save.

  5. כדי לראות את ערכי המטא-נתונים שהוספתם, בקטע Aspects בוחרים את ההיבט data-governance-demo.

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, מבצעים את הפעולות הבאות.

מחיקת הפרויקט

הדרך הכי קלה להפסיק את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך למתחילים.

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת משאבים ספציפיים

אם אתם רוצים להשתמש בפרויקט שוב, מחקו את המשאבים שיצרתם.

  1. מוחקים את מערך הנתונים:

    1. נכנסים לדף BigQuery Studio במסוף Google Cloud .

      כניסה ל-BigQuery Studio

    2. בחלונית הימנית, לוחצים על Explorer:

      כפתור מודגש לחלונית Explorer.

    3. בחלונית Explorer, מחפשים את מערך הנתונים catalog_demo_dataset.

    4. לוחצים על View actions ואז על Delete. מאשרים כשמוצגת בקשה לעשות זאת.

  2. מוחקים את סוג ההיבט:

    1. במסוף Google Cloud , נכנסים לדף Metadata types ב-Knowledge Catalog.

      מעבר לסוגי מטא-נתונים

    2. לוחצים על הכרטיסייה סוגי היבטים ואז על הכרטיסייה בהתאמה אישית.

    3. לוחצים על סוג ההיבט data-governance-demo.

    4. לוחצים על Delete. מאשרים כשמוצגת בקשה לעשות זאת.

המאמרים הבאים