יצירת תובנות לגבי מערך הנתונים

תובנות מנתונים עוזרות לכם להבין את הקשרים בין טבלאות במערכי נתונים ב-BigQuery ובמרחבי שמות ב-Apache Iceberg. הן מזהות קשרים בין טבלאות בתרשים ומציגות אותם באופן חזותי, מזהות קשרים שמוגדרים בסכימה, מבוססים על שימוש או מוסקים על ידי AI, ויוצרות שאילתות לדוגמה בין טבלאות.

סקירה כללית על תובנות מנתונים לגבי טבלאות ומערכי נתונים

מצבים ליצירת תובנות לגבי מערכי נתונים

כשיוצרים תובנות לגבי מערך נתונים, BigQuery מספק שני מצבים:

מצב תיאור Usage
יצירה ופרסום

שומר את התובנות שנוצרו לגבי מערך הנתונים ב-Knowledge Catalog כהיבטים וקשרים של מטא-נתונים. כדי לפרסם, אתם צריכים את ההרשאות הנדרשות. כשמשתמשים באפשרות Generate and publish, המערכת של BigQuery מבצעת את הפעולות הבאות:

  • שומר את תיאור מערך הנתונים ב-Knowledge Catalog.
  • שומר שאילתות ושאלות מוצעות כהיבטים שאפשר להשתמש בהם שוב.
  • מתעד קשרים כמטא-נתונים ב-Knowledge Catalog.
  • משתמשים עם גישה מתאימה ל-Knowledge Catalog יכולים לראות תובנות שפורסמו, וכך לשתף את הידע הארגוני.
  • מאפשרת לערוך ולשמור תיאורים ישירות ב-Knowledge Catalog באמצעות ה-API. אפשר לערוך את השאילתות המוצעות באמצעות מסוף Google Cloud .

כדאי להשתמש במצב הזה כדי לתעד נתונים ברמת הארגון, שיהיו קבועים וניתנים לשימוש חוזר, או כשבונים תהליכי עבודה של פיקוח שמבוססים על קטלוגים.
יצירה בלי פרסום

יצירת תובנות לגבי מערכי נתונים, כמו תיאורים, שאלות בשפה טבעית, קשרים ושאילתות SQL, על פי דרישה. האפשרות Generate without publishing לא מפרסמת תובנות ב-Knowledge Catalog.

כדאי להשתמש במצב הזה לניתוח מהיר ונקודתי, כדי לא להעמיס על הקטלוג.

לפני שמתחילים

התובנות מהנתונים נוצרות באמצעות Gemini ב-BigQuery. כדי להתחיל ליצור תובנות שנוצרו על ידי AI, קודם צריך להגדיר את Gemini ב-BigQuery.

הפעלת ממשקי ה-API

כדי להשתמש בתובנות מנתונים, צריך להפעיל בפרויקט את ממשקי ה-API הבאים: Dataplex API,‏ BigQuery API ו-Gemini for Google Cloud API.

התפקידים שנדרשים כדי להפעיל ממשקי API

כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים?

הפעלת ממשקי ה-API

איך מפעילים את Gemini for Google Cloud API בפרויקט ב- Google Cloud

איך מבצעים סריקה של פרופיל נתונים

כדי לשפר את איכות התובנות, צריך ליצור סריקת פרופיל נתונים לטבלאות במערך הנתונים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירה, לניהול ולאחזור של תובנות לגבי מערכי נתונים, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

  • כדי ליצור, לנהל ולאחזר תובנות:
    • עריכת סריקות נתונים ב-Dataplex‏ (roles/dataplex.dataScanEditor) או ניהול סריקות נתונים ב-Dataplex‏ (roles/dataplex.dataScanAdmin) בפרויקט
    • BigQuery Data Editor (roles/bigquery.dataEditor) בטבלאות
    • משתמש ב-BigQuery‏ (roles/bigquery.user) או משתמש ב-BigQuery Studio‏ (roles/bigquery.studioUser) בפרויקט
    • BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט
  • כדי לראות את התובנות:
  • כדי לפרסם תובנות ב-Knowledge Catalog: בעלים של רשומה ו-EntryLink ב-Dataplex (roles/dataplex.entryOwner) בקבוצת הרשומות

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לראות את ההרשאות הנדרשות ליצירת תובנות שנוצרו על ידי AI, מרחיבים את הקטע Required permissions:

ההרשאות הנדרשות

  • ‫bigquery.datasets.get: קריאת מטא-נתונים של מערך נתונים
  • ‫bigquery.jobs.create: יצירת משימות
  • ‫bigquery.jobs.listAll: הצגת רשימה של כל המשימות בפרויקט
  • bigquery.tables.get: קבלת מטא-נתונים של טבלה
  • ‫bigquery.tables.getData: קבלת נתונים ומטא-נתונים של טבלה
  • ‫dataplex.datascans.create: יצירת משאב של סריקת נתונים
  • ‫dataplex.datascans.get: קריאת מטא-נתונים של משאב סריקת נתונים
  • dataplex.datascans.getData: קריאת תוצאות הביצוע של סריקת הנתונים
  • ‫dataplex.datascans.run: הפעלת סריקת נתונים על פי דרישה
  • ‫dataplex.entryGroups.useSchemaJoinEntryLink: שימוש בקישורים ל-schema-join רשומות
  • ‫dataplex.entryGroups.useSchemaJoinAspect: שימוש בהיבטים של צירוף סכימות
  • ‫dataplex.entryLinks.create: יצירת קישורים לרשומות
  • dataplex.entryLinks.update: עדכון הקישורים לרשומות
  • ‫dataplex.entryLinks.delete: מחיקת קישורים לרשומות
  • dataplex.entries.link: קישור רשומות
  • ‫dataplex.entries.update: עדכון רשומות
  • ‫dataplex.entryGroups.useDescriptionsAspect: שימוש בהיבטים של תיאור
  • ‫dataplex.entryGroups.useQueriesAspect: שימוש בהיבטים של שאילתות

יצירת תובנות לגבי מערך הנתונים

המסוף

  1. במסוף Google Cloud , נכנסים ל-BigQuery Studio.

    כניסה ל-BigQuery Studio

  2. בחלונית Explorer, בוחרים את הפרויקט ואת מערך הנתונים שרוצים ליצור להם תובנות. במרחבי שמות של Iceberg, בוחרים את מערך הנתונים שמייצג את מרחב השמות של הקטלוג.

  3. לוחצים על הכרטיסייה תובנות.

    אם הכרטיסייה ריקה, עדיין לא נוצרו תובנות לגבי מערך הנתונים הזה.

  4. לוחצים על יצירה.

  5. בוחרים את תנאי הפרסום:

    • כדי ליצור תובנות ולצרף אותן לנכס באופן קבוע כהיבטים של מטא-נתונים, מפעילים את המתג מצב פרסום. כך התובנות יהיו ניתנות להוספה לאינדקס, לחיפוש וגלויות למשתמשים אחרים בארגון.

    • כדי ליצור תובנות ולצפות בהן באופן זמני במהלך הסשן הנוכחי, משביתים את המתג Publish condition.

    למידע נוסף על ההבדלים בין המצבים Generate and publish ו-Generate without publishing, קראו את המאמר מצבים ליצירת תובנות מנתונים.

  6. אופציונלי: בשדה Custom instructions, מספקים הנחיות והקשר של הדומיין כדי להתאים אישית את האופן שבו Gemini יוצר תובנות שנוצרו על ידי AI.

    לדוגמה, אתם יכולים לאכוף מוסכמות למתן שמות, לציין הגדרות עסקיות או לתאר מפתחות איחוד:

    LANGUAGE: Always write column descriptions in uppercase.

DOMAIN_CONTEXT:
- This dataset supports the Order-to-Cash process for the EMEA commercial
  sales team.
- Primary consumers are finance analysts and regional sales managers, not
  engineers.

RELATIONSHIPS:
- returns.order_item_id → order_items.id (one-to-one; use LEFT JOIN to
  preserve unreturned items)

  7. אם מערך הנתונים נמצא במספר אזורים, יכול להיות שתתבקשו לבחור אזור כדי ליצור תובנות. בוחרים אזור שתואם למספר האזורים שבהם תיווצר סריקת התובנות.

    התובנות יופיעו תוך כמה דקות. איכות התובנות משתפרת אם הטבלאות במערך הנתונים כוללות תוצאות של פרופיל נתונים.

אחרי שנוצרות תובנות, BigQuery מציג תיאור של מערך הנתונים, תרשים קשרים, טבלת קשרים ושאילתות לדוגמה בין טבלאות.

REST

כדי ליצור תובנות שנוצרו על ידי AI באופן פרוגרמטי, משתמשים ב-DataScans API של Knowledge Catalog. כדי לעשות את זה, פועלים לפי השלבים הבאים:

  1. יצירת סריקת נתונים של תיעוד נתונים למערך הנתונים ב-BigQuery
  2. בדיקת סטטוס הסריקה של תיעוד הנתונים
  3. אימות הפרסום ב-Knowledge Catalog

יצירת סריקת נתונים של תיעוד הנתונים במערך הנתונים ב-BigQuery

  1. יוצרים סריקת נתונים לתיעוד נתונים באמצעות ה-method‏ dataScans.create. אם רוצים, אפשר לפרסם את התובנות האלה ב-Knowledge Catalog על ידי הגדרת הפרמטר catalog_publishing_enabled לערך true.

    לדוגמה:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloudשבו נמצא מערך הנתונים
    • ‫LOCATION: האזור שבו פועלת סריקת הנתונים
    • ‫DATASCAN_ID: שם ייחודי שאתם נותנים לסריקה הזו
    • ‫DATASET_ID: המזהה של מערך הנתונים ב-BigQuery שנסרק

  2. מפעילים את משימת הסריקה של תיעוד הנתונים באמצעות השיטה dataScans.run.

    לדוגמה:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    הבקשה הזו מחזירה מזהה משימה ייחודי יחד עם המצב הראשוני.

בדיקת סטטוס הסריקה של תיעוד הנתונים

בודקים אם משימת הסריקה הסתיימה באמצעות ה-method‏ dataScans.get. כדי לאחזר את התוצאות המלאות, כולל התובנות וסטטוס הפרסום, מגדירים את הפרמטר view לערך FULL.

משתמשים במזהה המשימה כדי לאחזר את הסטטוס שלה. לדוגמה:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

המשימה מסתיימת כשהסטטוס הוא SUCCEEDED או FAILURE.

תגובה מוצלחת למשימה מכילה את התובנות שנוצרו על ידי AI בשדה dataDocumentationResult.

אימות הפרסום ב-Knowledge Catalog

אם הערך של catalog_publishing_enabled הוא true, התובנות מתפרסמות ב-Knowledge Catalog באופן אסינכרוני אחרי שסריקת הנתונים מסתיימת. כדי לוודא שהתובנות נשמרו, משתמשים ב-Dataplex API כדי לבדוק את ההיבטים של מערך הנתונים.

התובנות נוצרות מסריקת הנתונים ברמת מערך הנתונים, אבל הקישורים לרשומות שנוצרים כתוצאה מכך נשמרים בין הטבלאות שהם מקשרים ביניהן. כדי לאמת את הקשרים האלה, משתמשים ב-method‏ lookupEntryLinks כדי לאחזר את הקישורים לרשומות שמשויכים לרשומה ספציפית בטבלה.

כדי לאחזר מטא-נתונים של מערך הנתונים ב-BigQuery, משתמשים בשיטה entries.get. כדי לכלול את כל ההיבטים, מגדירים את הפרמטר view לערך FULL. לדוגמה:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloudשבו הוגדרה סריקת הנתונים
  • ‫LOCATION: האזור שבו נמצאת קבוצת הרשומות
  • ‫DATASET_PROJECT_ID: המזהה של הפרויקט ב- Google Cloudשבו נמצא מערך הנתונים ב-BigQuery
  • ‫DATASET: המזהה של מערך הנתונים ב-BigQuery

אם הפרסום ב-Knowledge Catalog מצליח, ההיבטים הבאים מצורפים למערך הנתונים ב-BigQuery:

  • תיאורים: מכיל תיאורים של קבוצת הנתונים שנוצרו על ידי AI
  • שאילתות: מכיל שאילתות SQL רלוונטיות שקשורות למערך הנתונים
  • קשרים: נשמרים כקישורי רשומות בין הטבלאות שקיימות במערך הנתונים

הצגה ושמירה של תיאור מערך הנתונים

‫Gemini יוצר תיאור בשפה טבעית של מערך הנתונים, שמסכם את סוגי הטבלאות שהוא מכיל ואת התחום העסקי שהוא מייצג. כדי לשמור את התיאור הזה במטא-נתונים של מערך הנתונים, לוחצים על Save to details.

אתם יכולים לערוך את התיאור לפני שאתם שומרים את הפרטים.

עיון בתרשים הקשרים

התרשים Relationships מספק ייצוג חזותי של הקשרים בין הטבלאות במערך הנתונים. הוא מציג את 10 הטבלאות המקושרות ביותר כצמתים, עם קווים שמייצגים את הקשרים ביניהן.

  • כדי לראות את פרטי הקשר, כמו העמודות שמחברות בין שתי טבלאות, מעבירים את העכבר מעל הקצה שמחבר בין צומתי הטבלה.
  • כדי לשנות את סדר התרשים ולראות אותו טוב יותר, גוררים את צומתי הטבלה.

שימוש בטבלת הקשרים

בטבלת הקשרים מופיעים הקשרים שזוהו. כל שורה מייצגת קשר בין שתי טבלאות, ומציגה את טבלת המקור והעמודה, ואת טבלת היעד והעמודה. בעמודה מקור מצוין איך נקבע הקשר:

  • הוסק על ידי מודל שפה גדול (LLM). קשרים ש-Gemini מסיק על סמך השמות והתיאורים של הטבלאות והעמודות במערך הנתונים.
  • בהתאם לשימוש. קשרים שחולצו מיומני שאילתות, על סמך צירופים תכופים.
  • מוגדר בסכימה. קשרים שנובעים ממיפויים קיימים של מפתחות ראשיים ומפתחות זרים בסכימת הטבלה.

אתם יכולים לסנן את הקשרים של טבלה ספציפית או לשלוח משוב על איכות הקשרים שזוהו. כדי לייצא את התיאור והקשרים של קבוצת הנתונים שנוצרה לקובץ JSON, לוחצים על Export to JSON.

שימוש בהמלצות לשאילתות

‫Gemini יוצר שאילתות לדוגמה על סמך הקשרים שהוא מזהה. אלה שאלות בשפה טבעית עם שאילתות SQL תואמות שמחברות בין כמה טבלאות במערך הנתונים.

  1. כדי לראות שאילתת SQL, לוחצים על שאלה.

  2. כדי לפתוח את השאילתה בעורך השאילתות של BigQuery, לוחצים על Copy to query. אחרי זה אתם יכולים להריץ את השאילתה או לשנות אותה.

  3. כדי לשאול שאלת המשך, לוחצים על שאלת המשך. נפתח קנבס נתונים ללא שם שבו אפשר לשוחח עם Gemini כדי לחקור את הנתונים.

ניהול התובנות שנוצרו על ידי AI

אחרי שיוצרים תובנות שנוצרו על ידי AI לגבי מערך נתונים, אפשר לנהל, לעדכן או למחוק אותן ב-Knowledge Catalog. איך מנהלים את התובנות לגבי מערכי נתונים

המאמרים הבאים