סקירה כללית על תובנות מנתונים

אתם יכולים להשתמש בתובנות מנתונים כדי לחקור נתונים לא מוכרים באמצעות תיאורים, תרשימי קשרים ושאילתות SQL שנוצרו על ידי AI. התכונה הזו של Gemini ב-BigQuery מנתחת את המטא-נתונים כדי לעזור לכם להבין במהירות את מבני הנתונים והתוכן. התובנות האלה מאפשרות לכם להתחיל את הניתוח בלי הגדרה ידנית נרחבת.

לפני שמתחילים

התובנות מהנתונים נוצרות באמצעות Gemini ב-BigQuery. כדי להתחיל ליצור תובנות שנוצרו על ידי AI, קודם צריך להגדיר את Gemini ב-BigQuery.

סוגי התובנות מנתונים

אפשר ליצור תובנות מנתונים ברמת הטבלה או ברמת מערך הנתונים:

  • לטבלאות: Gemini יוצר שאלות בשפה טבעית ואת המקבילות שלהן ב-SQL כדי לעזור לכם להבין את הנתונים בטבלה אחת. בעזרת תובנות לגבי טבלאות, אתם יכולים לזהות דפוסים, אנומליות, חריגות או בעיות איכות בנתונים בטבלה. ‫Gemini גם יוצר תיאורים לטבלאות ולעמודות.

  • למערכי נתונים ולמרחבי שמות של Apache Iceberg: Gemini יוצר תרשים קשרים אינטראקטיבי שמציג קשרים בין טבלאות ושאילתות SQL בין טבלאות, כדי לעזור לכם להבין איך הטבלאות קשורות זו לזו במערך נתונים. באמצעות תרשימי קשרים, אתם יכולים לגלות איך הנתונים נגזרים, וכך לזהות בעיות שקשורות לאיכות, לעקביות או לכפילות. באמצעות שאילתות בין טבלאות, אתם יכולים למצוא קשרים רחבים יותר. לדוגמה, אפשר לחשב את ההכנסה לפי פלח לקוחות באמצעות נתונים מטבלת מכירות ומטבלת לקוחות.

    מכיוון שמרחבי השמות של Iceberg מיוצגים באופן מקורי כמערכי נתונים ב-BigQuery, אתם יכולים ליצור את אותן תובנות ברמת מערך הנתונים ישירות במרחבי השמות של Iceberg.

כדי להמשיך לחקור, אתם יכולים לשאול שאלות המשך בקנבס נתונים.

תובנות לגבי הטבלה

תובנות לגבי טבלאות עוזרות לכם להבין את התוכן, האיכות והדפוסים בטבלה אחת ב-BigQuery. לדוגמה, אפשר ליצור שאילתות שמבצעות ניתוח סטטיסטי, ולהשתמש בתובנות מהטבלאות כדי לזהות דפוסים, אנומליות וערכים חריגים בנתונים. תובנות לגבי טבלאות יכולות גם לעזור לכם לזהות בעיות באיכות, במיוחד כשסריקות של פרופיל נתונים זמינות לטבלה. כשיוצרים תובנות שנוצרו על ידי AI לגבי טבלה, Gemini מספק תיאור של הטבלה, תיאורים של העמודות ופלט של סריקת פרופיל על סמך המטא-נתונים של הטבלה. אלה האפשרויות הזמינות:

  • יצירת שאילתות: הצעות לשאלות בשפה טבעית ושאילתות SQL תואמות כדי לענות עליהן. כך תוכלו לזהות דפוסים, להעריך את איכות הנתונים ולבצע ניתוח סטטיסטי בלי לכתוב SQL מאפס.
  • יצירת תיאורים: יצירת תיאורים לטבלה ולעמודות שלה. ‫Gemini משתמש בפלט של סריקת הפרופיל (אם הוא זמין) כדי לבסס את התיאורים שנוצרו. אתם יכולים לבדוק, לערוך ולפרסם את התיאורים האלה ב-Knowledge Catalog כדי לשפר את התיעוד ואת היכולת לגלות את הנתונים.

תובנות לגבי קבוצת הנתונים

תובנות לגבי מערכי נתונים עוזרות לכם להבין את הקשרים ואת נתיבי הצירוף בין כמה טבלאות במערך נתונים ב-BigQuery (או מרחב שמות של Iceberg שמיוצג כמערך נתונים), וכך מספקות תצוגה הוליסטית של התוכן. כשיוצרים תובנות שנוצרו על ידי AI לגבי קבוצת נתונים או מרחב שמות, Gemini מספק את הפרטים הבאים:

  • תיאור של מערך הנתונים: סיכום של מערך הנתונים שנוצר על ידי AI.
  • קשרים: מפה חזותית ואינטראקטיבית שמציגה את הקשרים בין הטבלאות במערך הנתונים. אפשר להעביר את העכבר מעל החיבורים כדי לראות פרטים על הקשרים, כמו מפתחות איחוד (join).
  • טבלת קשרים: מציגה תצוגה טבלאית של הקשרים בין הטבלאות, כולל מפתחות זרים וצירופים משוערים. הקשרים יכולים להיות מוגדרים בסכימה (מאילוצים של מפתחות ראשיים ומפתחות זרים), מבוססי-שימוש (מיומני שאילתות), או ש-Gemini מסיק אותם על סמך שמות ותיאורים של טבלאות ועמודות.
  • המלצות לשאילתות: שאילתות SQL לדוגמה שמראות איך לאחד נתונים מטבלאות שונות, על סמך הקשרים שזוהו.

דוגמה לתובנות מנתונים בטבלה

נניח שיש טבלה בשם telco_churn עם עמודות כמו CustomerID,‏ Tenure,‏ InternetService,‏ Contract,‏ MonthlyCharges ו-Churn. בטבלה הבאה מתוארת הסכימה של הטבלה.

שם השדה סוג
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

התכונה "תובנות מנתונים" יוצרת את השאילתות הבאות לדוגמה בשביל הטבלה הזו:

  • זהו את הלקוחות שנרשמו לכל שירותי הפרימיום והם לקוחות כבר יותר מ-50 חודשים.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • לזהות באיזה שירות אינטרנט יש הכי הרבה לקוחות שנטשו.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

דוגמה לתובנות מנתונים של מערך נתונים

נניח שיש לכם קבוצת נתונים עם הטבלאות order_items ו-inventory_items. תובנות לגבי מערך הנתונים יכולות להסיק ש-order_items.inventory_item_id קשור ל-inventory_items.id.

על סמך הקשרים האלה, Gemini יכול ליצור את השאילתה הבאה בין הטבלאות:

זהו את 5 קטגוריות המוצרים המובילות עם מחיר המכירה הממוצע הגבוה ביותר ואת העלות הממוצעת שלהן.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

תהליכי עבודה של תובנות מנתונים

בקטע הזה מתוארים תהליכי עבודה מרכזיים שמשתמשים בתפקידים שונים יכולים לבצע באמצעות התכונה "תובנות מנתונים" ב-BigQuery.

תהליכי עבודה לצרכני נתונים

תהליכי העבודה האלה מתמקדים במשימות של מנתחי נתונים, אנליסטים עסקיים ומשתמשים אחרים שצריכים למצוא, להבין ולנתח נתונים.

  • להבין טבלה ב-BigQuery: להבין במהירות את הסכימה, התוכן והשימושים האפשריים של טבלה ספציפית. אחרי שבוחרים טבלה ב-BigQuery Studio, אפשר לבצע את המשימות הבאות:

    • בודקים את התיאורים של הטבלאות והעמודות שנוצרו אוטומטית.

    • כדי להבין את הניואנסים של הנתונים, כדאי לבדוק את השאלות המוצעות בשפה טבעית ואת שאילתות ה-SQL המקבילות.

    • להתאים ולהריץ שאילתות מוצעות כדי להתחיל בניתוח.

    מידע נוסף על יצירה והצגה של תובנות לגבי טבלאות זמין במאמר יצירת תובנות לגבי טבלאות.

  • לחקור מערך נתונים או מרחב שמות שלם: לגלות את הקשרים בין טבלאות בתוך מערך נתונים (או מרחב שמות של Iceberg שמיוצג כמערך נתונים) ולהבין את המבנה הכולל שלו. אחרי שבוחרים מערך נתונים ב-BigQuery Studio, אפשר לבצע את המשימות הבאות:

    • ליצור תובנות לגבי מערך הנתונים ולצפות בהן.

    • אתם יכולים להשתמש בתרשים הקשרים האינטראקטיבי כדי לראות את הקשרים בין הטבלאות.

    • לנתח את טבלת הקשרים כדי למצוא מפתחות איחוד וסוגי חיבורים (מוגדרים בסכימה, מבוססי-שימוש, מוסקים על ידי LLM).

    • להשתמש בשאילתות SQL מוצעות שכוללות כמה טבלאות כדי לשלוח שאילתות לכמה טבלאות ביעילות.

    איך יוצרים תובנות לגבי מערכי נתונים וצופים בהן

תהליכי עבודה ליצרני נתונים

תהליכי העבודה האלה מיועדים למהנדסי מערכות מידע, למהנדסי ניתוח נתונים ולאנשים אחרים שיוצרים ומנהלים נכסי נתונים.

  • ליצור תיעוד של נתוני בסיס: ליצור ולתחזק באופן אוטומטי תיאורים חיוניים של מטא-נתונים. אתם יכולים לבצע את המשימות הבאות:

    • אחרי שיוצרים או משנים טבלה, מפעילים את התובנות מהנתונים כדי ליצור תיאורים של הטבלה והעמודות. אפשר גם ליצור את התיאורים האלה בקנה מידה נרחב באמצעות ה-API ליצירת מטא-נתונים אוטומטית של Knowledge Catalog.

    • בודקים ומשפרים את הטקסט הדינמי מבוסס-AI כדי לוודא שהוא מדויק מבחינה טכנית ורלוונטי לעסק.

    מידע נוסף על יצירת תיאורים של טבלאות ועמודות זמין במאמר יצירת תובנות לגבי טבלאות.

  • לשפר את ההבנה של המשתמשים לגבי מערכי הנתונים: להקל על הצרכנים להבין את מערכי הנתונים שסופקו ולהשתמש בהם. אתם יכולים לבצע את המשימות הבאות:

    • ליצור תובנות לגבי מערכי נתונים חשובים, במיוחד כאלה עם קשרים מורכבים.

    • כדי להתאים את התובנות שנוצרו על ידי AI להקשר העסקי הספציפי של הארגון, אתם יכולים לספק הוראות מותאמות אישית שמגדירות את היעדים העיקריים, את הידע בתחום ואת המונחים. לדוגמה, אתם יכולים לאכוף מוסכמות למתן שמות, לציין הגדרות עסקיות או לתאר מפתחות הצטרפות.

    • כדי לקבל תובנות מדויקות ומועילות יותר, חשוב לוודא שסריקות של פרופילי נתונים פועלות בטבלאות ומספקות הקשר עשיר.

    מידע נוסף זמין במאמרים יצירת תובנות לגבי מערך נתונים וביסוס תובנות על תוצאות של יצירת פרופיל נתונים.

תהליכי עבודה לנאמני מידע

תהליכי העבודה האלה עוזרים למנהלי הנתונים ולצוותי הפיקוח לשמור על תקינות הנתונים ועל האמינות שלהם.

  • אימות ובדיקה של מטא-נתונים שנוצרו על ידי AI: כדי לוודא שהמטא-נתונים שנוצרו על ידי תובנות מנתונים מדויקים ומהימנים. אתם יכולים לבצע את המשימות הבאות:

    • חשוב לבדוק באופן קבוע את התיאורים והקשרים שנוצרו על ידי תכונת התובנות.

    • השוו בין הקשרים המשוערים בתרשים הקשרים לבין מודלים מבוססים של נתונים ולוגיקה עסקית.

    • בודקים ומתקנים אי-דיוקים במטא-נתונים שנוצרו על ידי AI.

    מידע נוסף זמין במאמרים יצירת תובנות לגבי טבלאות ויצירת תובנות לגבי מערכי נתונים.

תמחור

למחירון של סוכני Data Cloud

מכסות ומגבלות

למידע על המכסות והמגבלות של התכונה הזו, קראו את המאמר מכסות ל-Gemini ב-BigQuery.

מגבלות

לתובנות מנתונים יש את המגבלות הבאות:

  • אפשר לקבל תובנות מנתונים לגבי טבלאות ב-BigQuery, טבלאות ב-BigLake, טבלאות חיצוניות, תצוגות ומרחבי שמות של Iceberg.

  • ללקוחות עם כמה עננים, הנתונים מעננים אחרים לא זמינים.

  • התכונה "תובנות מנתונים" לא תומכת בעמודות מסוג GEO או JSON.

  • הפעלת התובנות לא מבטיחה שהשאילתות יוצגו בכל פעם. כדי להגדיל את הסיכוי ליצור שאילתות מעניינות יותר, צריך להפעיל מחדש את צינור עיבוד הנתונים של התובנות.

  • בטבלאות עם בקרת גישה ברמת העמודה והרשאות משתמש מוגבלות, אתם יכולים ליצור תובנות שנוצרו על ידי AI אם יש לכם גישת קריאה לכל העמודות בטבלה. כדי להריץ את השאילתות שנוצרו, צריכות להיות לכם הרשאות מתאימות.

  • ‫Gemini יוצר תיאורים ל-350 עמודות לכל היותר בטבלה.

  • בתובנות לגבי מערכי נתונים, אי אפשר לערוך קשרים בתרשים הקשרים.

  • כשיוצרים תובנות חדשות לגבי מערך נתונים, הן מחליפות את התובנות הקודמות לגבי אותו מערך נתונים.

  • תובנות לגבי מערכי נתונים לא תומכות במערכי נתונים מקושרים.

מיקומים

אפשר להשתמש בתובנות מנתונים בכל המיקומים של BigQuery. במאמר איפה Gemini ב-BigQuery מעבד את הנתונים שלכם מוסבר איפה Gemini ב-BigQuery מעבד את הנתונים שלכם.

המאמרים הבאים