關於結構化資料的資料洞察

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 的資料洞察功能，會依據資料表和資料集中繼資料，自動生成說明、關係圖和 SQL 查詢。這項資訊可協助您快速瞭解資料結構、內容和關係，不必手動設定。如要進一步調查，您可以在資料畫布中提出後續問題。

探索不熟悉的全新資料表時，資料分析師往往難以決定如何開始編寫查詢。問題可能涉及資料結構和資料中關鍵模式的不確定性。Knowledge Catalog 的資料洞察功能可自動探索及瞭解資料。這項功能可協助您發掘模式、評估資料品質，以及執行統計分析。

總覽

資料洞察功能會使用 Gemini 分析中繼資料，並生成下列內容：

  • 說明：AI 生成的摘要，說明資料集或命名空間的用途、資料表結構，以及特定資料欄的詳細資料。

  • 查詢範例：專為資料集、命名空間或資料表的結構定義和內容，量身打造的 GoogleSQL 和 Spark SQL 查詢。

  • 關係圖：以視覺化方式呈現資料集或命名空間中不同資料表之間的連結和依附關係。

此外，資料洞察功能也支援自訂指令 (預先發布版)。資料監管者可透過自訂指令，提供特定業務目標、領域知識和組織詞彙，設定洞察資料的生成方式。

支援的資源

下列結構化資料類型提供資料洞察：

  • BigQuery 資料集、資料表和檢視
  • 無邊界湖倉資料表 (包括 Apache Iceberg、Apache Hive 和 SAP BDC)
  • 外部資料表
  • Apache Iceberg REST 目錄資料表
  • Apache Iceberg 命名空間 (在 BigQuery 中以資料集表示)
  • Apache Hive 目錄資料表
  • SAP Business Data Cloud (BDC) 資料表

洞察執行作業範例

資料洞察會根據資料表的中繼資料，自動生成自然語言查詢和對應的 SQL。如果是 Iceberg 資料表，資料洞察也會生成對應的 Spark SQL。

範例：SQL Insights

假設有一個名為 telco_churn 的資料表，其結構定義如下：

欄位名稱 類型
CustomerID STRING
性別 STRING
年資 INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
合約 STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
流失 BOOLEAN

以下是資料洞察為這個資料表生成的部分查詢範例：

  • 找出訂閱所有付費服務，且成為客戶超過 50 個月的客戶。

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • 找出流失最多客戶的網際網路服務。

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • 找出高價值顧客各區隔的流失率。

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

範例：Spark SQL 深入分析

假設有一個名為 catalog_metrics 的 Apache Iceberg 資料表，其結構定義如下：

欄位名稱 類型
詳細資料 STRUCT
creation_date DATE
creation_time TIMESTAMP
precise_measure DOUBLE
價格 DOUBLE
中繼資料 STRUCT
is_active BOOLEAN

以下是資料洞察為這個資料表生成的部分 Spark SQL 查詢範例：

  • 計算每個details.field1的precise_measure累計總和，並依creation_time排序。

    SELECT
  details.field1,
  creation_time,
  precise_measure,
  SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics;

  • 取得每個 details.field1 和 details.field2 組合的最高價格，但僅限過去 30 天內建立的記錄。

    SELECT
  details.field1,
  details.field2,
  MAX(price) AS max_price
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  creation_date >= DATE_SUB(CURRENT_DATE(), 30)
GROUP BY
  details.field1,
  details.field2;

  • 取得 is_active 設為 false 的項目平均 metadata.value。

    SELECT
  AVG(metadata.value) AS avg_value
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  is_active = false;

生成資料洞察的模式

生成資料洞察時，Knowledge Catalog 提供兩種模式：

模式 說明 用量
生成並發布

將生成的資料洞察資訊，以中繼資料切面的形式，永久儲存至 Knowledge Catalog。您必須具備必要權限才能發布。使用「Generate and publish」(生成並發布) 時，系統會執行下列動作：

  • 將資料表和資料欄說明儲存在 Knowledge Catalog。
  • 擷取建議的查詢和問題，做為可重複使用的面向。
  • 讓具備適當 Knowledge Catalog 存取權的所有使用者都能存取已發布的洞察資料，確保組織知識共享。
  • 可讓您直接在 Knowledge Catalog 中編輯及儲存說明。

如要建立可永久保存及重複使用的企業級資料說明文件，或建構目錄導向的治理工作流程，請使用這個模式。
生成但不發布

視需要建立資料洞察，例如說明、自然語言問題和 SQL 查詢。「生成但不發布」不會將洞察資料發布至 Knowledge Catalog。

如要快速進行臨時探索，請使用這個模式，以免目錄雜亂。

定價

如要瞭解這項功能的定價詳情，請參閱「Data Cloud 代理定價」。

如要追蹤資料洞察掃描工作的權杖消耗量，並在 Cloud Monitoring 中建立自訂資訊主頁，請參閱「監控資料洞察權杖用量」。

配額與限制

如要瞭解如何管理費用，以及設定資料洞察詞元用量限制，請參閱「資料洞察的配額與限制」。

位置

您可以在所有 BigQuery 位置使用資料洞察。如要瞭解 Gemini in BigQuery 處理資料的位置，請參閱「Gemini in BigQuery 處理資料的位置」。

限制

  • 多雲端客戶無法使用其他雲端的資料。
  • 資料洞察不支援 Geo 或 JSON 資料欄類型。
  • 執行洞察作業不保證每次都會顯示查詢。如要提高生成更吸引人的查詢的可能性，請在 BigQuery Studio 中重新生成洞察。

後續步驟