建立檢視表

建立 Apache Iceberg 檢視表後,您可以在 Lakehouse 執行階段目錄的命名空間中,註冊 SQL 定義的非具體化邏輯資料表,以便 Spark 和 Trino 等相容於 Iceberg 的引擎查詢。目錄會將檢視表定義寫入 Cloud Storage 中檢視表位置下的版本化 metadata.json 檔案。

建立檢視表時,目錄會驗證參照資料表的結構定義,因此檢視表參照的命名空間和每個資料表都必須已存在。詳情請參閱「Apache Iceberg 檢視表總覽」。

事前準備

  1. 確認 Google Cloud 專案已啟用計費功能。

  2. 如果尚未啟用 BigLake API,請先啟用。

    啟用 API 所需的角色

    如要啟用 API,您必須具備 serviceusage.services.enable 權限。如果您建立了專案,可能已透過擁有者角色 (roles/owner) 取得這項權限。否則,您可以透過 Service Usage 管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。

    啟用 API

  3. 設定 Lakehouse 執行階段目錄,並使用多 bucket 目錄或單一 bucket 目錄。BigQuery 目錄或聯合目錄不支援 Iceberg 檢視表。
  4. 查看 Iceberg 檢視表的限制。
  5. 將開放原始碼引擎連線至 Apache Iceberg REST 目錄端點。

    • Spark:使用 Spark 3.5 以上版本,搭配 Iceberg 執行階段 1.6.0 以上版本。請使用 Iceberg 執行階段 1.10.0 以上版本,讓 Spark 透過目錄的 GET /v1/config 回應,探索支援的檢視表端點。設定 spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,讓 Spark 將檢視表 DDL 和解析作業委派給 Apache Iceberg REST 目錄端點。
    • Trino:使用 Trino 482 以上版本,並設定 Trino Iceberg 連接器,以使用 Apache Iceberg REST 目錄端點。詳情請參閱「Trino 支援」。

必要的角色

如要取得建立檢視表所需的權限,請要求管理員在專案和 Storage bucket 中,授予您下列 IAM 角色:

  • 建立檢視表:BigLake 編輯者 (roles/biglake.editor) - 您的專案
  • 在使用者憑證模式中寫入檢視表中繼資料檔案:Storage 物件使用者 (roles/storage.objectUser) - Cloud Storage bucket

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備建立檢視表所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能建立檢視表:

  • 建立檢視表:
    • 命名空間的 biglake.views.create
    • 檢視表參照的每個 Iceberg 資料表上,都有 biglake.tables.get
  • 在使用者憑證模式下,將檢視表中繼資料檔案寫入 Cloud Storage bucket:storage.objects.create

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

如需查看權限的完整清單,請參閱「必要角色和權限」。

建立基礎資料表

本文件中的範例會參照下列命名空間和資料表。如果尚未建立,請建立:

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

選用:插入樣本資料,以便查詢您建立的檢視表:

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

建立檢視表

建立一或多個 Iceberg 資料表的 Iceberg 檢視表。

Spark

建立檢視表,並加入明確的資料欄別名、資料欄層級註解、檢視表層級註解和自訂屬性。引擎會使用檢視表的 default-catalog 和 default-namespace,解析檢視表定義中不完整的資料表名稱:

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

如要僅在檢視表不存在時建立檢視表,請使用 CREATE VIEW IF NOT EXISTS。如果檢視表存在,陳述式會成功執行,但不會修改檢視表:

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

根據預設,目錄會寫入 gzip 壓縮的中繼資料檔案 (.gz.metadata.json)。如要寫入未壓縮的中繼資料檔案 (.metadata.json),請將 write.metadata.compression-codec 屬性設為 none:

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

如要使用 REST API 建立 Iceberg 檢視表,請向 CreateIcebergView 端點發出 POST 要求:

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

要求主體必須包含有效的 Iceberg CreateViewRequest JSON 酬載,用於定義檢視表名稱、結構定義、檢視表版本和初始屬性。如果您設定自訂 location,則必須遵循目錄類型的檢視表儲存位置規則。位置建立後即無法變更。

更改下列內容:

  • PROJECT_ID:您的 Google Cloud專案 ID。
  • CATALOG_ID:目錄 ID。
  • NAMESPACE_NAME:目錄命名空間的名稱。

使用彙整、匯總和子查詢建立檢視表

檢視表定義可以包含彙整、匯總、CASE 運算式、一般資料表運算式 (CTE)、UNION ALL 和子查詢。

建立彙整兩個資料表的檢視表:

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

建立匯總資料並使用 CASE 運算式的檢視表:

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

建立使用 CTE、UNION ALL 和子查詢的檢視表:

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

建立巢狀檢視

檢視表可以查詢其他檢視表。如要查詢外部檢視表,您必須具備兩個檢視表的 biglake.views.get,以及任一檢視表參照的所有資料表的讀取權限。

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

建立檢視表,並對基礎資料表啟用時光旅行功能

檢視表不會維護自己的資料快照,但檢視表定義可以查詢特定時間戳記或快照 ID 的基礎 Iceberg 資料表。使用這個模式,建立可重現的歷來基準,用於法規遵循、報表或模型訓練。

  1. 插入記錄,建立基礎資料表的新版本:

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. 建立檢視表,並固定在插入前的資料表狀態。將時間戳記替換為插入前的時間:

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    或者,您也可以將檢視表固定至特定資料表快照 ID:

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. 查詢歷來檢視表。結果會排除新插入的記錄:

    SELECT * FROM eng_employees_baseline;
    

您無法直接將 TIMESTAMP AS OF 或 VERSION AS OF 套用至檢視畫面 ID。在檢視表定義中,針對基礎資料表表示時間旅行。詳情請參閱「排解 Iceberg 檢視表問題」。

後續步驟