建立 Apache Iceberg 檢視表後,您可以在 Lakehouse 執行階段目錄的命名空間中,註冊 SQL 定義的非具體化邏輯資料表,以便 Spark 和 Trino 等相容於 Iceberg 的引擎查詢。目錄會將檢視表定義寫入 Cloud Storage 中檢視表位置下的版本化 metadata.json 檔案。
建立檢視表時,目錄會驗證參照資料表的結構定義,因此檢視表參照的命名空間和每個資料表都必須已存在。詳情請參閱「Apache Iceberg 檢視表總覽」。
事前準備
-
如果尚未啟用 BigLake API,請先啟用。
啟用 API 所需的角色
如要啟用 API,您必須具備
serviceusage.services.enable權限。如果您建立了專案,可能已透過擁有者角色 (roles/owner) 取得這項權限。否則,您可以透過 Service Usage 管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。 - 設定 Lakehouse 執行階段目錄,並使用多 bucket 目錄或單一 bucket 目錄。BigQuery 目錄或聯合目錄不支援 Iceberg 檢視表。
- 查看 Iceberg 檢視表的限制。
將開放原始碼引擎連線至 Apache Iceberg REST 目錄端點。
- Spark:使用 Spark 3.5 以上版本,搭配 Iceberg 執行階段 1.6.0 以上版本。請使用 Iceberg 執行階段 1.10.0 以上版本,讓 Spark 透過目錄的
GET /v1/config回應,探索支援的檢視表端點。設定spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,讓 Spark 將檢視表 DDL 和解析作業委派給 Apache Iceberg REST 目錄端點。 - Trino:使用 Trino 482 以上版本,並設定 Trino Iceberg 連接器,以使用 Apache Iceberg REST 目錄端點。詳情請參閱「Trino 支援」。
- Spark:使用 Spark 3.5 以上版本,搭配 Iceberg 執行階段 1.6.0 以上版本。請使用 Iceberg 執行階段 1.10.0 以上版本,讓 Spark 透過目錄的
必要的角色
如要取得建立檢視表所需的權限,請要求管理員在專案和 Storage bucket 中,授予您下列 IAM 角色:
-
建立檢視表:BigLake 編輯者 (
roles/biglake.editor) - 您的專案 -
在使用者憑證模式中寫入檢視表中繼資料檔案:Storage 物件使用者 (
roles/storage.objectUser) - Cloud Storage bucket
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
這些預先定義的角色具備建立檢視表所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:
所需權限
必須具備下列權限,才能建立檢視表:
-
建立檢視表:
-
命名空間的
biglake.views.create -
檢視表參照的每個 Iceberg 資料表上,都有
biglake.tables.get
-
命名空間的
-
在使用者憑證模式下,將檢視表中繼資料檔案寫入 Cloud Storage bucket:
storage.objects.create
如需查看權限的完整清單,請參閱「必要角色和權限」。
建立基礎資料表
本文件中的範例會參照下列命名空間和資料表。如果尚未建立,請建立:
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
選用:插入樣本資料,以便查詢您建立的檢視表:
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
建立檢視表
建立一或多個 Iceberg 資料表的 Iceberg 檢視表。
Spark
建立檢視表,並加入明確的資料欄別名、資料欄層級註解、檢視表層級註解和自訂屬性。引擎會使用檢視表的 default-catalog 和 default-namespace,解析檢視表定義中不完整的資料表名稱:
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
如要僅在檢視表不存在時建立檢視表,請使用 CREATE VIEW IF NOT EXISTS。如果檢視表存在,陳述式會成功執行,但不會修改檢視表:
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
根據預設,目錄會寫入 gzip 壓縮的中繼資料檔案 (.gz.metadata.json)。如要寫入未壓縮的中繼資料檔案 (.metadata.json),請將 write.metadata.compression-codec 屬性設為 none:
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
如要使用 REST API 建立 Iceberg 檢視表,請向 CreateIcebergView 端點發出 POST 要求:
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
要求主體必須包含有效的 Iceberg CreateViewRequest JSON 酬載,用於定義檢視表名稱、結構定義、檢視表版本和初始屬性。如果您設定自訂 location,則必須遵循目錄類型的檢視表儲存位置規則。位置建立後即無法變更。
更改下列內容:
PROJECT_ID:您的 Google Cloud專案 ID。CATALOG_ID:目錄 ID。NAMESPACE_NAME:目錄命名空間的名稱。
使用彙整、匯總和子查詢建立檢視表
檢視表定義可以包含彙整、匯總、CASE 運算式、一般資料表運算式 (CTE)、UNION ALL 和子查詢。
建立彙整兩個資料表的檢視表:
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
建立匯總資料並使用 CASE 運算式的檢視表:
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
建立使用 CTE、UNION ALL 和子查詢的檢視表:
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
建立巢狀檢視
檢視表可以查詢其他檢視表。如要查詢外部檢視表,您必須具備兩個檢視表的 biglake.views.get,以及任一檢視表參照的所有資料表的讀取權限。
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
建立檢視表,並對基礎資料表啟用時光旅行功能
檢視表不會維護自己的資料快照,但檢視表定義可以查詢特定時間戳記或快照 ID 的基礎 Iceberg 資料表。使用這個模式,建立可重現的歷來基準,用於法規遵循、報表或模型訓練。
插入記錄,建立基礎資料表的新版本:
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);建立檢視表,並固定在插入前的資料表狀態。將時間戳記替換為插入前的時間:
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';或者,您也可以將檢視表固定至特定資料表快照 ID:
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';查詢歷來檢視表。結果會排除新插入的記錄:
SELECT * FROM eng_employees_baseline;
您無法直接將 TIMESTAMP AS OF 或 VERSION AS OF 套用至檢視畫面 ID。在檢視表定義中,針對基礎資料表表示時間旅行。詳情請參閱「排解 Iceberg 檢視表問題」。