通过创建 Apache Iceberg 视图,您可以在 Lakehouse 运行时目录的命名空间中注册 SQL 定义的非具体化逻辑表,以便 Spark 和 Trino 等兼容 Iceberg 的引擎可以查询该表。目录会将视图定义写入 Cloud Storage 中视图位置下的版本化 metadata.json 文件。
由于目录会在您创建视图时验证所引用表的架构,因此该视图引用的命名空间和每个表都必须已经存在。如需了解详情,请参阅 Apache Iceberg 视图概览。
准备工作
-
启用 BigLake API(如果尚未启用)。
启用 API 所需的角色
如需启用 API,您需要拥有
serviceusage.services.enable权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。 - 设置 Lakehouse 运行时目录,并使用多存储桶目录或单存储桶目录。BigQuery 目录或联合目录不支持 Iceberg 视图。
- 查看 Iceberg 视图的限制。
将开源引擎连接到 Apache Iceberg REST Catalog 端点。
- Spark:将 Spark 3.5 或更高版本与 Iceberg 运行时 1.6.0 或更高版本搭配使用。使用 Iceberg 运行时 1.10.0 或更高版本,以便 Spark 通过目录的
GET /v1/config响应发现支持的视图端点。设置spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,以便 Spark 将视图 DDL 和解析委托给 Apache Iceberg REST Catalog 端点。 - Trino:使用 Trino 482 或更高版本,并将 Trino Iceberg 连接器配置为使用 Apache Iceberg REST Catalog 端点。如需了解详情,请参阅 Trino 支持。
- Spark:将 Spark 3.5 或更高版本与 Iceberg 运行时 1.6.0 或更高版本搭配使用。使用 Iceberg 运行时 1.10.0 或更高版本,以便 Spark 通过目录的
所需的角色
如需获得创建视图所需的权限,请让您的管理员为您授予项目和存储桶的以下 IAM 角色:
-
创建视图:BigLake Editor (
roles/biglake.editor) - 您的项目 -
在最终用户凭据模式下写入视图元数据文件:Storage Object User (
roles/storage.objectUser) - 针对 Cloud Storage 存储桶
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含创建视图所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
您需要具备以下权限才能创建视图:
-
创建视图:
-
biglake.views.create(在命名空间上) -
针对视图引用的每个 Iceberg 表的
biglake.tables.get权限
-
-
在最终用户凭据模式下写入视图元数据文件:针对 Cloud Storage 存储桶的
storage.objects.create
如需查看查看权限的完整列表,请参阅所需的角色和权限。
创建基表
本文档中的示例引用了以下命名空间和表。 如果这些文件尚不存在,请创建它们:
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
可选:插入抽样数据,以便查询创建的视图:
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
创建视图
在一个或多个 Iceberg 表上创建 Iceberg 视图。
Spark
创建具有显式列别名、列级注释、视图级注释和自定义属性的视图。引擎会使用视图的 default-catalog 和 default-namespace 解析视图定义中不限定的表名称:
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
如需仅在视图不存在时创建视图,请使用 CREATE VIEW IF NOT EXISTS。如果视图存在,则该语句会成功执行,而不会修改视图:
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
默认情况下,目录会写入 gzip 压缩的元数据文件 (.gz.metadata.json)。如需写入未压缩的元数据文件 (.metadata.json),请将 write.metadata.compression-codec 属性设置为 none:
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
如需使用 REST API 创建 Iceberg 视图,请向 CreateIcebergView 端点发出 POST 请求:
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
请求正文必须包含有效的 Iceberg CreateViewRequest JSON 载荷,用于定义视图名称、架构、视图版本和初始属性。如果您设置了自定义 location,则它必须遵循目录类型的视图存储位置规则。位置一经创建便无法更改。
替换以下内容:
PROJECT_ID: Google Cloud项目 ID。CATALOG_ID:您的目录的 ID。NAMESPACE_NAME:目录命名空间的名称。
使用联接、聚合和子查询创建视图
视图定义可以包含联接、聚合、CASE 表达式、通用表表达式 (CTE)、UNION ALL 和子查询。
创建一个联接两个表的视图:
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
创建一个汇总数据并使用 CASE 表达式的视图:
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
创建一个使用 CTE、UNION ALL 和子查询的视图:
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
创建嵌套视图
一个视图可以查询另一个视图。查询外部视图需要对两个视图都拥有 biglake.views.get 权限,并且对任一视图引用的每个表都拥有读取权限。
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
在基础表上创建具有时间旅行功能的视图
视图不会维护自己的数据快照,但视图定义可以查询特定时间戳或快照 ID 的底层 Iceberg 表。使用此模式可创建可重现的历史基准,以用于合规性、报告或模型训练。
插入一条记录,以创建底层表的新版本:
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);创建一个固定到插入前表状态的视图。将时间戳替换为插入之前的时间:
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';或者,将视图固定到特定表快照 ID:
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';查询历史视图。结果不包括新插入的记录:
SELECT * FROM eng_employees_baseline;
您无法将 TIMESTAMP AS OF 或 VERSION AS OF 直接应用于视图标识符。在视图定义中针对底层表表达时间旅行。如需了解详情,请参阅排查 Iceberg 视图问题。