创建视图

通过创建 Apache Iceberg 视图,您可以在 Lakehouse 运行时目录的命名空间中注册 SQL 定义的非具体化逻辑表,以便 Spark 和 Trino 等兼容 Iceberg 的引擎可以查询该表。目录会将视图定义写入 Cloud Storage 中视图位置下的版本化 metadata.json 文件。

由于目录会在您创建视图时验证所引用表的架构,因此该视图引用的命名空间和每个表都必须已经存在。如需了解详情,请参阅 Apache Iceberg 视图概览。

准备工作

  1. 验证是否已为您的 Google Cloud 项目启用结算功能。

  2. 启用 BigLake API(如果尚未启用)。

    启用 API 所需的角色

    如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。

    启用 API

  3. 设置 Lakehouse 运行时目录,并使用多存储桶目录或单存储桶目录。BigQuery 目录或联合目录不支持 Iceberg 视图。
  4. 查看 Iceberg 视图的限制。
  5. 将开源引擎连接到 Apache Iceberg REST Catalog 端点。

    • Spark:将 Spark 3.5 或更高版本与 Iceberg 运行时 1.6.0 或更高版本搭配使用。使用 Iceberg 运行时 1.10.0 或更高版本,以便 Spark 通过目录的 GET /v1/config 响应发现支持的视图端点。设置 spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,以便 Spark 将视图 DDL 和解析委托给 Apache Iceberg REST Catalog 端点。
    • Trino:使用 Trino 482 或更高版本,并将 Trino Iceberg 连接器配置为使用 Apache Iceberg REST Catalog 端点。如需了解详情,请参阅 Trino 支持。

所需的角色

如需获得创建视图所需的权限,请让您的管理员为您授予项目和存储桶的以下 IAM 角色:

  • 创建视图:BigLake Editor (roles/biglake.editor) - 您的项目
  • 在最终用户凭据模式下写入视图元数据文件:Storage Object User (roles/storage.objectUser) - 针对 Cloud Storage 存储桶

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含创建视图所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

您需要具备以下权限才能创建视图:

  • 创建视图:
    • biglake.views.create (在命名空间上)
    • 针对视图引用的每个 Iceberg 表的 biglake.tables.get 权限
  • 在最终用户凭据模式下写入视图元数据文件:针对 Cloud Storage 存储桶的 storage.objects.create

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需查看查看权限的完整列表,请参阅所需的角色和权限。

创建基表

本文档中的示例引用了以下命名空间和表。 如果这些文件尚不存在,请创建它们:

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

可选:插入抽样数据,以便查询创建的视图:

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

创建视图

在一个或多个 Iceberg 表上创建 Iceberg 视图。

Spark

创建具有显式列别名、列级注释、视图级注释和自定义属性的视图。引擎会使用视图的 default-catalog 和 default-namespace 解析视图定义中不限定的表名称:

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

如需仅在视图不存在时创建视图,请使用 CREATE VIEW IF NOT EXISTS。如果视图存在,则该语句会成功执行,而不会修改视图:

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

默认情况下,目录会写入 gzip 压缩的元数据文件 (.gz.metadata.json)。如需写入未压缩的元数据文件 (.metadata.json),请将 write.metadata.compression-codec 属性设置为 none:

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

如需使用 REST API 创建 Iceberg 视图,请向 CreateIcebergView 端点发出 POST 请求:

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

请求正文必须包含有效的 Iceberg CreateViewRequest JSON 载荷,用于定义视图名称、架构、视图版本和初始属性。如果您设置了自定义 location,则它必须遵循目录类型的视图存储位置规则。位置一经创建便无法更改。

替换以下内容:

  • PROJECT_ID: Google Cloud项目 ID。
  • CATALOG_ID:您的目录的 ID。
  • NAMESPACE_NAME:目录命名空间的名称。

使用联接、聚合和子查询创建视图

视图定义可以包含联接、聚合、CASE 表达式、通用表表达式 (CTE)、UNION ALL 和子查询。

创建一个联接两个表的视图:

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

创建一个汇总数据并使用 CASE 表达式的视图:

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

创建一个使用 CTE、UNION ALL 和子查询的视图:

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

创建嵌套视图

一个视图可以查询另一个视图。查询外部视图需要对两个视图都拥有 biglake.views.get 权限,并且对任一视图引用的每个表都拥有读取权限。

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

在基础表上创建具有时间旅行功能的视图

视图不会维护自己的数据快照,但视图定义可以查询特定时间戳或快照 ID 的底层 Iceberg 表。使用此模式可创建可重现的历史基准,以用于合规性、报告或模型训练。

  1. 插入一条记录,以创建底层表的新版本:

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. 创建一个固定到插入前表状态的视图。将时间戳替换为插入之前的时间:

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    或者,将视图固定到特定表快照 ID:

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. 查询历史视图。结果不包括新插入的记录:

    SELECT * FROM eng_employees_baseline;
    

您无法将 TIMESTAMP AS OF 或 VERSION AS OF 直接应用于视图标识符。在视图定义中针对底层表表达时间旅行。如需了解详情,请参阅排查 Iceberg 视图问题。

后续步骤