通过查询 Apache Iceberg 视图,您可以运行存储在 Lakehouse 运行时目录中的 SQL 定义,从而从底层 Iceberg 表中读取精选的零复制结果。您的 Compute Engine 会从目录中加载视图定义,解析每个引用的表和嵌套视图,然后读取 Cloud Storage 中的数据文件。
您只能从与 Iceberg 兼容的开源引擎(例如 Spark 和 Trino)查询 Iceberg 视图。BigQuery 不支持查询 Iceberg 视图。
准备工作
-
启用 BigLake API(如果尚未启用)。
启用 API 所需的角色
如需启用 API,您需要拥有
serviceusage.services.enable权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。 - 使用 Apache Iceberg REST 目录端点设置 Lakehouse 运行时目录。
- 查看 Iceberg 视图的限制。
- 创建视图。
所需的角色
由于 Compute Engine 在客户端评估视图,因此您需要对视图以及视图引用的每个表和嵌套视图拥有权限。
如需获得查询视图所需的权限,请让管理员向您授予项目和存储桶的以下 IAM 角色:
-
在凭据自动售卖模式下读取视图和引用的表:BigLake Viewer (
roles/biglake.viewer) - 您的项目 -
在最终用户凭证模式下读取视图和引用的表:
- BigLake Viewer (
roles/biglake.viewer) - 您的项目 - Storage Object Viewer (
roles/storage.objectViewer) - Cloud Storage 存储桶
- BigLake Viewer (
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色可提供查询视图所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
查询视图需要以下权限:
-
查询视图:
-
针对视图和任何嵌套视图的
biglake.views.get权限 -
针对视图引用的每个 Iceberg 表的
biglake.tables.get权限
-
针对视图和任何嵌套视图的
-
在凭据自动售卖模式下读取表数据:针对视图引用的每个 Iceberg 表的
biglake.tables.getData角色 -
在最终用户凭证模式下读取视图元数据和表数据:针对 Cloud Storage 存储桶的
storage.objects.get
如需查看查看权限的完整列表,请参阅所需的角色和权限。
查询视图
从视图中选择所有数据:
Spark
SELECT * FROM NAMESPACE_NAME.VIEW_NAME;
替换以下内容:
NAMESPACE_NAME:命名空间的名称。VIEW_NAME:视图的名称。
您可以用同样的方式查询包含联接、聚合、CTE 和嵌套视图的视图。例如,以下查询使用创建视图中的视图:
SELECT * FROM my_ns.eng_employees ORDER BY emp_id;
SELECT * FROM my_ns.employee_directory ORDER BY id;
SELECT * FROM my_ns.top_eng_employees;
时间旅行和视图
您不能将时间旅行子句(例如 TIMESTAMP AS OF 或 VERSION AS OF)直接应用于视图标识符。如果您需要历史数据,请定义一个视图,其 SQL 定义对底层表应用时间旅行,或使用直接查询底层表的 CTE。如需了解详情,请参阅在底层表上创建具有时间旅行功能的视图。
后续步骤
- 了解如何获取视图详细信息。
- 了解如何排查 Iceberg 视图问题。