将元数据从外部 Data Catalog 迁移到 Lakehouse REST 目录表,以便在 Apache Iceberg 中使用

本文档介绍了如何将元数据从外部 Data Catalog 迁移到 Lakehouse REST catalog tables for Apache Iceberg。BigQuery Migration Service 支持从以下外部元存储迁移元数据:

  • Apache Hive Metastore
  • Apache Iceberg REST 目录

限制

  • 从外部 Data Catalog 到 Lakehouse REST 目录表(适用于 Apache Iceberg)的元数据迁移是一次性同步。此功能不支持持续或定期同步,因此在迁移后进行的任何写入操作都无法显示,除非您再次迁移。
  • 不支持嵌套命名空间。
  • Iceberg REST 目录仅支持 Parquet 数据文件。
  • 无边界湖仓一体不支持 Apache Iceberg V3 表。
  • 从外部 Data Catalog 到 Lakehouse REST 目录表(适用于 Apache Iceberg)的元数据迁移不支持使用组织政策强制执行网域限制共享。

准备工作

在从外部 Data Catalog 迁移元数据之前,您必须执行以下部分中的步骤。

启用 API

启用 BigLake、BigQuery Data Transfer、BigQuery Migration、Secret Manager、Storage Transfer API(如果尚未启用)。

启用 API 所需的角色

如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。

启用 API

启用 Data Transfer API 后,系统会创建一个服务代理。

配置权限

如需将元数据从外部 Data Catalog 迁移到 Lakehouse REST Catalog for Apache Iceberg 表,您必须向以下用户账号和服务代理授予所需权限。

默认情况下, Google Cloud 控制台 IAM 页面会隐藏 Google 代管式服务代理,包括 BigQuery 迁移服务代理和 BigQuery Data Transfer Service 代理。如需包含这些服务代理,请点击服务账号,然后在有权访问的主账号下,选择包括 Google 提供的角色授权。

包括 Google 提供的角色授权

授予用户账号权限

如需获得在控制台中选择自定义服务账号并将其附加到迁移作业所需的权限,请让管理员在资源级层向您授予自定义服务账号的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

授予自定义服务账号权限

为确保自定义服务账号具有实例化转移作业配置所需的权限,请让您的管理员为自定义服务账号授予以下 IAM 角色:

  • 允许访问网络连接:自定义服务账号的 Compute Network Admin (roles/compute.networkAdmin)
  • 访问 BigQuery Data Transfer Service:自定义服务账号的 BigQuery Admin (roles/bigquery.admin)
  • 允许访问 Lakehouse 资源:自定义服务账号的 BigLake Editor (roles/biglake.editor) 角色
  • 访问 Secret:客户提供的 Secret 的 Secret Manager Secret Accessor (roles/secretmanager.secretAccessor)

如需详细了解如何向服务账号授予角色,请参阅管理对服务账号的访问权限。

授予 BigQuery Migration 服务代理权限

为确保 BigQuery 迁移服务代理拥有必要的权限,可在发现期间模拟自定义服务账号,以针对 Dataproc Metastore 进行授权,请让管理员在资源级层向 BigQuery 迁移服务代理授予自定义服务账号的 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) IAM 角色。

如需详细了解如何向服务代理授予角色,请参阅管理对服务账号的访问权限。

您还必须为 BigQuery Migration Service 创建服务身份,并向其授予 roles/iam.serviceAccountTokenCreator 角色。如需创建服务身份,请运行以下命令:

  gcloud beta services identity create --service=bigquerymigration.googleapis.com --project=PROJECT_ID
  

将 PROJECT_ID 替换为您的项目 ID。

授予 BigQuery Data Transfer Service 代理权限

如需确保 BigQuery Data Transfer Service 代理拥有将表注册到 Lakehouse 并编排文件转移所需的权限,请让您的管理员在项目级层为 BigQuery Data Transfer Service 代理授予以下 IAM 角色:

如需详细了解如何向服务代理授予角色,请参阅管理对服务账号的访问权限。

配置 Secret

如果您要迁移到 Apache Iceberg REST 目录,则必须创建一个密钥来授权迁移。密钥必须采用以下格式:

{
  "client_id": "CLIENT_ID",
  "client_secret": "CLIENT_SECRET",
  "polaris_realm": "POLARIS_REALM",
  "scope": "SCOPE"
}

替换以下内容:

  • CLIENT_ID:OAuth 2.0 客户端 ID
  • CLIENT_SECRET:OAuth 2.0 客户端密钥
  • POLARIS_REALM:Polaris 目录的领域。只有 Apache Polaris 需要此字段。例如 FINANCE。
  • SCOPE:(可选)OAuth 2.0 范围。默认值为 PRINCIPAL_ROLE:ALL。

创建 Lakehouse 目录

创建 Lakehouse 目录。迁移的元数据存储在您创建目录时指定的 Cloud Storage 存储桶中。

迁移元数据

如需开始将元数据迁移到 Lakehouse Iceberg REST 目录表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往迁移 > 服务页面。

    前往“迁移服务”

  2. 在注册或迁移开放式湖仓一体下,点击创建迁移。

  3. 在迁移配置下,执行以下操作:

    1. 对于目录类型,请选择外部目录。
    2. 在区域部分中,选择一个区域。所选区域决定了迁移编排和数据传输的运行位置。它还决定了迁移服务在何处使用或创建任何资源,例如网络连接或密钥。

      仅支持区域级 Secret。密钥的区域必须与此字段中的区域一致。

    3. 在迁移显示名称部分,输入此迁移的名称。

  4. 在源系统配置下,执行以下操作:

    1. 在网址部分,输入作为 Apache Iceberg 或 Apache Hive Metastore 入口点的基本端点网址。
    2. 在服务账号部分,从列表中选择一个服务账号。如果未指定,此迁移将使用用户凭证运行。
    3. (可选)在网络连接部分,选择一个网络连接。
  5. 点击继续。

元数据迁移完成后,外部目录中的元数据会存储在您创建 Lakehouse 目录时指定的 Cloud Storage 存储桶中。

价格

将元数据转移到 Lakehouse Iceberg REST 目录表无需付费。元数据转移后,您需要按 Lakehouse 价格付费。