排查跨云数据访问问题

本文档介绍了如何解决使用无边界 Lakehouse 的跨云数据访问功能时遇到的常见问题。

数据和资源已过时或未更新

Lakehouse 联合目录会根据刷新间隔同步远程云中的元数据。目录的后台元数据刷新可能需要更长时间,具体取决于资源(共享、架构、命名空间、表)的数量。如果上一次刷新超时,系统会跳过当前刷新,但会在下一个间隔重新安排下一次刷新。

如果查询的数据显示为过时,则目录的后台元数据刷新可能超时或失败。远程云资源也遵循相同的行为。如果您在远程云中删除资源,则只有在下次成功刷新后台元数据时,该资源才会从 Lakehouse 中删除。

在 Lakehouse Google Cloud 控制台页面中或通过运行 gcloud CLI,检查联合目录的后台元数据刷新状态:

前往 Lakehouse

gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

gcloud biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

连接性或路由问题

如果您在使用专用互连时遇到连接或路由问题,请验证以下内容:

  • 验证路由传播:检查Google Cloud 中的 Cloud Router 路由器,验证其是否已获知 AWS VPC 前缀。检查您的 AWS 路由表,验证它们是否具有返回 Google Cloud VPC 的路由。
  • 检查 ILB 运行状况:在 Google Cloud 控制台中,前往网络服务 > 负载均衡。检查 ILB 后端服务的后端 (NEG) 是否正常。如果未显示,请验证网络连接和 AWS 安全组规则。
  • 测试从 Google Cloud发起的连接性:在与 ILB 或 Service Directory 端点相同的Google Cloud VPC 和子网中启动一个测试虚拟机实例,并尝试连接到端口 443 上的 AWS ENI IP 地址(例如,使用 curl 或 telnet)。
  • Service Directory 解析:验证目录的服务账号是否有权解析 Service Directory 端点(roles/servicedirectory.viewer、roles/servicedirectory.pscAuthorizedService)。
  • 安全组和防火墙规则:验证 Google Cloud 防火墙规则和 AWS 安全组是否允许相关 IP 范围之间通过 TCP 端口 443传输流量。