支持的区域和功能

借助无边界湖仓一体,您可以使用跨云互连在云服务商之间路由远程查询数据读取和后台元数据刷新。本文档概述了支持的跨云互连功能和分类,并将 Amazon Web Services (AWS) 区域映射到 Google Cloud 区域,以帮助您优化查询性能。

支持的跨云互连功能

Lakehouse 支持通过跨云互连路由查询数据读取、后台元数据刷新或两者,具体取决于您的网络隔离和费用要求是否适用于对象存储区读取、控制平面目录端点或端到端跨云流量:

  • 查询传输 (--service-directory-name):将查询读取操作路由到远程对象存储(AWS 上的 Amazon S3 或 Azure 上的 Microsoft Azure Data Lake Storage Gen2),以帮助降低出站流量费用并提供可预测的查询吞吐量。
  • 后台元数据刷新 (--metadata-service-directory-name):将控制平面后台元数据刷新和身份验证请求从 Lakehouse 运行时目录路由到远程目录 AWS PrivateLink 或 Azure Private Link 端点。
  • 支持的目录和云:

    # disableFinding(CORRECTION_VARIABLE_CLOUD) #

    AWS Glue Data Catalog:AWS(跨云互连或合作伙伴跨云互连)。
    • Databricks Unity Catalog:AWS(跨云互连或合作伙伴跨云互连)和 Azure (跨云互连)。
    • Snowflake Horizon Catalog:AWS(跨云互连或合作伙伴跨云互连)和 Azure (跨云互连)。

对于 Azure 部署,请在最靠近 Azure 区域和互连位置的Google Cloud 区域中创建联合目录。如需了解支持的 Azure 对等互连位置,请参阅为适用于 Azure 的跨云互连选择位置。

互连分类

Lakehouse 支持以下两种类型的跨云互连连接:

注意事项

  • 在区域映射表中,低延迟列表示 AWS 区域、互连设施和最近的 Google Cloud 区域位于同一地理大都市区的区域对。
  • 如果可能,请选择具有低延迟或 Cross-Cloud Interconnect(合作伙伴)的区域对,以确保在跨云联合大型数据集时获得最佳性能。

AWS 到 Google Cloud 区域映射

AWS 区域名称 AWS 区域(都市圈) 最近的 Google Cloud 区域名称 最近的 Google Cloud 区域都市圈 跨云互连(合作伙伴) 低延迟 前 3 个备选 Google Cloud 区域
us-east-1 北弗吉尼亚 us-east4 弗吉尼亚州阿什本 ✓ ✓ us-east1、us-east5、us-central1
us-east-2 俄亥俄 us-east5 俄亥俄州哥伦布 ✓ us-east4、us-east1、us-central1
us-west-1 北加利福尼亚州 us-west2 加利福尼亚州洛杉矶 ✓ us-west4、us-west1、us-west3
us-west-2 俄勒冈 us-west1 俄勒冈州达尔斯 ✓ ✓ us-west3、us-west4、us-west2
ca-central-1 蒙特利尔 northamerica-northeast1 蒙特利尔 ✓ northamerica-northeast2、us-east4、us-east5
sa-east-1 圣保罗 southamerica-east1 圣保罗 ✓ southamerica-west1、us-east1、us-south1
eu-west-1 爱尔兰 europe-west1 比利时 europe-west2、europe-west9、europe-west4
eu-west-2 伦敦 europe-west2 伦敦 ✓ ✓ europe-west1、europe-west9、europe-west4
eu-west-3 巴黎 europe-west9 巴黎 ✓ europe-west1、europe-west2、europe-west3
eu-central-1 法兰克福 europe-west3 法兰克福 ✓ ✓ europe-west4、europe-west1、europe-west6
eu-central-2 苏黎世 europe-west6 苏黎世 europe-west8、europe-west12、europe-west3
eu-north-1 斯德哥尔摩 europe-north2 斯德哥尔摩 ✓ ✓ europe-north1、europe-west4、europe-central2
eu-south-1 米兰 europe-west8 米兰 europe-west12、europe-west6、europe-west3
eu-south-2 西班牙(阿拉贡) europe-southwest1 马德里 europe-west9、europe-west1、europe-west8
me-central-1 阿联酋 me-central1 多哈 me-central2、me-west1、asia-south1
me-south-1 巴林 me-central2 达曼 me-central1、me-west1、asia-south1
af-south-1 开普敦 europe-southwest1 马德里 me-central2、me-west1、europe-west1
ap-east-1 香港 asia-east2 香港 ✓ asia-east1、asia-southeast3、asia-southeast1
ap-northeast-1 东京 asia-northeast1 东京 ✓ asia-northeast2、asia-northeast3、asia-east1
ap-northeast-2 首尔 asia-northeast3 首尔 ✓ asia-northeast2、asia-northeast1、asia-east1
ap-northeast-3 大阪 asia-northeast2 大阪 ✓ asia-northeast1、asia-northeast3、asia-east1
ap-south-1 孟买 asia-south1 孟买 ✓ asia-south2、me-central1、asia-southeast1
ap-south-2 海得拉巴 asia-south2 德里 asia-south1、asia-southeast1、me-central1
ap-southeast-1 新加坡 asia-southeast1 新加坡 ✓ ✓ asia-southeast2、asia-southeast3、asia-east1
ap-southeast-2 悉尼 australia-southeast1 悉尼 ✓ ✓ australia-southeast2、asia-southeast2、asia-southeast1
ap-southeast-3 雅加达 asia-southeast2 雅加达 ✓ asia-southeast1、asia-southeast3、australia-southeast1

后续步骤