借助无边界湖仓一体,您可以使用跨云互连在云服务商之间路由远程查询数据读取和后台元数据刷新。本文档概述了支持的跨云互连功能和分类,并将 Amazon Web Services (AWS) 区域映射到 Google Cloud 区域,以帮助您优化查询性能。
支持的跨云互连功能
Lakehouse 支持通过跨云互连路由查询数据读取、后台元数据刷新或两者,具体取决于您的网络隔离和费用要求是否适用于对象存储区读取、控制平面目录端点或端到端跨云流量:
- 查询传输 (
--service-directory-name):将查询读取操作路由到远程对象存储(AWS 上的 Amazon S3 或 Azure 上的 Microsoft Azure Data Lake Storage Gen2),以帮助降低出站流量费用并提供可预测的查询吞吐量。 - 后台元数据刷新 (
--metadata-service-directory-name):将控制平面后台元数据刷新和身份验证请求从 Lakehouse 运行时目录路由到远程目录 AWS PrivateLink 或 Azure Private Link 端点。 - 支持的目录和云:
# disableFinding(CORRECTION_VARIABLE_CLOUD) #
AWS Glue Data Catalog:AWS(跨云互连或合作伙伴跨云互连)。- Databricks Unity Catalog:AWS(跨云互连或合作伙伴跨云互连)和 Azure (跨云互连)。
- Snowflake Horizon Catalog:AWS(跨云互连或合作伙伴跨云互连)和 Azure (跨云互连)。
对于 Azure 部署,请在最靠近 Azure 区域和互连位置的Google Cloud 区域中创建联合目录。如需了解支持的 Azure 对等互连位置,请参阅为适用于 Azure 的跨云互连选择位置。
互连分类
Lakehouse 支持以下两种类型的跨云互连连接:
- Cross-Cloud Interconnect(合作伙伴):通过受支持的合作伙伴在 Google Cloud 与指定 AWS 区域之间提供预配的连接。如需了解详情,请参阅适用于代管式云合作伙伴的合作伙伴跨云互连概览。
- Cross-Cloud Interconnect(专用):在 Google 网络与您的云服务商之间提供直接物理连接。所有列出的 AWS 和 Azure 区域都支持跨云互连。如需了解详情,请参阅 Cross-Cloud Interconnect 概览。
注意事项
- 在区域映射表中,低延迟列表示 AWS 区域、互连设施和最近的 Google Cloud 区域位于同一地理大都市区的区域对。
- 如果可能,请选择具有低延迟或 Cross-Cloud Interconnect(合作伙伴)的区域对,以确保在跨云联合大型数据集时获得最佳性能。
AWS 到 Google Cloud 区域映射
| AWS 区域名称 | AWS 区域(都市圈) | 最近的 Google Cloud 区域名称 | 最近的 Google Cloud 区域都市圈 | 跨云互连(合作伙伴) | 低延迟 | 前 3 个备选 Google Cloud 区域 |
|---|---|---|---|---|---|---|
us-east-1 |
北弗吉尼亚 | us-east4 |
弗吉尼亚州阿什本 | ✓ | ✓ | us-east1、us-east5、us-central1 |
us-east-2 |
俄亥俄 | us-east5 |
俄亥俄州哥伦布 | ✓ | us-east4、us-east1、us-central1 |
|
us-west-1 |
北加利福尼亚州 | us-west2 |
加利福尼亚州洛杉矶 | ✓ | us-west4、us-west1、us-west3 |
|
us-west-2 |
俄勒冈 | us-west1 |
俄勒冈州达尔斯 | ✓ | ✓ | us-west3、us-west4、us-west2 |
ca-central-1 |
蒙特利尔 | northamerica-northeast1 |
蒙特利尔 | ✓ | northamerica-northeast2、us-east4、us-east5 |
|
sa-east-1 |
圣保罗 | southamerica-east1 |
圣保罗 | ✓ | southamerica-west1、us-east1、us-south1 |
|
eu-west-1 |
爱尔兰 | europe-west1 |
比利时 | europe-west2、europe-west9、europe-west4 |
||
eu-west-2 |
伦敦 | europe-west2 |
伦敦 | ✓ | ✓ | europe-west1、europe-west9、europe-west4 |
eu-west-3 |
巴黎 | europe-west9 |
巴黎 | ✓ | europe-west1、europe-west2、europe-west3 |
|
eu-central-1 |
法兰克福 | europe-west3 |
法兰克福 | ✓ | ✓ | europe-west4、europe-west1、europe-west6 |
eu-central-2 |
苏黎世 | europe-west6 |
苏黎世 | europe-west8、europe-west12、europe-west3 |
||
eu-north-1 |
斯德哥尔摩 | europe-north2 |
斯德哥尔摩 | ✓ | ✓ | europe-north1、europe-west4、europe-central2 |
eu-south-1 |
米兰 | europe-west8 |
米兰 | europe-west12、europe-west6、europe-west3 |
||
eu-south-2 |
西班牙(阿拉贡) | europe-southwest1 |
马德里 | europe-west9、europe-west1、europe-west8 |
||
me-central-1 |
阿联酋 | me-central1 |
多哈 | me-central2、me-west1、asia-south1 |
||
me-south-1 |
巴林 | me-central2 |
达曼 | me-central1、me-west1、asia-south1 |
||
af-south-1 |
开普敦 | europe-southwest1 |
马德里 | me-central2、me-west1、europe-west1 |
||
ap-east-1 |
香港 | asia-east2 |
香港 | ✓ | asia-east1、asia-southeast3、asia-southeast1 |
|
ap-northeast-1 |
东京 | asia-northeast1 |
东京 | ✓ | asia-northeast2、asia-northeast3、asia-east1 |
|
ap-northeast-2 |
首尔 | asia-northeast3 |
首尔 | ✓ | asia-northeast2、asia-northeast1、asia-east1 |
|
ap-northeast-3 |
大阪 | asia-northeast2 |
大阪 | ✓ | asia-northeast1、asia-northeast3、asia-east1 |
|
ap-south-1 |
孟买 | asia-south1 |
孟买 | ✓ | asia-south2、me-central1、asia-southeast1 |
|
ap-south-2 |
海得拉巴 | asia-south2 |
德里 | asia-south1、asia-southeast1、me-central1 |
||
ap-southeast-1 |
新加坡 | asia-southeast1 |
新加坡 | ✓ | ✓ | asia-southeast2、asia-southeast3、asia-east1 |
ap-southeast-2 |
悉尼 | australia-southeast1 |
悉尼 | ✓ | ✓ | australia-southeast2、asia-southeast2、asia-southeast1 |
ap-southeast-3 |
雅加达 | asia-southeast2 |
雅加达 | ✓ | asia-southeast1、asia-southeast3、australia-southeast1 |