在 Cloud Data Fusion 6.7.0 版或更高版本中运行的私有实例中,可以使用 DNS 解析。在私有 Cloud Data Fusion 实例中设计流水线时,您可以使用主机名或域名作为来源和接收器,这样就不必在故障切换期间更改流水线定义。
如果没有 DNS 解析,您将使用硬编码的 IP 地址,而在高可用性部署中发生故障切换时,这些地址会发生变化,从而导致问题。如果您在私有实例中设计流水线,并且想要检索架构、运行预览、整理数据和测试连接,建议使用 DNS 解析。
如需了解详情,请参阅 Cloud Data Fusion 中的 DNS 解析。
准备工作
创建私有实例
在 Cloud Data Fusion 中创建私有实例,并按照以下步骤在该实例中设置 VPC 网络或共享 VPC 网络。
创建一个私有 Cloud Data Fusion 实例。 创建实例时,请选择以下选项:
- 选择 6.7.0 版或更高版本。
- 在网络 字段中,为专用连接选择适当的关联网络。
- 输入任何其他实例详细信息,然后点击创建 。如需了解所有字段,请参阅 创建私有 Cloud Data Fusion 实例。
-
Cloud Data Fusion 使用 VPC 网络对等互连建立与 VPC 或共享 VPC 网络的网络连接。这让 Cloud Data Fusion 可以通过内部 IP 地址访问您网络上的资源。
设置时,请执行以下操作:
- 输入对等互连连接的名称 。
- 对于您的 VPC 网络,选择您在其中创建了 Cloud Data Fusion 实例的网络。
- 对于对等互连 VPC 网络 ,选择在另一个项目中 。
- 对于项目 ID,输入 租户项目 ID。
对于 VPC 网络名称 ,输入
INSTANCE_REGION-INSTANCE_ID。替换以下内容:
INSTANCE_REGION:您在其中创建了 Cloud Data Fusion 实例的区域。INSTANCE_ID:Cloud Data Fusion 实例的 ID。
对于交换自定义路由 ,点击导出自定义路由 。这允许您将 VPC 网络中定义的任何自定义路由与租户 VPC 网络进行交换。
点击创建 。
如果 VPC 网络对等互连设置成功,VPC 网络详情页面上的状态 将为活跃 。
创建代管式专用 DNS 区域
如需在 Cloud Data Fusion 中解析域名,请在用于 VPC 网络对等互连的同一 VPC 网络或共享 VPC 网络中创建一个新的代管式专用 DNS 区域。如需了解详情,请参阅 创建专用区域。
控制台
如需创建专用代管式 DNS 区域,请执行以下操作:
- 在 Google Cloud 控制台中,前往 创建 DNS 区域 页面。
- 对于区域名称,请输入一个名称。
- 对于区域类型 ,点击专用 。
- 对于 DNS 名称 ,请输入域名。
- 对于选项 ,点击默认(专用) 。
- 对于网络,选择用于 VPC 网络对等互连的 VPC 网络或共享 VPC 网络。
- 点击创建 。
在 DNS 区域中创建记录集
在 DNS 区域中创建记录集,其中包含在设计流水线时要解析的内部 IP 地址。如需了解详情,请参阅 添加记录。
控制台
如需创建记录集,请执行以下操作:
在 Google Cloud 控制台中,前往 Cloud DNS 页面。
点击要为其创建资源记录集的区域。
在区域详情 页面上,点击添加标准 。
对于 DNS 名称 ,输入在设计时必须解析的域名 。
输入记录类型详细信息。对于 IPv4 地址,请提供要在流水线中使用的接收器或来源的内部 IP 地址。如需详细了解记录类型,请参阅 添加记录。
点击创建 。
在实例中添加 DNS 对等互连
控制台
如需在 Google Cloud 控制台中创建 DNS 对等互连,请执行以下操作:
打开您的实例。
在 Google Cloud 控制台中,前往 Cloud Data Fusion 页面。
点击实例,然后点击实例名称以前往实例详情页面。
点击 Add DNS peering (添加 DNS 对等互连)。
系统随即会打开 Add DNS peering (添加 DNS 对等互连)对话框。
对于 DNS peering ID(DNS 对等互连 ID),请输入一个名称。
对于 Domain(网域),请输入您用于创建 专用 DNS 区域的域名。
对于 Target project(目标项目),选择在其中创建了专用 DNS 区域的项目名称。
对于 网络 ,选择在其中创建了 专用 DNS 区域的 VPC 网络名称。
点击保存 以创建 DNS 对等互连。
REST API
如需使用 Cloud Data Fusion DNS 对等互连
API 解析域名和主机名,请调用其
create()
方法。
如需了解详情和方法,请参阅 Cloud Data Fusion DNS 对等互连 API 参考文档。
共享 VPC 网络中的 DNS 解析
如需在 共享 VPC 网络中创建 Cloud DNS 专用区域,请在 宿主项目中创建一个 专用区域,并为共享 VPC 网络授予该区域的访问权限,也可以使用 跨项目绑定在服务项目中设置该区域。如需了解详情,请参阅 Cloud DNS 专用区域的最佳实践。
共享 VPC 网络所需的角色
为确保 Cloud Data Fusion 服务账号拥有在共享 VPC 网络中创建 DNS 对等互连所需的权限,请让您的管理员为 Cloud Data Fusion 服务账号授予共享 VPC 宿主项目的DNS Peer (roles/dns.peer) IAM 角色。
您的管理员还可以通过自定义 角色或其他预定义 角色向 Cloud Data Fusion 服务账号 授予所需的权限。
如需了解详情,请参阅 授予对所需服务账号的访问权限。
后续步骤
- 详细了解 Cloud Data Fusion 中的网络功能。
- 请参阅 Cloud Data Fusion API。