借助 Cloud Data Fusion，您可以在流水线设计和执行环境中，通过公共实例或私有实例连接到数据源。
准备工作
如需在 Cloud Data Fusion 中使用网络，您需要对以下内容有基本的了解：
租户项目
Cloud Data Fusion 会创建一个租户项目，其中包含代表您管理流水线所需的资源
和服务，例如在客户项目中运行 Managed Service for Apache Spark 集群上的流水线时。
租户项目不会直接向您公开，但创建私有实例时，您可以使用项目的名称来设置 VPC 对等互连。租户项目中的每个私有实例都有自己的
VPC 网络和子网。
该项目可以有多个 Cloud Data Fusion 实例。当您在 Cloud Data Fusion 界面或 Google Cloud CLI 中访问实例时，可以管理其包含的资源和服务。
如需了解详情，请参阅有关
租户项目的 Service Infrastructure 文档。
客户项目
客户创建并拥有此项目。默认情况下， Cloud Data Fusion 会在此项目中创建一个临时 Managed Service for Apache Spark 集群 来运行流水线。
Cloud Data Fusion 实例
Cloud Data Fusion 实例是 Cloud Data Fusion 的唯一部署，您可以在其中设计和执行流水线。 您可以在单个项目中创建多个实例，并指定要在哪个 Google Cloud 区域中创建 Cloud Data Fusion 实例。 您可以根据自己的要求和费用限制，创建使用 Cloud Data Fusion 的开发者版、基本版或企业版的实例。每个实例都包含一个唯一的独立 Cloud Data Fusion 部署，其中包含一组服务，用于处理流水线生命周期 管理、编排、协调和元数据管理。这些 服务使用租户项目中的 长期运行资源运行。
网络图
下图显示了在构建数据流水线时，从各种本地和云数据源提取、转换、混合、汇总和加载数据时建立的连接。
请参阅有关 控制私有实例中的出站流量 和 连接到公共来源的图。
流水线设计和执行
Cloud Data Fusion 将设计和执行环境分离出来，可让您一次性设计流水线，然后在多个环境中执行流水线。设计环境位于租户项目中，而执行环境位于一个或多个客户项目中。
示例：您可以使用 Cloud Data Fusion 服务（例如 Wrangler 和 Preview）设计流水线。这些服务在租户项目中运行，对 数据的访问由 Google 管理的 Cloud Data Fusion 服务代理 角色控制。然后，您可以在客户项目中执行流水线，以便流水线使用您的 Managed Service for Apache Spark 集群。在客户项目中，默认 Compute Engine 服务帐号控制对数据的访问。您可以将项目配置为使用自定义服务帐号。
如需详细了解如何配置服务账号，请参阅 Cloud Data Fusion 服务账号。
设计环境
当您在客户项目中创建 Cloud Data Fusion 实例时，Cloud Data Fusion 会自动创建一个单独的由 Google 管理的租户项目，以运行管理流水线和元数据生命周期、Cloud Data Fusion 界面以及设计时工具（例如 Preview 和 Wrangler）所需的服务。
Cloud Data Fusion 中的 DNS 解析
如需在设计时环境中解析域名，以便在整理和 预览要传输的数据时使用 Google Cloud，请使用 DNS 对等互连 （从 Cloud Data Fusion 6.7.0 开始提供）。借助此功能，您可以为来源和接收器使用域名或主机名，而无需像 IP 地址那样频繁地重新配置。
建议您在 Cloud Data Fusion 的设计时环境中进行 DNS 解析，以便在专用 VPC 网络中测试连接并预览使用本地或其他服务器（例如数据库或 FTP 服务器）的域名的流水线。
如需了解详情，请参阅 DNS 对等互连和 Cloud DNS 转发。
执行环境
在实例中验证和部署流水线后，您可以手动执行流水线，也可以根据时间表或流水线状态触发器执行流水线。
无论执行环境是由 Cloud Data Fusion 还是客户预配和管理的，该环境都存在于您的客户项目中。
公共实例（默认）
要预配 Cloud Data Fusion 实例，最简单的方法是创建一个公共实例。充当公共网点，并提供通过公共互联网访问外部端点的权限。
Cloud Data Fusion 中的公开实例使用您项目中的默认 VPC 网络。
默认 VPC 网络具有以下功能：
- 每个区域自动生成的子网
- 路由表
- 防火墙规则，用于确保计算资源之间的通信
跨区域网络
创建新项目时，默认 VPC 网络的一项优势是，它会使用预定义的 IP 地址范围（以 CIDR 块表示）自动填充每个区域的一个子网。IP 地址范围以
10.128.0.0/20、10.132.0.0/20 开头，遍布 Google Cloud 全球各个区域。
为确保您的计算资源在不同区域之间相互连接，默认 VPC 网络会将默认本地路由设置为每个子网。通过设置通向互联网 (0.0.0.0/0) 的默认路由，您可以访问互联网并捕获任何未路由的网络流量。
防火墙规则
默认 VPC 网络提供一组防火墙规则：
| 默认 | 说明 |
|---|---|
默认允许 icmp |
为来源“0.0.0.0/0”启用“icmp”协议 |
| 默认允许内部 | 为来源 10.128.0.0/9 启用 tcp:0-65535、udp:0-65535、icmp，该来源涵盖最小 10.128.0.1 到最大 10.255.255.254 IP 地址 |
默认允许 rdp |
为来源“0.0.0.0/0”启用“tcp:3389” |
默认允许 ssh |
为来源“0.0.0.0/0”启用“tcp:22” |
这些默认 VPC 网络设置可最大限度地减少设置云服务（包括 Cloud Data Fusion）的前提条件。由于担心网络安全，组织通常不允许您将默认 VPC 网络用于经营活动。如果没有默认 VPC 网络，您将无法创建 Cloud Data Fusion 公共实例。请改为 创建私有实例。
默认 VPC 网络不授予对资源的访问权限。 而是由 Identity and Access Management (IAM) 控制访问权限：
- 您需要经过验证的身份才能登录 Google Cloud。
- 登录后，您需要明确的权限（例如 Viewer 角色）才能查看 Google Cloud 服务。
专用实例
某些组织要求其所有生产系统都与公共 IP 地址隔离开来。Cloud Data Fusion 专用实例在所有类型的 VPC 网络设置中满足该要求。
Cloud Data Fusion 中的 Private Service Connect
Cloud Data Fusion 实例可能需要连接到位于 本地、 Google Cloud或位于其他云提供商处的资源。将 Cloud Data Fusion 与内部 IP 地址搭配使用时，与外部 资源的连接是通过项目中的 VPC 网络建立的。 Google Cloud 网络上的流量不会通过公共互联网。当 Cloud Data Fusion 通过 VPC 网络对等互连获得对 VPC 的访问权限时，存在一些限制，这些限制在使用大规模网络时会变得很明显。
借助 Private Service Connect 接口，Cloud Data Fusion 可以连接到您的 VPC，而无需使用 VPC 网络对等互连。 Private Service Connect 接口是一种 Private Service Connect ，可让 Cloud Data Fusion 发起与使用方 VPC 网络的专用安全 连接。这不仅提供了灵活性和易用性（如 VPC 网络对等互连），还提供了 Private Service Connect 提供的显式授权和使用方控制。如需了解详情，请参阅创建 配置了 Private Service Connect 的私有实例。
访问设计和执行环境中的数据
在公共实例中，网络通信通过开放式互联网进行，不建议在重要环境中使用。要安全地访问数据源，请务必在执行环境中通过专用实例执行流水线。
访问来源
访问数据源、公共实例和私有实例时：
- 使用专用 Google 访问通道向 Google Cloud API 发出出站调用
- 通过 VPC 对等互连与执行 (Managed Service for Apache Spark) 环境通信
下表比较了各种数据源的设计和执行期间的不同实例：
| 数据源 | 公有云 Cloud Data Fusion 实例 （设计时） |
公有云 Cloud Data Fusion Managed Service for Apache Spark （执行） |
私有云 Cloud Data Fusion 实例 （设计时） |
私有 Cloud Data Fusion Managed Service for Apache Spark （执行） |
|---|---|---|---|---|
| Google Cloud 来源 （在您授予权限并设置防火墙 规则后） |
||||
| 本地源 （设置 VPN/互连后，授予 权限，并设置防火墙规则） |
||||
| 公共互联网来源 （在您授予权限并设置防火墙规则后） |