Cloud Data Fusion：借助 Studio，您可以使用预构建插件的点击拖放界面直观地构建、配置和运行数据流水线。您可以连接到本地和云端数据源，准备和转换数据，以及测试或安排向目标位置的交付。
部署后，Studio 可帮助您通过迭代式编辑、Git 源代码控制以及可重复使用的运行时参数和偏好设置来管理流水线生命周期。您还可以自定义计算配置文件、分配执行资源以微调性能，以及集中管理配置。
准备工作
- 启用 Cloud Data Fusion API。
- 创建 Cloud Data Fusion 实例。
- 了解 Cloud Data Fusion 中的访问权限控制。
- 了解 Cloud Data Fusion 中的关键 概念和术语 。
Cloud Data Fusion：Studio 概览
Studio 包含以下组件。
管理
Cloud Data Fusion 允许您在每个实例中拥有多个 命名空间。在 Studio 中，管理员可以集中管理所有命名空间，也可以单独管理每个命名空间。
Studio 提供以下管理员控制：
- 系统管理
- 借助 Studio 中的系统管理员模块，您可以在系统级创建新命名空间并 定义中央计算配置文件配置， 这些配置适用于该实例中的每个命名空间。如需了解详情， 请参阅管理 Studio 管理。
- 命名空间管理
- 借助 Studio 中的命名空间管理员 模块，您可以管理特定命名空间的配置。对于每个命名空间，您可以定义计算配置文件、运行时偏好设置、驱动程序、服务账号和 Git 配置。如需了解详情，请参阅管理 Studio 管理。
流水线设计 Studio
您可以在 Cloud Data Fusion 网页界面中的 Pipeline Design Studio 中设计和执行流水线。设计和执行数据流水线包括以下步骤：
- 连接到来源：Cloud Data Fusion 允许连接到 本地和云端数据源。Studio 界面具有默认系统插件，这些插件已预安装在 Studio 中。您可以从插件代码库（称为 Hub）下载其他插件。如需了解更多 信息，请参阅插件概览。
- 数据准备：Cloud Data Fusion 允许您使用其强大的数据准备插件 Wrangler 准备您的 数据。借助 Wrangler，您可以在 Studio 中针对整个数据集运行逻辑之前，在一个位置查看、探索和转换少量数据样本。这样，您就可以快速应用转换，了解它们对整个数据集的影响。您可以创建多个转换并将其添加到配方中。如需了解详情，请参阅 Wrangler 概览。
- 转换：转换插件会在从 来源加载数据后更改数据，例如，您可以克隆记录、将文件格式更改为 JSON，或使用 Javascript 插件创建自定义转换。如需了解详情，请参阅插件概览。
- 连接到目标位置：准备好数据并应用 转换后，您可以连接到计划加载 数据的位置。Cloud Data Fusion 支持连接到多个目标位置。如需了解详情，请参阅 插件概览。
- 预览：设计流水线后，如需在部署和运行流水线之前调试问题，您可以运行 预览作业。如果您遇到任何错误，可以在 草稿 模式下修复这些错误。Studio 使用来源数据集的前 100 行来生成预览。Studio 会显示预览作业的状态和时长。您可以随时停止作业。 您还可以在预览作业运行时监控日志事件。如需了解 详情，请参阅预览数据。
管理流水线配置：预览数据后，您可以 部署流水线并管理以下流水线配置：
- 计算配置：您可以更改运行 流水线的计算配置文件，例如，您希望针对 自定义的 Managed Service for Apache Spark 集群（而不是默认的 Managed Service for Apache Spark 集群）运行流水线。
- 流水线配置：对于每个流水线，您可以启用或停用 插桩，例如计时指标。默认情况下，插桩处于启用状态。
- 引擎配置：Spark 是默认的执行引擎。您可以传递 Spark 的自定义参数。
- 资源：您可以为 Spark 驱动程序和执行器指定内存和 CPU 数量。驱动程序会编排 Spark 作业。执行器负责处理 Spark 中的数据。
- 流水线提醒：您可以将流水线配置为发送提醒并 在流水线运行完成后启动后处理任务。您可以在设计流水线时创建流水线提醒。部署流水线后，您可以查看提醒。如需更改提醒设置，您可以修改流水线。
- 转换推送：如果您希望流水线在 BigQuery 中执行某些转换，可以启用转换推送。
如需了解详情，请参阅管理流水线配置。
使用宏、偏好设置和运行时实参重复使用流水线: Cloud Data Fusion 允许您重复使用数据流水线。借助可重复使用的数据流水线，您可以拥有一个流水线，该流水线可以将数据集成模式应用于各种用例和数据集。可重复使用的流水线可提高可管理性。它们允许您在执行时设置流水线的大部分配置，而不是在设计时对其进行硬编码。在流水线设计 Studio 中，您可以使用宏向插件配置添加变量，以便在运行时指定变量替换。如需了解详情， 请参阅管理宏、偏好设置和运行时实参。
执行：查看流水线配置后，您 可以启动流水线执行。您可以看到流水线运行阶段（例如预配、启动、运行和成功）的状态变化。
安排和编排：您可以将批量数据流水线设置为按 指定的时间表和频率运行。创建并部署流水线后，您可以创建时间表。在流水线设计 Studio 中，您可以通过在批量数据流水线上创建触发器来编排流水线，使其在一个或多个流水线运行完成后运行。这些流水线称为下游流水线和上游流水线。您可以在下游流水线上创建触发器，以便根据一个或多个上游流水线的完成情况运行下游流水线。
建议：您还可以使用 Composer 在 Cloud Data Fusion 中编排流水线。如需了解详情，请参阅 安排流水线和Orchestration Pipelines。
修改流水线：Cloud Data Fusion 允许您修改已部署的 流水线。修改已部署的流水线时，系统会创建一个具有相同名称的新版流水线，并将其标记为最新版本。这样，您就可以迭代式开发流水线，而不是复制流水线（这会创建一个具有不同名称的新流水线）。如需了解详情， 请参阅修改流水线。
源代码控制管理：借助 Cloud Data Fusion，您可以使用 GitHub 对流水线进行源代码控制管理，从而更好地 管理开发和生产之间的流水线 。
日志记录和监控：如需监控流水线指标和日志，建议您启用 Stackdriver Logging 服务，以便将 Cloud Logging 与 Cloud Data Fusion 流水线搭配使用。
后续步骤
- 详细了解如何管理 Studio 管理。