管理工作室管理

本页介绍了 Cloud Data Fusion Studio 提供的用于管理配置的管理功能。Cloud Data Fusion 遵循层次结构,其中每个实例可以有多个命名空间。在 Cloud Data Fusion Studio 中,管理员可以集中管理所有命名空间,也可以单独管理它们。Cloud Data Fusion Studio 提供以下系统和命名空间控制。

系统管理

在 Cloud Data Fusion Studio 中点击系统管理员会显示以下标签页:

  • 管理标签页:查看各种 Cloud Data Fusion 服务的运行状况。您还可以查看每项服务的日志。
  • 配置标签页:用于创建、查看和修改以下控制措施:

配置器负责创建、初始化和销毁流水线运行所在的云环境。每个预配工具都公开了一组配置,用于控制创建和删除的集群类型。不同的配置器会创建不同类型的集群。

每个计算配置都有一个范围:系统或用户。您可以为系统计算配置文件下的任何命名空间使用该配置文件。用户计算配置文件位于命名空间内,只有该命名空间中的流水线可以使用用户计算配置文件。

在系统管理员的配置标签页中,您可以创建应用于所有命名空间的系统计算配置文件。Cloud Data Fusion 会分配默认计算配置文件。

创建计算配置文件时,您需要选择预配工具,该配置文件将使用此预配工具来创建和配置云运行时详细信息。

系统偏好设置

偏好设置是预定义的配置,适用于 Cloud Data Fusion 中的各个级别,包括系统本身、命名空间、应用(包含流水线)以及流水线中的各个程序。偏好设置提供了一种为常用配置设置默认值的方法。较低级别的流水线和程序可以沿用这些默认值,从而减少重复的配置任务。如需了解详情,请参阅管理宏、偏好设置和运行时实参

HTTP 调用操作

通过系统管理员页面上的 HTTP 调用操作,您可以直接从 Cloud Data Fusion Studio 界面与 Cloud Data Fusion 自己的 API 或其他 Google Cloud 服务 API 进行交互。不过,如需构建包含外部数据源的数据处理流水线,请改用 HTTP 插件及其流水线中的 HTTP 调用执行器,以获得更全面的解决方案。它与 HTTP 调用操作略有不同,但基本概念相似。

配置和使用场景

HTTP 调用操作主要用于 Cloud Data Fusion 中的管理任务或配置目的。借助此插件,您可以直接从 Cloud Data Fusion Studio 与 Cloud Data Fusion API 或公开 HTTP API 的其他 Google Cloud 服务进行交互。

配置

您可以为 HTTP 调用定义以下详细信息:

  • 网址:您要调用的 Web 服务的目标端点。
  • 方法:要使用的 HTTP 方法,例如 GETPOSTPUT
  • 可选:标头:请求所需的任何自定义标头。
  • 可选:正文:要在请求正文中发送的数据,例如用于 POSTPUT 调用的数据。

然后,您可以在 Cloud Data Fusion Studio 中执行已定义的 HTTP 调用,并查看 Web 服务的响应。

使用场景
  • 测试 Cloud Data Fusion API 调用。您可以使用 HTTP 调用操作直接从网页界面测试或探索 Cloud Data Fusion API 功能。此操作有助于了解 API 行为或排查潜在问题。
  • 管理命名空间(高级)。虽然有专门用于命名空间管理的界面,但 HTTP 调用操作可用于高级任务,方法是直接调用 Cloud Data Fusion API 来创建、删除或配置命名空间。
  • 与其他 Google Cloud 服务互动(有限)。 如果您使用的其他 Google Cloud 服务具有公开记录的 HTTP API,您可以使用 HTTP 调用操作与这些服务进行交互,不过这是一种不常见的应用场景。
重要注意事项
  • 安全性:使用 HTTP 调用操作时要谨慎,尤其是在处理敏感数据或可能会影响环境的 Cloud Data Fusion API 调用时。在执行每个 API 调用之前,请务必了解其含义。
  • 限制:HTTP 调用操作主要用于管理任务和测试目的。它并非旨在构建涉及在 Cloud Data Fusion 中进行数据处理的复杂数据处理流水线。
  • 流水线的替代方案:如需将外部数据源或服务集成到数据流水线中,请在流水线定义中使用 HTTP 插件及其关联的 HTTP 调用执行器。这提供了一种更可靠且受控的方式来管理数据处理工作流中的 HTTP 交互。

命名空间管理

在 Cloud Data Fusion Studio 中点击命名空间管理员,即可管理特定命名空间的配置。对于每个命名空间,您可以定义以下方面:

  • 计算配置文件:在命名空间管理员中设置的配置文件是用户计算配置文件。只有相应命名空间中的流水线才能使用这些用户计算配置文件。如需了解详情,请参阅管理计算配置文件
  • 偏好设置:在命名空间级别定义的偏好设置适用于命名空间、应用(包含流水线)以及流水线中的各个程序。如需了解详情,请参阅管理宏、偏好设置和运行时实参
  • 连接:Cloud Data Fusion 可让您在数据流水线中重复使用与来源和接收器的连接。您可以在命名空间“管理”页面中添加连接。如需了解详情,请参阅创建和管理连接
  • 驱动程序:Cloud Data Fusion 中的某些插件需要将 JDBC 驱动程序添加到命名空间。例如,在运行包含 MySQL 批处理源插件的流水线之前,您必须将受支持的 MySQL 驱动程序添加到命名空间。您可以通过“命名空间管理”页面或直接从 Hub 上传或移除命名空间的 JDBC 驱动程序。如需了解详情,请参阅插件驱动程序
  • 源代码管理:为了高效管理已部署流水线的开发流程,源代码管理功能可让您将命名空间与源代码控制系统的代码库相关联。如需了解详情,请参阅使用源代码管理系统管理流水线
  • 服务账号:为了控制对 Google Cloud 资源的访问权限,Cloud Data Fusion 中的命名空间默认使用 Cloud Data Fusion API Service Agent

为了更好地隔离数据,您可以将自定义的 Identity and Access Management (IAM) 服务账号(称为“按命名空间的服务账号”)与每个命名空间相关联。通过自定义 IAM 服务账号(不同命名空间可以有不同的服务账号),您可以控制对 Cloud Data Fusion 中流水线设计时操作(例如流水线预览、Wrangler 和流水线验证)的命名空间之间的 Google Cloud 资源访问权限。如需了解详情,请参阅使用命名空间服务账号进行访问权限控制

后续步骤