创建流水线提醒

借助 Cloud Data Fusion 中的流水线提醒，您可以跟踪执行状态并监控工作流运行状况。这些通知可帮助您立即检测流水线故障。

您可以根据部署阶段，使用两种不同的服务来配置提醒。Cloud Data Fusion 提醒是在批处理流水线设计期间设置的，在部署后无法添加或修改。相比之下，您可以在部署流水线之前或之后，随时通过 Google Cloud 控制台中的 Cloud Monitoring 创建基于日志的提醒。

准备工作

您需要一个 Cloud Data Fusion 实例。如需了解详情，请参阅创建公开实例。

在 Cloud Data Fusion 中添加提醒

  1. 打开实例。

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 前往您设计流水线的 Studio 页面。

  3. 依次点击配置 > 流水线提醒 > 添加。

  4. 选择并配置提醒。如需详细了解如何配置提醒，请参阅批量流水线提醒。

  5. 配置提醒后，点击验证以检查错误，然后点击确认。

在 Monitoring 中创建提醒

  1. 在 Cloud Data Fusion 实例中启用 Cloud Logging。

  2. 创建基于日志的提醒。

    1. 在 Google Cloud 控制台中，前往 Logs Explorer 页面。

      前往 Logs Explorer

      您可以在此页面上存储、查询、更新和删除数据。

    2. 输入以下查询：

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      将 PROJECT_ID 替换为您的项目 ID。

    3. 点击创建提醒并配置提醒。

只有当流水线在 Managed Service for Apache Spark 集群上运行并失败时，系统才会生成提醒。对于 Managed Service for Apache Spark 集群创建失败，系统不会生成提醒。

后续步骤