パイプライン アラートを作成する

Cloud Data Fusion のパイプライン アラートを使用すると、実行ステータスを追跡し、ワークフローの健全性をモニタリングできます。これらの通知は、パイプラインの障害をすぐに検出するのに役立ちます。

デプロイ ステージに応じて、2 つの異なるサービスを使用してアラートを構成できます。Cloud Data Fusion アラートはバッチ パイプラインの設計時に設定され、デプロイ後に追加または編集することはできません。これに対し、Cloud Monitoring を使用したログベースのアラートは、パイプラインをデプロイする前でも後でも、 Google Cloud コンソールでいつでも作成できます。

始める前に

Cloud Data Fusion インスタンスが必要です。詳細については、パブリック インスタンスを作成するをご覧ください。

Cloud Data Fusion でアラートを追加する

  1. インスタンスを開きます。

    1. 在 Google Cloud 控制台中,前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例。

      转到实例

  2. パイプラインを設計している [Studio] ページに移動します。

  3. [構成] > [パイプライン アラート] > [ 追加] の順にクリックします。

  4. アラートを選択して構成します。アラートの構成方法について詳しくは、バッチ パイプラインのアラートをご覧ください。

  5. アラートを構成したら、[検証] をクリックしてエラーを確認し、[確認] をクリックします。

Monitoring でアラートを作成する

  1. Cloud Data Fusion インスタンスで Cloud Logging を有効にします。

  2. ログベースのアラートを作成する。

    1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

      ログ エクスプローラに移動

      このページでは、データの保存、クエリ、更新、削除を行えます。

    2. 次のクエリを入力します。

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      PROJECT_ID はプロジェクトの ID に置き換えます。

    3. [アラートを作成] をクリックして、アラートを構成します。

アラートは、パイプラインが Managed Service for Apache Spark クラスタで実行され、失敗した場合にのみ生成されます。Managed Service for Apache Spark クラスタの作成に失敗した場合、アラートは生成されません。

次のステップ