Messwertbenachrichtigungen erstellen

Sie können eine Monitoring-Benachrichtigung erstellen, die Sie benachrichtigt, wenn ein Managed Service for Apache Spark-Cluster oder ein Jobmesswert einen bestimmten Schwellenwert überschreitet.

Benachrichtigung erstellen

  1. Öffnen Sie in der Google Cloud Console die Seite Benachrichtigungen.

  2. Klicken Sie auf + Richtlinie erstellen, um die Seite Benachrichtigungsrichtlinie erstellen zu öffnen.

    1. Klicken Sie auf Messwert auswählen.
    2. Geben Sie im Eingabefeld „Nach Ressourcen- oder Messwertname filtern“ den Wert „dataproc“ ein, um die Messwerte für Managed Service for Apache Spark aufzulisten. Navigieren Sie durch die Hierarchie der Cloud Managed Service for Apache Spark-Messwerte, um einen Cluster-, Job-, Batch- oder Sitzungsmesswert auszuwählen.
    3. Klicken Sie auf Übernehmen.
    4. Klicken Sie auf Weiter, um den Bereich Benachrichtigungstrigger konfigurieren zu öffnen.
    5. Legen Sie einen Schwellenwert fest, um die Benachrichtigung auszulösen.
    6. Klicken Sie auf Weiter, um den Bereich Benachrichtigungen konfigurieren und Benachrichtigung abschließen zu öffnen.
    7. Legen Sie Benachrichtigungskanäle, Dokumentation und den Namen der Benachrichtigungsrichtlinie fest.
    8. Klicken Sie auf Weiter, um die Benachrichtigungsrichtlinie zu prüfen.
    9. Klicken Sie auf Richtlinie erstellen, um die Benachrichtigung zu erstellen.

Beispielwarnungen

In diesem Abschnitt werden eine Beispielbenachrichtigung für einen Job, der an den Managed Service for Apache Spark gesendet wurde, und eine Benachrichtigung für einen Job, der als YARN-Anwendung ausgeführt wird, beschrieben.

Benachrichtigung zu lang andauerndem Managed Service for Apache Spark-Job

Managed Service for Apache Spark gibt den Messwert dataproc.googleapis.com/job/state aus, der erfasst, wie lange sich ein Job in verschiedenen Status befunden hat. Sie finden diesen Messwert in der Google Cloud Console im Metrics Explorer unter der Ressource Cloud Managed Service for Apache Spark Job (cloud_dataproc_job). Sie können diesen Messwert verwenden, um eine Benachrichtigung einzurichten, die Sie informiert, wenn der Jobstatus RUNNING einen Schwellenwert für die Dauer überschreitet (maximaler Schwellenwert : 7 Tage). Informationen zum Einrichten einer Benachrichtigung für einen Job, der voraussichtlich länger als 7 Tage ausgeführt wird, finden Sie unter Benachrichtigung für lang laufende YARN-Anwendung.

Benachrichtigung zur Jobdauer einrichten

In diesem Beispiel wird die Prometheus Query Language (PromQL) verwendet, um eine Benachrichtigungsrichtlinie zu erstellen. Weitere Informationen finden Sie unter PromQL-basierte Benachrichtigungsrichtlinien erstellen (Console).

sum by (job_id, state) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="RUNNING"
}) != 0

Wenn Sie diese Benachrichtigung auslösen möchten, wenn ein Job länger als 30 Minuten ausgeführt wird, legen Sie auf dem Tab Trigger konfigurieren das Auswertungsintervall auf 30 Minuten fest.

Sie können die Abfrage ändern, indem Sie nach job_id filtern, um sie auf einen bestimmten Job anzuwenden:

sum by (job_id) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="RUNNING",
  "job_id"="1234567890"
}) != 0

Benachrichtigung über YARN-Anwendung mit langer Ausführungszeit

Das vorherige Beispiel zeigt eine Benachrichtigung, die ausgelöst wird, wenn ein Managed Service for Apache Spark-Job länger als eine angegebene Dauer ausgeführt wird. Sie gilt jedoch nur für Jobs, die über die Google Cloud Console, die Google Cloud CLI oder durch direkte Aufrufe der Managed Service for Apache Spark jobs API an den Managed Service for Apache Spark-Dienst gesendet werden. Sie können auch OSS-Messwerte verwenden, um ähnliche Benachrichtigungen einzurichten, mit denen die Laufzeit von YARN-Anwendungen überwacht wird.

Zuerst ein paar Hintergrundinformationen. YARN gibt Laufzeitmesswerte in mehreren Buckets aus. Standardmäßig verwendet YARN 60, 300 und 1.440 Minuten als Bucket-Schwellenwerte und gibt vier Messwerte aus: running_0, running_60, running_300 und running_1440:

  • running_0 erfasst die Anzahl der Jobs mit einer Laufzeit zwischen 0 und 60 Minuten.

  • running_60 erfasst die Anzahl der Jobs mit einer Laufzeit zwischen 60 und 300 Minuten.

  • running_300 erfasst die Anzahl der Jobs mit einer Laufzeit zwischen 300 und 1.440 Minuten.

  • running_1440 zeichnet die Anzahl der Jobs mit einer Laufzeit von mehr als 1.440 Minuten auf.

Ein Job, der 72 Minuten lang ausgeführt wird, wird beispielsweise in running_60, aber nicht in running_0 aufgezeichnet.

Diese Standard-Bucket-Grenzwerte können geändert werden, indem Sie beim Erstellen des Managed Service for Apache Spark-Clusters neue Werte an die Cluster-Property yarn:yarn.resourcemanager.metrics.runtime.buckets übergeben. Wenn Sie benutzerdefinierte Bucket-Grenzwerte definieren, müssen Sie auch Messwertüberschreibungen definieren. Wenn Sie beispielsweise Bucket-Grenzwerte von 30, 60 und 90 Minuten angeben möchten, sollte der Befehl gcloud dataproc clusters create die folgenden Flags enthalten:

  • Bucket-Grenzwerte: ‑‑properties=yarn:yarn.resourcemanager.metrics.runtime.buckets=30,60,90

  • Messwertüberschreibungen: ‑‑metric-overrides=yarn:ResourceManager:QueueMetrics:running_0, yarn:ResourceManager:QueueMetrics:running_30,yarn:ResourceManager:QueueMetrics:running_60, yarn:ResourceManager:QueueMetrics:running_90

Beispielbefehl zum Erstellen eines Clusters

gcloud dataproc clusters create test-cluster  \
   --properties ^#^yarn:yarn.resourcemanager.metrics.runtime.buckets=30,60,90  \
   --metric-sources=yarn  \
   --metric-overrides=yarn:ResourceManager:QueueMetrics:running_0,yarn:ResourceManager:QueueMetrics:running_30,yarn:ResourceManager:QueueMetrics:running_60,yarn:ResourceManager:QueueMetrics:running_90

Diese Messwerte werden im Metrics Explorer der Google Cloud Console unter der Ressource VM-Instanz (gce_instance) aufgeführt.

Benachrichtigungseinrichtung für YARN-Anwendungen

  1. Cluster mit erforderlichen Buckets und aktivierten Messwerten erstellen

  2. Erstellen Sie eine Benachrichtigungsrichtlinie, die ausgelöst wird, wenn die Anzahl der Anwendungen in einem YARN-Messwert-Bucket einen bestimmten Grenzwert überschreitet.

    • Optional können Sie einen Filter hinzufügen, um Benachrichtigungen für Cluster zu erhalten, die einem Muster entsprechen.

    • Konfigurieren Sie den Grenzwert für das Auslösen der Benachrichtigung.

Benachrichtigung über fehlgeschlagenen Managed Service for Apache Spark-Job

Sie können auch den Messwert dataproc.googleapis.com/job/state verwenden (siehe Benachrichtigung für lang laufende Managed Service for Apache Spark-Jobs), um sich benachrichtigen zu lassen, wenn ein Managed Service for Apache Spark-Job fehlschlägt.

Einrichtung von Benachrichtigungen für fehlgeschlagene Jobs

In diesem Beispiel wird die Prometheus Query Language (PromQL) verwendet, um eine Benachrichtigungsrichtlinie zu erstellen. Weitere Informationen finden Sie unter PromQL-basierte Benachrichtigungsrichtlinien erstellen (Console).

PromQL-Benachrichtigung
sum by (job_id, state) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="ERROR"
}) != 0
Konfiguration des Benachrichtigungstriggers

Im folgenden Beispiel wird die Benachrichtigung ausgelöst, wenn ein Managed Service for Apache Spark-Job in Ihrem Projekt fehlschlägt.

Sie können die Abfrage ändern, indem Sie nach job_id filtern, um sie auf einen bestimmten Job anzuwenden:

sum by (job_id) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="ERROR",
  "job_id"="1234567890"
}) != 0

Benachrichtigung bei Abweichung der Clusterkapazität

Managed Service for Apache Spark gibt den Messwert dataproc.googleapis.com/cluster/capacity_deviation aus, der die Differenz zwischen der erwarteten Knotenanzahl im Cluster und der Anzahl der aktiven YARN-Knoten angibt. Sie finden diesen Messwert in derGoogle Cloud Console im Metrics Explorer unter der Ressource Cloud Managed Service for Apache Spark-Cluster. Mit diesem Messwert können Sie eine Benachrichtigung erstellen, die Sie informiert, wenn die Clusterkapazität länger als eine bestimmte Schwellenwertdauer von der erwarteten Kapazität abweicht.

Die folgenden Vorgänge können dazu führen, dass die Anzahl der Clusterknoten im Messwert capacity_deviation vorübergehend zu niedrig angegeben wird. Um falsch positive Benachrichtigungen zu vermeiden, legen Sie den Schwellenwert für Messwertbenachrichtigungen so fest, dass diese Vorgänge berücksichtigt werden:

  • Clustererstellung und -updates: Der Messwert capacity_deviation wird während der Erstellung oder Aktualisierung von Clustern nicht ausgegeben.

  • Cluster-Initialisierungsaktionen: Initialisierungsaktionen werden ausgeführt, nachdem ein Knoten bereitgestellt wurde.

  • Aktualisierungen von sekundären Workern: Sekundäre Worker werden asynchron hinzugefügt, nachdem der Aktualisierungsvorgang abgeschlossen ist.

Benachrichtigung bei Kapazitätsabweichung einrichten

In diesem Beispiel wird die Prometheus Query Language (PromQL) verwendet, um eine Benachrichtigungsrichtlinie zu erstellen. Weitere Informationen finden Sie unter PromQL-basierte Benachrichtigungsrichtlinien erstellen (Console).

{
  "__name__"="dataproc.googleapis.com/cluster/capacity_deviation",
  "monitored_resource"="cloud_dataproc_cluster"
} != 0

Im nächsten Beispiel wird die Benachrichtigung ausgelöst, wenn die Abweichung der Clusterkapazität länger als 30 Minuten ungleich null ist.

Benachrichtigungen ansehen

Wenn eine Benachrichtigung durch eine Messwertschwellenbedingung ausgelöst wird, erstellt Monitoring einen Vorfall sowie ein entsprechendes Ereignis. Sie können sich Vorfälle auf der Seite Monitoring-Benachrichtigungen in der Google Cloud Console ansehen.

Wenn Sie in der Benachrichtigungsrichtlinie einen Benachrichtigungsmechanismus wie eine E-Mail- oder SMS-Benachrichtigung definiert haben, sendet Monitoring eine Benachrichtigung über den Vorfall.

Nächste Schritte