Criar alertas de métricas

É possível criar um alerta do Monitoring que notifica você quando uma métrica de cluster ou job do Serviço Gerenciado para Apache Spark excede um limite especificado.

Criar um alerta

  1. Abra a página Alertas no console do Google Cloud .

  2. Clique em + Criar política para abrir a página Criar política de alertas.

    1. Clique em Selecionar métrica.
    2. Na caixa de entrada "Filtrar por nome do recurso ou da métrica", digite "dataproc" para listar as métricas do Serviço Gerenciado para Apache Spark. Navegue pela hierarquia de métricas do Serviço Gerenciado do Cloud para Apache Spark para selecionar uma métrica de cluster, job, lote ou sessão.
    3. Clique em Aplicar.
    4. Clique em Próxima para abrir o painel Configurar o gatilho de alertas.
    5. Defina um valor limite para acionar o alerta.
    6. Clique em Avançar para abrir o painel Configurar notificações e finalizar o alerta.
    7. Defina os canais de notificação, a documentação e o nome da política de alertas.
    8. Clique em Próxima para analisar a política de alertas.
    9. Clique em Criar política para criar o alerta.

Exemplos de alertas

Nesta seção, descrevemos um exemplo de alerta para um job enviado ao Serviço Gerenciado para Apache Spark e um alerta para um job executado como um aplicativo YARN.

Alerta de job de longa duração do Serviço Gerenciado para Apache Spark

O Serviço Gerenciado para Apache Spark emite a métrica dataproc.googleapis.com/job/state, que monitora há quanto tempo um job está em diferentes estados. Essa métrica é encontrada no Metrics Explorer do console do Google Cloud , no recurso Serviço Gerenciado para Apache Spark Job (cloud_dataproc_job). Use essa métrica para configurar um alerta que notifica quando o estado RUNNING do job excede um limite de duração (limite máximo : 7 dias). Para configurar um alerta para um job que deve ser executado por mais de sete dias, consulte Alerta de aplicativo YARN de longa duração.

Configuração de alerta de duração do job

Este exemplo usa a linguagem de consulta do Prometheus (PromQL) para criar uma política de alertas. Para mais informações, consulte Criar políticas de alertas baseadas em PromQL (Console).

sum by (job_id, state) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="RUNNING"
}) != 0

Para acionar esse alerta quando um job estiver em execução por mais de 30 minutos, na guia Configurar acionador, defina o Intervalo de avaliação como 30 minutos.

É possível modificar a consulta filtrando o job_id para aplicá-la a um job específico:

sum by (job_id) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="RUNNING",
  "job_id"="1234567890"
}) != 0

Alerta de aplicativo YARN de longa duração

O exemplo anterior mostra um alerta que é acionado quando um job do Serviço Gerenciado para Apache Spark é executado por mais tempo do que uma duração especificada, mas ele se aplica apenas a jobs enviados ao Serviço Gerenciado para Apache Spark usando o Google Cloud console, a Google Cloud CLI ou chamadas diretas para a API jobs do Serviço Gerenciado para Apache Spark. Também é possível usar métricas de OSS para configurar alertas semelhantes que monitoram o tempo de execução de aplicativos do YARN.

Primeiro, um pouco de contexto. O YARN emite métricas de tempo de execução em vários buckets. Por padrão, o YARN mantém 60, 300 e 1.440 minutos como limites de bucket e emite quatro métricas: running_0, running_60, running_300 e running_1440:

  • running_0 registra o número de jobs com um tempo de execução entre 0 e 60 minutos.

  • running_60 registra o número de jobs com um tempo de execução entre 60 e 300 minutos.

  • running_300 registra o número de jobs com um tempo de execução entre 300 e 1.440 minutos.

  • running_1440 registra o número de jobs com um tempo de execução maior que 1.440 minutos.

Por exemplo, um job em execução por 72 minutos será registrado em running_60, mas não em running_0.

Esses limites padrão de bucket podem ser modificados transmitindo novos valores para a yarn:yarn.resourcemanager.metrics.runtime.buckets propriedade do cluster durante a criação do cluster do Serviço Gerenciado para Apache Spark. Ao definir limites de bucket personalizados, você também precisa definir substituições de métricas. Por exemplo, para especificar limites de bucket de 30, 60 e 90 minutos, o comando gcloud dataproc clusters create precisa incluir as seguintes flags:

  • limites de bucket: ‑‑properties=yarn:yarn.resourcemanager.metrics.runtime.buckets=30,60,90

  • substituições de métricas: ‑‑metric-overrides=yarn:ResourceManager:QueueMetrics:running_0, yarn:ResourceManager:QueueMetrics:running_30,yarn:ResourceManager:QueueMetrics:running_60, yarn:ResourceManager:QueueMetrics:running_90

Exemplo de comando de criação de cluster

gcloud dataproc clusters create test-cluster  \
   --properties ^#^yarn:yarn.resourcemanager.metrics.runtime.buckets=30,60,90  \
   --metric-sources=yarn  \
   --metric-overrides=yarn:ResourceManager:QueueMetrics:running_0,yarn:ResourceManager:QueueMetrics:running_30,yarn:ResourceManager:QueueMetrics:running_60,yarn:ResourceManager:QueueMetrics:running_90

Essas métricas estão listadas no Metrics Explorer do console do Google Cloud , no recurso Instância de VM (gce_instance).

Configuração de alertas de aplicativos YARN

  1. Crie um cluster com os buckets e as métricas necessários ativados.

  2. Crie uma política de alertas que seja acionada quando o número de aplicativos em um bucket de métricas do YARN exceder um limite especificado.

    • Se quiser, adicione um filtro para alertar sobre clusters que correspondem a um padrão.

    • Configure o limite para acionar o alerta.

Alerta de falha no job do Serviço Gerenciado para Apache Spark

Também é possível usar a métrica dataproc.googleapis.com/job/state (consulte Alerta de job de longa duração do Serviço Gerenciado para Apache Spark) para receber um alerta quando um job do Serviço Gerenciado para Apache Spark falhar.

Falha na configuração do alerta de job

Este exemplo usa a linguagem de consulta do Prometheus (PromQL) para criar uma política de alertas. Para mais informações, consulte Criar políticas de alertas baseadas em PromQL (Console).

PromQL de alerta
sum by (job_id, state) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="ERROR"
}) != 0
Configuração do acionador de alerta

No exemplo a seguir, o alerta é acionado quando qualquer job do Serviço Gerenciado para Apache Spark falha no projeto.

É possível modificar a consulta filtrando o job_id para aplicá-la a um job específico:

sum by (job_id) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="ERROR",
  "job_id"="1234567890"
}) != 0

Alerta de desvio de capacidade do cluster

O Serviço Gerenciado para Apache Spark emite a métrica dataproc.googleapis.com/cluster/capacity_deviation, que informa a diferença entre a contagem de nós esperada no cluster e a contagem de nós ativos do YARN. Encontre essa métrica no Metrics Explorer do console doGoogle Cloud no recurso Serviço gerenciado do Cloud para cluster do Apache Spark. Use essa métrica para criar um alerta que notifica quando a capacidade do cluster se desvia da capacidade esperada por mais tempo do que uma duração de limite especificada.

As operações a seguir podem causar uma subnotificação temporária de nós de cluster na métrica capacity_deviation. Para evitar alertas de falsos positivos, defina o limite de alerta de métrica para considerar estas operações:

  • Criação e atualizações de cluster: a métrica capacity_deviation não é emitida durante as operações de criação ou atualização de cluster.

  • Ações de inicialização do cluster: as ações de inicialização são realizadas depois que um nó é provisionado.

  • Atualizações de workers secundários: os workers secundários são adicionados de forma assíncrona, depois que a operação de atualização é concluída.

Configuração de alertas de desvio de capacidade

Este exemplo usa a linguagem de consulta do Prometheus (PromQL) para criar uma política de alertas. Para mais informações, consulte Criar políticas de alertas baseadas em PromQL (Console).

{
  "__name__"="dataproc.googleapis.com/cluster/capacity_deviation",
  "monitored_resource"="cloud_dataproc_cluster"
} != 0

No próximo exemplo, o alerta é acionado quando o desvio de capacidade do cluster é diferente de zero por mais de 30 minutos.

Ver alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente. É possível ver os incidentes na página Alertas do Monitoring no console do Google Cloud .

Se você definiu um mecanismo de notificação na política de alertas, como uma notificação por e-mail ou notificação por SMS, o Monitoring envia uma notificação do incidente.

A seguir