Alertas prontos para uso do Dataflow

Para monitorar a integridade do pipeline de streaming e o consumo de recursos sem configurar manualmente as políticas no Cloud Monitoring, ative os alertas prontos no Dataflow. Os alertas prontos para uso oferecem um conjunto pré-configurado de políticas de alerta recomendadas que podem ser ativadas durante a inicialização do job.

Com esse recurso, você pode:

  • Tenha visibilidade instantânea: acompanhe automaticamente métricas de streaming críticas, como o tempo de processamento de backlog e o crescimento de vCPUs, sem configuração manual.
  • Padronize o monitoramento: aplique rapidamente políticas de alerta de referência em cargas de trabalho de produção novas e atuais.
  • Personalizar alertas: ajuste os limites de alerta padrão, desative políticas individuais ou adicione suas próprias políticas de alerta personalizadas ao pacote.

É possível personalizar essas políticas padrão a qualquer momento no Cloud Monitoring ou integrar suas próprias políticas de alerta personalizadas ao pacote de alertas prontos para uso.

Pré-requisitos

Para usar os alertas prontos, seu projeto precisa atender aos seguintes requisitos:

  1. Canais de notificação: é necessário ter pelo menos um canal de notificação configurado (por exemplo, e-mail, Slack ou PagerDuty). Recomendamos configurar os Contatos Essenciais para garantir que os alertas cheguem às partes interessadas corretas. Esse requisito não é aplicado pelo serviço do Dataflow. Para saber mais, consulte Criar e gerenciar canais de notificação.

  2. Permissões: a conta de serviço do Dataflow (P4SA) requer permissões do IAM específicas para criar e gerenciar essas políticas em seu nome:

    • monitoring.alertPolicies.get
    • monitoring.alertPolicies.list
    • monitoring.alertPolicies.create
    • monitoring.alertPolicies.update
    • monitoring.alertPolicies.delete

    Para novos projetos, essas permissões são adicionadas automaticamente. Para projetos atuais, talvez seja necessário definir manualmente essas permissões na conta P4SA.

Atualizar permissões do P4SA

O agente de serviço do Dataflow (geralmente chamado de P4SA ou conta de serviço por produto e por projeto) é uma conta de serviço gerenciado automaticamente que é criada quando você ativa a API Dataflow. O endereço de e-mail usa o seguinte formato:

service-PROJECT_NUMBER@dataflow-service-producer-prod.

Para atualizar a P4SA, você precisa da permissão resourcemanager.projects.setIamPolicy ou de um papel que inclua essa permissão, como Administrador do IAM do projeto (roles/resourcemanager.projectIamAdmin).

Para conceder os papéis necessários usando o console do Google Cloud , siga estas etapas:

  1. No console do Google Cloud , acesse a página IAM.

    Acesse IAM

  2. Selecione o projeto.

  3. Marque a caixa de seleção Incluir concessões de papel fornecidas pelo Google.

  4. Na lista de principais, localize a linha do agente de serviço do Dataflow (service-PROJECT_NUMBER@dataflow-service-producer-prod. ou com o papel Agente de serviço do Cloud Dataflow).

  5. Nessa linha, clique em Editar principal.

  6. No painel Editar permissões, clique em Adicionar outro papel.

  7. Na lista Selecionar um papel, selecione Editor do Monitoring (roles/monitoring.editor).

  8. Clique em Salvar. A propagação da atualização de permissão pode levar alguns minutos.

Ativar alertas prontos para uso

É possível registrar um job em alertas prontos para uso usando a CLI gcloud.

Ativar alertas usando a CLI gcloud

Adicione uma das seguintes flags durante o envio do job para ativar ou desativar o recurso:

  • --enable-turnkey-alerts
  • --no-enable-turnkey-alerts

Se a conta de serviço não tiver as permissões necessárias, a CLI vai rejeitar a solicitação e mostrar as permissões que estão faltando. Para mais informações, consulte Pré-requisitos.

As configurações de alerta prontas para uso são preservadas nas atualizações de jobs. Quando você atualiza um job, a configuração anterior de alertas prontos para uso é mantida. Portanto, não é necessário especificar a flag --enable-turnkey-alerts ou --no-enable-turnkey-alerts novamente, a menos que você queira mudar a configuração.

Conjunto de políticas padrão

Os alertas prontos para uso incluem duas políticas principais projetadas para cargas de trabalho de streaming típicas, que se concentram em KPIs em tempo real, como tempos de processamento e utilização de recursos. As políticas fornecidas pelo Google têm o prefixo Default Policy: para identificação, embora o serviço use rótulos como o identificador principal.

Os clientes são inscritos automaticamente em todas as políticas do pacote padrão. Se necessário, é possível desativar políticas padrão específicas nos alertas do Cloud Monitoring.

Nome da política Métrica de base Limite padrão Justificativa
Política padrão: backlog estimado job/estimated_backlog_processing_time 30 minutos Estima o tempo necessário para limpar o backlog atual. Um backlog maior que 30 minutos indica que o job está com dificuldades para progredir.
Política padrão: política de crescimento de vCPU job/current_num_vcpus Aumento de mais de 5 vezes no uso médio de vCPU em 1 hora em comparação com uma média de sete dias Monitora as mudanças relativas nas contagens de vCPUs para ajudar a avaliar custos inesperados de jobs.

Ciclo de vida da política

  • Políticas Beta: essas políticas têm um prefixo BETA no nome e estão sujeitas a alterações ou exclusão à medida que os limites são refinados.
  • Políticas de GA: quando uma política é considerada estável, o prefixo BETA é removido.

Personalizar e gerenciar alertas

Os alertas prontos para uso servem como ponto de partida. Recomendamos personalizá-las para atender aos requisitos específicos da sua empresa.

  1. No console do Google Cloud , acesse Cloud Monitoring > Alertas.
  2. Encontre a política (por exemplo, Política padrão: lista de pendências estimada).
  3. Edite o limite para o valor que preferir.

Criar políticas personalizadas

É possível adicionar qualquer política de alertas do Cloud Monitoring ao seu pacote de alertas prontos para uso adicionando o rótulo goog-turnkey-alerts a ela. Isso permite que você gerencie regras personalizadas específicas para sua empresa junto com o pacote padrão.

Desativar ou excluir políticas de alertas

É possível desativar ou excluir políticas padrão específicas usando o Monitoring. Quando você desativa uma política, o Monitoring para de avaliar a condição dela, e nenhum incidente novo é criado, mas a configuração da política é preservada. Se você excluir uma política, ela será removida permanentemente do projeto. Para mais informações sobre como gerenciar ciclos de vida de políticas, consulte Gerenciar políticas de alertas e Políticas de alertas desativadas.

Solução de problemas

Problema Resolução
PERMISSION_DENIED Verifique se a P4SA do Dataflow tem as permissões monitoring.alertPolicies.* necessárias listadas em Pré-requisitos. Se a P4SA não tiver esses papéis, o pipeline ainda será iniciado, mas um erro PERMISSION_DENIED vai aparecer na saída da linha de comando e nos registros de jobs, indicando que não foi possível criar os alertas padrão.
Nenhum alerta recebido Verifique se a condição de alerta foi atendida procurando incidentes. É possível ver os disparos de alertas e as linhas do tempo de incidentes no Monitoring (consulte Ver incidentes e eventos).
Políticas duplicadas Isso geralmente acontece se várias políticas compartilharem o rótulo goog-turnkey-alerts e a mesma configuração de métrica. O Dataflow verifica se há rótulos e métricas sobrepostos, em vez de correspondências exatas de nomes. Revise suas políticas e remova o rótulo das configurações redundantes.