Em pipelines de streaming, uma etapa ou transformação lenta pode restringir a capacidade de processamento e causar a propagação de pendências, aumentando a latência geral do job. O detector de gargalos do Dataflow identifica e destaca automaticamente as etapas específicas que causam pendências no Google Cloud console do Google Cloud, ajudando você a diagnosticar e resolver rapidamente atrasos na execução sem depuração por tentativa e erro.
Para uma visão geral conceitual de como o Dataflow identifica gargalos e propaga pendências, consulte Sobre o detector de gargalos do Dataflow.
Antes de começar
Antes de usar o detector de gargalos para solução de problemas, verifique se o job e o projeto atendem aos seguintes requisitos:
- Você tem um job de streaming do Dataflow em execução.
- O job é executado usando o Streaming Engine. A detecção de gargalos não é compatível com jobs que não são executados no Streaming Engine.
- Você tem as permissões do Identity and Access Management (IAM) necessárias para visualizar jobs do Dataflow. Para mais informações, consulte Papéis do IAM do Dataflow.
Ver gargalos ativos no Google Cloud console do Google Cloud
É possível visualizar notificações e alertas de gargalos ativos diretamente na interface de monitoramento do Dataflow.
No Google Cloud console do Google Cloud, acesse a página Dataflow.
Na lista de jobs, selecione o job de streaming para abrir a página de detalhes.
Na guia Gráfico de job, revise o gráfico de execução:
- As etapas que apresentam gargalos ativos mostram um ícone de aviso ou alerta colorido.
- Um alerta indica que ocorreu um atraso de processamento de mais de cinco minutos nessa etapa.
Clique na etapa que mostra o ícone de aviso.
No painel Informações da etapa , no lado direito da tela, localize a seção Gargalos. Essa seção mostra:
- O tipo de gargalo. Por exemplo, atraso, pendência constante ou travamento.
- A causa provável, se identificada pelo mecanismo de diagnóstico.
- A duração e os detalhes de diagnóstico relacionados.
Resolver causas de gargalos
Para resolver um gargalo, identifique a causa provável no painel Informações da etapa e siga as orientações detalhadas para a causa em Resolver problemas de gargalos.
Monitorar gargalos com o Monitoring
Se você quiser configurar alertas programáticos ou visualizar a atividade de gargalos ao longo do tempo, use o Monitoring. O detector de gargalos exporta as seguintes métricas:
dataflow.googleapis.com/job/is_bottleneck: um valor booleano que indica se o estágio é um gargalo ativo, juntamente com rótulos que especificam o tipo de gargalo e a causa provável.dataflow.googleapis.com/job/backlogged_keys: o número de chaves de backup no estágio com gargalo.dataflow.googleapis.com/job/recommended_parallelism: o valor de paralelismo recomendado para aliviar o gargalo no estágio afetado.
Para informações sobre como criar gráficos e alertas usando essas métricas, consulte Usar o Monitoring para Dataflow.
A seguir
- Saiba mais sobre os conceitos do detector de gargalos do Dataflow.
- Siga o guia geral para resolver problemas e depurar pipelines do Dataflow.