En las canalizaciones de transmisión, un paso o una transformación lentos pueden restringir la capacidad de procesamiento y provocar la propagación de la acumulación, lo que aumenta la latencia general del trabajo. El detector de cuellos de botella de Dataflow identifica y destaca automáticamente los pasos específicos que causan acumulaciones en la Google Cloud consola, lo que te ayuda a diagnosticar y resolver rápidamente las demoras en la ejecución sin depuración de prueba y error.
Para obtener una descripción general conceptual de cómo Dataflow identifica los cuellos de botella y propaga las acumulaciones, consulta Acerca del detector de cuellos de botella de Dataflow.
Antes de comenzar
Antes de usar el detector de cuellos de botella para solucionar problemas, asegúrate de que tu trabajo y proyecto cumplan con los siguientes requisitos:
- Tienes un trabajo de Dataflow de transmisión en ejecución.
- Tu trabajo se ejecuta con Streaming Engine. La detección de cuellos de botella no es compatible con los trabajos que no se ejecutan en Streaming Engine.
- Tienes los permisos de Identity and Access Management (IAM) necesarios para ver los trabajos de Dataflow. Para obtener más información, consulta Roles de IAM de Dataflow.
Visualiza los cuellos de botella activos en la Google Cloud consola de
Puedes ver las notificaciones y alertas de cuellos de botella activos directamente en la interfaz de supervisión de Dataflow.
En la Google Cloud consola de, ve a la página Dataflow.
En la lista de trabajos, selecciona tu trabajo de transmisión para abrir la página de detalles del trabajo.
En la pestaña Gráfico del trabajo, revisa el gráfico de ejecución:
- Los pasos que experimentan cuellos de botella activos muestran un ícono de advertencia o alerta de color.
- Una alerta indica que se produjo una demora en el procesamiento de más de cinco minutos en este paso.
Haz clic en el paso que muestra el ícono de advertencia.
En el panel Información del paso , en el lado derecho de la pantalla, ubica la sección Cuellos de botella. En esta sección, se muestra lo siguiente:
- El tipo de cuello de botella. Por ejemplo, retraso, acumulación constante o bloqueo.
- La causa probable, si el motor de diagnóstico la identificó.
- La duración y los detalles de diagnóstico relacionados.
Resuelve las causas de los cuellos de botella
Para resolver un cuello de botella, identifica la causa probable en el panel Información del paso y sigue la guía paso a paso para la causa en Soluciona problemas de cuellos de botella.
Supervisa los cuellos de botella con Monitoring
Si deseas configurar alertas programáticas o ver la actividad de los cuellos de botella a lo largo del tiempo, usa Monitoring. El detector de cuellos de botella exporta las siguientes métricas:
dataflow.googleapis.com/job/is_bottleneck: Es un valor booleano que indica si la etapa es un cuello de botella activo, junto con etiquetas que especifican el tipo de cuello de botella y la causa probable.dataflow.googleapis.com/job/backlogged_keys: Es la cantidad de claves de las que se hizo una copia de seguridad en la etapa con cuello de botella.dataflow.googleapis.com/job/recommended_parallelism: Es el valor de paralelismo recomendado para aliviar el cuello de botella en la etapa afectada.
Para obtener información sobre cómo crear gráficos y alertas con estas métricas, consulta Usa Monitoring para Dataflow.
¿Qué sigue?
- Obtén más información sobre los conceptos del detector de cuellos de botella de Dataflow.
- Sigue la guía general para solucionar problemas y depurar canalizaciones de Dataflow.