Alertas listas para usar de Dataflow

Para supervisar el estado de la canalización de transmisión y el consumo de recursos sin configurar políticas de forma manual en Cloud Monitoring, puedes habilitar las alertas listas para usar en Dataflow. Las alertas listas para usar proporcionan un conjunto preconfigurado de políticas de alertas recomendadas que puedes habilitar durante el inicio del trabajo.

Esta función te permite realizar las siguientes acciones:

  • Obtén visibilidad instantánea: Realiza un seguimiento automático de las métricas de transmisión críticas, como el tiempo de procesamiento de tareas pendientes y el crecimiento de las CPUs virtuales, sin necesidad de realizar una configuración manual.
  • Estandariza la supervisión: Aplica rápidamente políticas de alertas de referencia en las cargas de trabajo de producción nuevas y existentes.
  • Personaliza las alertas: Ajusta los umbrales de alerta predeterminados, inhabilita políticas individuales o agrega tus propias políticas de alertas personalizadas al paquete.

Puedes personalizar estas políticas predeterminadas en cualquier momento en Cloud Monitoring o integrar tus propias políticas de alertas personalizadas con el paquete de alertas listas para usar.

Requisitos previos

Para usar las alertas listas para usar, tu proyecto debe cumplir con los siguientes requisitos:

  1. Canales de notificaciones: Debes tener al menos un canal de notificaciones configurado (por ejemplo, correo electrónico, Slack o PagerDuty). Te recomendamos que configures los Contactos esenciales para asegurarte de que las alertas lleguen a las partes interesadas correctas. El servicio de Dataflow no aplica este requisito. Para obtener más información, consulta Cómo crear y administrar canales de notificaciones.

  2. Permisos: La cuenta de servicio de Dataflow (P4SA) requiere permisos de IAM específicos para crear y administrar estas políticas en tu nombre:

    • monitoring.alertPolicies.get
    • monitoring.alertPolicies.list
    • monitoring.alertPolicies.create
    • monitoring.alertPolicies.update
    • monitoring.alertPolicies.delete

    En los proyectos nuevos, estos permisos se agregan automáticamente. En el caso de los proyectos existentes, es posible que debas configurar estos permisos de forma manual en la cuenta de P4SA.

Actualiza los permisos de P4SA

El agente de servicio de Dataflow (a menudo denominado P4SA, o cuenta de servicio por producto y por proyecto) es una cuenta de servicio administrada automáticamente que se crea cuando habilitas la API de Dataflow. Su dirección de correo electrónico usa el siguiente formato:

service-PROJECT_NUMBER@dataflow-service-producer-prod.

Para actualizar la P4SA, necesitas el permiso resourcemanager.projects.setIamPolicy o un rol que lo incluya, como Administrador de IAM del proyecto (roles/resourcemanager.projectIamAdmin).

Para otorgar los roles necesarios con la consola de Google Cloud , sigue estos pasos:

  1. En la consola de Google Cloud , dirígete a la página IAM.

    Ir a IAM

  2. Elige tu proyecto.

  3. Selecciona la casilla de verificación Incluir asignaciones de funciones proporcionadas por Google.

  4. En la lista de principales, busca la fila del agente de servicio de Dataflow (service-PROJECT_NUMBER@dataflow-service-producer-prod. o con el rol Agente de servicio de Cloud Dataflow).

  5. En esa fila, haz clic en Editar principal.

  6. En el panel Editar permisos, haz clic en Agregar otro rol.

  7. En la lista Selecciona un rol, elige Editor de Monitoring (roles/monitoring.editor).

  8. Haz clic en Guardar. La actualización de los permisos puede tardar varios minutos en propagarse.

Habilita las alertas listas para usar

Puedes inscribir un trabajo en las alertas listas para usar con gcloud CLI.

Habilita las alertas con gcloud CLI

Agrega una de las siguientes marcas durante el envío del trabajo para habilitar o inhabilitar la función:

  • --enable-turnkey-alerts
  • --no-enable-turnkey-alerts

Si tu cuenta de servicio no tiene los permisos necesarios, la CLI rechazará la solicitud y mostrará los permisos que faltan. Para obtener más información, consulta Requisitos previos.

La configuración de alertas llave en mano se conserva en las actualizaciones de los trabajos. Cuando actualizas un trabajo, se conserva el parámetro de configuración de alertas llave en mano anterior, por lo que no es necesario que vuelvas a especificar la marca --enable-turnkey-alerts o --no-enable-turnkey-alerts, a menos que quieras cambiar el parámetro de configuración.

Conjunto de políticas predeterminado

Las alertas listas para usar incluyen dos políticas principales diseñadas para cargas de trabajo de transmisión típicas, que se enfocan en los KPI en tiempo real, como los tiempos de procesamiento y el uso de recursos. Las políticas proporcionadas por Google tienen el prefijo Default Policy: para su identificación, aunque el servicio usa etiquetas como identificador principal.

Los clientes se inscriben automáticamente en todas las políticas del paquete de políticas predeterminado. Si es necesario, puedes inhabilitar políticas predeterminadas específicas en las alertas de Cloud Monitoring.

Nombre de la política Métrica base Umbral predeterminado Razones
Política predeterminada: Trabajos pendientes estimados job/estimated_backlog_processing_time 30 minutos Calcula el tiempo necesario para borrar la lista de tareas pendientes actual. Un trabajo pendiente de más de 30 minutos indica que el trabajo tiene dificultades para avanzar.
Política predeterminada: Política de crecimiento de CPU virtuales job/current_num_vcpus Aumento de más de 5 veces en el uso promedio de CPU virtuales de 1 hora en comparación con un promedio de 7 días Supervisa los cambios relativos en los recuentos de CPU virtuales para ayudar a medir los costos inesperados de los trabajos.

Ciclo de vida de la política

  • Políticas beta: Estas políticas tienen el prefijo BETA en su nombre y están sujetas a cambios o eliminaciones a medida que se definen mejor los umbrales.
  • Políticas de DG: Una vez que se considera que una política es estable, se quita el prefijo BETA.

Personaliza y administra las alertas

Las alertas listas para usar sirven como punto de partida. Te recomendamos que las personalices para que se adapten a los requisitos específicos de tu empresa.

  1. En la consola de Google Cloud , ve a Cloud Monitoring > Alertas.
  2. Busca la política (por ejemplo, Política predeterminada: trabajos pendientes estimados).
  3. Edita el umbral con el valor que prefieras.

Crea políticas personalizadas

Puedes agregar cualquier política de alertas de Cloud Monitoring a tu paquete de alertas listas para usar agregándole la etiqueta goog-turnkey-alerts. Esto te permite administrar reglas personalizadas específicas de la empresa junto con el paquete predeterminado.

Inhabilita o borra políticas de alertas

Puedes inhabilitar o borrar políticas predeterminadas específicas con Monitoring. Cuando inhabilitas una política, Monitoring deja de evaluar la condición de la política y no se crean incidentes nuevos, pero se conserva la configuración de la política. Si borras una política, se quitará de forma permanente de tu proyecto. Para obtener más información sobre cómo administrar los ciclos de vida de las políticas, consulta Administra las políticas de alertas y Políticas de alertas inhabilitadas.

Soluciona problemas

Problema Solución
PERMISSION_DENIED Asegúrate de que la P4SA de Dataflow tenga los permisos de monitoring.alertPolicies.* necesarios que se indican en Requisitos previos. Si a la P4SA le faltan estos roles, tu canalización se iniciará correctamente, pero aparecerá un error PERMISSION_DENIED en el resultado de la línea de comandos y en los registros de trabajos, lo que indica que no se pudieron crear las alertas predeterminadas.
No se recibieron alertas Verifica si se cumplió la condición de alerta comprobando si hay incidentes. Puedes ver las activaciones de alertas y los cronogramas de incidentes en Monitoring (consulta Visualiza incidentes y eventos).
Políticas duplicadas Por lo general, esto sucede si varias políticas comparten la etiqueta goog-turnkey-alerts y la misma configuración de métricas. Dataflow verifica si hay etiquetas y métricas superpuestas, en lugar de coincidencias exactas de nombres. Revisa tus políticas y quita la etiqueta de las configuraciones redundantes.