Supervisa implementaciones

Aprende a supervisar el estado, el tiempo de actividad y las actualizaciones de tus implementaciones de Google Distributed Cloud conectado, incluidas las cargas de trabajo compatibles. Para obtener más información sobre cómo configurar la supervisión y sobre las métricas disponibles, consulta Registros y métricas.

Supervisa el estado y el tiempo de actividad de las cargas de trabajo

Eres responsable de supervisar el estado y el tiempo de actividad de tus cargas de trabajo (contenedores y máquinas virtuales) que se ejecutan en tu implementación conectada de Distributed Cloud.

Cargas de trabajo de contenedores

Para supervisar el estado y el tiempo de actividad de las cargas de trabajo en contenedores que implementas, te recomendamos que uses la solución de métricas de Prometheus. Puedes configurar Prometheus para que extraiga métricas de tus Pods y Services. Google supervisa y administra automáticamente los servicios del sistema administrados por Google. Para obtener más información sobre cómo configurar Prometheus, consulta Recopila métricas con Prometheus.

Usa las siguientes métricas clave para supervisar las cargas de trabajo de contenedores. Si usas Prometheus, eres responsable de implementar y administrar Kube State Metrics para exponer estas métricas específicas de tus cargas de trabajo:

  • kube_pod_status_phase: Supervisa los Pods en las fases Failed o Unknown.
  • kube_pod_container_status_waiting_reason: Identifica los Pods atascados en CrashLoopBackOff o ImagePullBackOff.
  • container_cpu_usage_seconds_total y container_memory_working_set_bytes (de cAdvisor): Supervisa el consumo de recursos para evitar problemas de memoria insuficiente (OOM).

Cargas de trabajo de máquinas virtuales

En Distributed Cloud conectado, las máquinas virtuales (VM) se ejecutan dentro de Pods de Kubernetes estándar, que suelen tener el prefijo virt-launcher-. Supervisa el estado y la condición de la VM, principalmente, verificando el estado del recurso personalizado VirtualMachine o supervisando las métricas de la aplicación desde la VM.

Usa las métricas subyacentes del Pod de virt-launcher como indicadores secundarios para los siguientes detalles:

  • Uso de recursos: Supervisa el consumo de CPU y memoria de los Pods de iniciador para asegurarte de que las VMs tengan recursos suficientes.
  • Fase del Pod: Realiza un seguimiento de las fases del Pod de inicio para identificar las VMs que no se inician o fallan.

Para ajustar los recursos asignados a una VM, modifica la especificación del recurso personalizado de la VM. No modifiques directamente los archivos YAML del Pod de virt-launcher subyacentes, ya que la plataforma los administra. Cualquier cambio directo se reemplazará o generará errores de conciliación.

Para solucionar problemas de VMs atascadas en un estado pendiente, consulta Soluciona problemas de máquinas virtuales atascadas en el estado Pendiente.

Supervisa las actualizaciones de Distributed Cloud conectado

Supervisa el progreso y el estado de las actualizaciones de software conectado de Distributed Cloud con las métricas de Cloud Monitoring y los comandos de gcloud. Google programa y ejecuta las actualizaciones. La supervisión es estrictamente para la visibilidad y la planificación de la migración de cargas de trabajo.

Para obtener instrucciones detalladas sobre cómo verificar si hay una actualización en curso, supervisar su estado y solucionar problemas de actualizaciones con errores, consulta Soluciona problemas de actualizaciones de software.

Supervisa el estado del almacenamiento local

Distributed Cloud conectado supervisa de forma continua el estado de sus dispositivos de almacenamiento y alerta a Google cuando se debe reemplazar una unidad física. Google trabaja contigo para programar una visita y reemplazar la unidad que falla. Puedes supervisar el estado de tu almacenamiento con alertas de condiciones de Kubernetes, como DiskPressure.

Supervisa el estado del almacenamiento del sistema

Puedes supervisar el estado del almacenamiento del sistema de Distributed Cloud conectado con uno de los siguientes métodos:

  • Prometheus con Kube State Metrics (PromQL) Implementa y administra Kube State Metrics en tu clúster para exponer las métricas de condición de Kubernetes.

  • Métricas de Cloud Monitoring. Crear políticas de alertas basadas en métricas a nivel del host exportadas a Cloud Monitoring

Supervisa el estado del almacenamiento del sistema con Prometheus

Para supervisar el estado del almacenamiento del sistema con Prometheus y Kube State Metrics (PromQL), configura las siguientes alertas:

  1. Alerta de inmediato cuando una condición de nodo ingresa al estado DiskPressure:

    kube_node_status_condition{condition="DiskPressure",status="true"} == 1

  2. Verifica cuándo el uso del disco supera un umbral operativo para recibir alertas de forma proactiva antes de que se incumplan los umbrales de expulsión:

    (1 - (node_filesystem_avail_bytes{mountpoint="/mnt/shared_lpvs"} / node_filesystem_size_bytes{mountpoint="/mnt/shared_lpvs"})) > THRESHOLD

    Reemplaza THRESHOLD por el umbral operativo objetivo en el rango de 0.00 a 1.00. Google recomienda establecer este valor en 0.85.

Supervisa el estado del almacenamiento del sistema con Cloud Monitoring

Para supervisar el estado del almacenamiento del sistema con las métricas de Cloud Monitoring, crea una política de alertas con los siguientes parámetros:

  • Métrica: edgecontainer.googleapis.com/machine/disk/utilization
  • Alcance: Esta métrica informa específicamente el uso del disco del sistema de archivos de la partición del sistema local del nodo (/dev/mapper/shared_lpvs_encrypted).
  • Umbral: Configura un umbral de alerta cuando el uso del disco sea superior al 85%. Esto detectará la saturación del disco del sistema antes de que se produzca un evento de DiskPressure de nodo duro.

Supervisa el estado del almacenamiento de las cargas de trabajo

Puedes supervisar el estado del almacenamiento de la carga de trabajo con las métricas de volumen de Kubelet o directamente con la telemetría a nivel de la aplicación, según el modo de volumen que use la carga de trabajo.

  • Modo de volumen Filesystem. Puedes supervisar los volúmenes del sistema de archivos con Prometheus extrayendo las siguientes métricas de volumen de Kubelet:

    • kubelet_volume_stats_capacity_bytes
    • kubelet_volume_stats_available_bytes
    • kubelet_volume_stats_used_bytes
    • kubelet_volume_stats_inodes_used
    • kubelet_volume_stats_inodes_free

  • Modo de volumen Block. Los volúmenes de bloques sin procesar son invisibles para Kubelet. Para supervisar su estado, debes usar métricas a nivel de la aplicación o de Symcloud Storage.

Supervisión de varios clústeres

Si administras muchos clústeres conectados de Distributed Cloud, te recomendamos que uses Cloud Monitoring para agregar y filtrar métricas.

  • Usa etiquetas de recursos: Las métricas exportadas a Cloud Monitoring incluyen etiquetas que identifican la fuente. Las etiquetas disponibles dependen del tipo de recurso:

    • Para las métricas de clústeres y contenedores, como k8s_container, las etiquetas clave incluyen los siguientes valores:

      • project_id: Es el proyecto de Google Cloud que aloja el clúster.
      • location: Es la región de Google Cloud en la que se registra el clúster.
      • cluster_name: Es el nombre del clúster.

    • Para las métricas de hardware, como edgecontainer.googleapis.com/machine, las etiquetas clave incluyen los siguientes valores:

      • resource_container: Es el proyecto de Google Cloud asociado con el hardware.
      • location: Es la región de Google Cloud en la que se registra la zona conectada de Distributed Cloud.
      • machine_id: Es el identificador de la máquina.

      Las métricas de hardware no incluyen una etiqueta cluster_name directamente.

  • Crea paneles personalizados: Crea paneles que muestren indicadores clave de estado en toda tu flota. Los indicadores clave de estado incluyen la conectividad, el estado de la VM y el uso de recursos. Para mostrar datos de varios clústeres en un solo gráfico, usa comodines o las operaciones de agrupación.

  • Configura alertas de varios clústeres: Configura políticas de alertas que se apliquen a varios clústeres. Por ejemplo, puedes crear una alerta que se active si cualquier máquina de cualquier clúster pierde la conectividad.

Estrategia de alertas

La supervisión y el mantenimiento de Distributed Cloud conectado es una responsabilidad compartida. En esta sección, se explica sobre qué alerta Google y cómo puedes configurar tus propias políticas de alertas.

Sobre qué alertan las Alertas de Google

Google supervisa de forma continua la infraestructura subyacente. Toma medidas y te notifica si es necesario en las siguientes situaciones:

  • Fallas de hardware: Fallas en la fuente de alimentación, fallas en el ventilador, sobrecalentamiento o fallas en el disco, como un disco que alcanza su umbral de repuesto o el final de su vida útil. Google supervisa de forma continua el estado de sus dispositivos de almacenamiento interno y activa un reemplazo automático cuando falla un dispositivo de almacenamiento.
  • Problemas de conectividad: Pérdida total de la conexión entre la zona conectada de Distributed Cloud y Google Cloud.
  • Estado del plano de control: Fallas en el plano de control de Kubernetes o en los servicios del sistema administrados por Google.
  • Fallas en la actualización: Procesos de actualización automatizados que se atascan o fallan.

Configura alertas

Configura tus propias políticas de alertas en Cloud Monitoring o en Prometheus para los problemas que afectan tus cargas de trabajo o el entorno local.

Puedes configurar alertas para los siguientes problemas:

Problema Descripción Sistema de supervisión Detalles
Tiempo de inactividad de la carga de trabajo Pods o VMs que no se inician o que entran en un bucle de fallas Prometheus Para las cargas de trabajo de contenedores, crea alertas en kube_pod_status_phase para detectar Pods en las fases Failed o Unknown. También puedes generar alertas sobre kube_pod_container_status_waiting_reason cuando sea igual a CrashLoopBackOff o ImagePullBackOff.
Cloud Monitoring Para las cargas de trabajo de VMs que se ejecutan en Pods, configura alertas con las métricas estándar de contenedores de Kubernetes en Cloud Monitoring para hacer un seguimiento del estado de los Pods de virt-launcher.
Agotamiento de los recursos de la carga de trabajo Uso de disco que se acerca a la capacidad máxima, o uso alto de memoria o CPU en las cargas de trabajo Prometheus En el caso de las cargas de trabajo de contenedores, configura alertas de umbral en container_cpu_usage_seconds_total y container_memory_working_set_bytes (desde cAdvisor) para identificar los Pods que se acercan a sus límites de recursos.
Cloud Monitoring En el caso del almacenamiento de la máquina, supervisa la métrica de uso del disco de la máquina edgecontainer.googleapis.com/machine/disk/utilization para detectar cuándo el almacenamiento del nodo se acerca a su capacidad máxima.
Problemas de red local Pérdidas de interfaz de red en máquinas Cloud Monitoring Supervisa si la métrica de red de la máquina edgecontainer.googleapis.com/machine/network/up es false.
Pérdida de conexión a Internet Cloud Monitoring Supervisa si la métrica de conectividad de red edgecontainer.googleapis.com/machine/network/connectivity es false.
Reinicios de máquinas Reinicios o apagados inesperados de la máquina Cloud Monitoring Configura alertas con las métricas edgecontainer.googleapis.com/machine/uptime y edg/1.13.0/docs/ogleapis.com/machine/restart_count. Para obtener más información, consulta Soluciona problemas de reinicios de máquinas.
Agotamiento del almacenamiento del sistema El almacenamiento del sistema se queda sin espacio Cloud Monitoring Configura alertas con edgecontainer.googleapis.com/machine/disk/utilization/1.13.0/docs/Para obtener más información, consulta Supervisa el estado del almacenamiento del sistema.

Google administra el hardware de Distributed Cloud conectado. No tienes acceso SSH a las máquinas ni control sobre el sistema operativo host. Si se activan alertas basadas en métricas a nivel de la máquina, como la conectividad de red o los reinicios, tus elementos de acción se limitan a verificar la alimentación física, el cableado y las configuraciones de red local y firewall, o a derivar el problema al equipo de Atención al Cliente de Google.