llm-d

En este documento, se describe cómo tu implementación de Google Kubernetes Engine puede usar Google Cloud Managed Service para Prometheus para recopilar métricas de llm-d. llm-d consta del router de llm-d (Endpoint Picker, implementado en modo independiente o modo de puerta de enlace con GKE Gateway) y servidores de modelos como vLLM.

Para obtener información sobre cómo recopilar métricas del router de llm-d y vLLM, consulta los siguientes vínculos:

• Router llm-d (EPP): Cuando implementes el router con el gráfico de Helm llm-d, incluye la receta monitoring-gke.values.yaml (router.monitoring.provider.name=gmp y router.monitoring.prometheus.enabled=true) para crear automáticamente el recurso PodMonitoring y el lector de métricas Secret en el espacio de nombres de tu carga de trabajo. Para implementaciones independientes de GKE Inference Gateway o versiones de llm-d anteriores a la v0.8.0, consulta GKE Inference Gateway.
• vLLM: Habilita la supervisión automática de aplicaciones o usa la configuración de PodMonitoring descrita en este documento para asignar la etiqueta de Pod llm-d.ai/role para la desagregación de precompletado/decodificación (P/D).

Las instrucciones de estos documentos se aplican solo si usas la recopilación administrada con Managed Service para Prometheus. Si usas la recopilación autoimplementada, consulta la documentación de llm-d.

Después de configurar el router de llm-d y vLLM, puedes acceder a un panel predefinido en Cloud Monitoring para ver las métricas.

Requisitos previos

Para recopilar métricas de llm-d con Managed Service para Prometheus y la recopilación administrada, tu implementación debe cumplir con los siguientes requisitos:

• Tu clúster debe ejecutar la versión 1.28.15-gke.2475000 o posterior de Google Kubernetes Engine.
• Debes ejecutar Managed Service para Prometheus con la colección administrada habilitada. Para obtener más información, consulta Primeros pasos con la recopilación administrada.

Para agrupar las métricas de vLLM por la etiqueta de Pod llm-d.ai/role (por ejemplo, prefill y decode en la desagregación de precompletado/decodificación), aplica el siguiente recurso PodMonitoring en el espacio de nombres de tu carga de trabajo:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Ver paneles

La integración de Cloud Monitoring incluye los siguientes paneles unificados para el modo independiente y el modo de puerta de enlace (la sección Balanceador de cargas de aplicaciones se completa cuando el proxy llm-d usa GKE Inference Gateway):

• Descripción general de llm-d: Para la versión v0.8.0 y posteriores de llm-d (consulta las métricas de EPP de llm_d_epp_* junto con las métricas del balanceador de cargas de aplicaciones, las redes de GPU y vLLM).
• Descripción general de llm-d (< v0.8.0): Para las versiones de llm-d anteriores a la v0.8.0 (consulta las métricas de inference_objective_*).

Los paneles se instalan automáticamente cuando configuras la integración. También puedes ver vistas previas estáticas de los paneles sin instalar la integración.

Para ver un panel instalado, haz lo siguiente:

1. En la consola de Google Cloud , accede a la página Paneles :

   Acceder a Paneles

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

2. Selecciona la pestaña Lista de paneles.
3. Elige la categoría Integraciones.
4. Haz clic en el nombre del panel que quieras ver.

Para obtener una vista previa estática del panel, haz lo siguiente:

1. En la consola de Google Cloud , accede a la página Integraciones :

   Acceder a Integraciones

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

2. Haz clic en el filtro de la plataforma de implementación Kubernetes Engine.
3. Busca la integración de llm-d y haz clic en Ver detalles.
4. Selecciona la pestaña Paneles.