llm-d

Ce document explique comment votre déploiement Google Kubernetes Engine peut utiliser Google Cloud Managed Service pour Prometheus afin de collecter des métriques à partir de llm-d. llm-d se compose du routeur llm-d (Endpoint Picker, déployé en mode autonome ou en mode passerelle avec la passerelle GKE) et de serveurs de modèles tels que vLLM.

Pour en savoir plus sur la collecte de métriques à partir du routeur llm-d et de vLLM, consultez les ressources suivantes :

  • Routeur llm-d (EPP) : lorsque vous déployez le routeur avec le chart Helm llm-d, incluez la recette monitoring-gke.values.yaml (router.monitoring.provider.name=gmp et router.monitoring.prometheus.enabled=true) pour créer automatiquement la ressource PodMonitoring et le Secret du lecteur de métriques dans l'espace de noms de votre charge de travail. Pour les déploiements GKE Inference Gateway autonomes ou les versions de llm-d antérieures à la version 0.8.0, consultez GKE Inference Gateway.
  • vLLM : activez la surveillance automatique des applications ou utilisez la configuration PodMonitoring décrite dans ce document pour mapper l'étiquette de pod llm-d.ai/role pour la désagrégation de préremplissage/décodage (P/D).

Les instructions de ces documents ne s'appliquent que si vous utilisez une collecte gérée avec Managed Service pour Prometheus. Si vous utilisez une collecte auto-déployée, consultez la documentation de llm-d.

Après avoir configuré le routeur llm-d et vLLM, vous pouvez accéder à un tableau de bord prédéfini dans Cloud Monitoring pour afficher les métriques.

Prérequis

Pour collecter des métriques à partir de llm-d à l'aide de Managed Service pour Prometheus et de la collecte gérée, votre déploiement doit répondre aux exigences suivantes :

  • Votre cluster doit exécuter Google Kubernetes Engine version 1.28.15-gke.2475000 ou ultérieure.
  • Vous devez exécuter Managed Service pour Prometheus en ayant activé la collecte gérée. Pour en savoir plus, consultez la page Premiers pas avec la collecte gérée.

Pour regrouper les métriques vLLM par étiquette de pod llm-d.ai/role (par exemple, prefill et decode dans la désagrégation préremplissage/décodage), appliquez la ressource PodMonitoring suivante dans l'espace de noms de votre charge de travail :

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Afficher les tableaux de bord

L'intégration de Cloud Monitoring inclut les tableaux de bord unifiés suivants pour le mode autonome et le mode passerelle (la section "Équilibreur de charge d'application" est renseignée lorsque le proxy llm-d utilise GKE Inference Gateway) :

  • Présentation de llm-d : pour llm-d version 0.8.0 et ultérieure (interroge les métriques EPP llm_d_epp_* ainsi que les métriques de l'équilibreur de charge d'application, de la mise en réseau GPU et de vLLM).
  • Présentation de llm-d (< v0.8.0) : pour les versions de llm-d antérieures à la version 0.8.0 (interroge les métriques inference_objective_*).

Les tableaux de bord sont installés automatiquement lorsque vous configurez l'intégration. Vous pouvez également afficher des aperçus statiques de tableaux de bord sans installer l'intégration.

Pour afficher un tableau de bord installé, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page  Tableaux de bord :

    Accéder à la page Tableaux de bord

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Sélectionnez l'onglet Liste des tableaux de bord.
  3. Choisissez la catégorie Intégrations.
  4. Cliquez sur le nom du tableau de bord que vous souhaitez afficher.

Pour afficher un aperçu statique du tableau de bord, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Intégrations  :

    Accéder à la page Intégrations

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Cliquez sur le filtre de plate-forme de déploiement Kubernetes Engine.
  3. Recherchez l'intégration llm-d et cliquez sur Afficher les détails.
  4. Sélectionnez l'onglet Tableaux de bord.