Surveiller les modèles

Ce document explique comment surveiller le comportement, l'état et les performances de vos modèles entièrement gérés dans Gemini Enterprise Agent Platform. Il explique comment utiliser le tableau de bord d'observabilité du modèle prédéfini pour obtenir des insights sur l'utilisation du modèle, identifier les problèmes de latence et résoudre les erreurs.

Vous allez apprendre à :

  • Accéder au tableau de bord d'observabilité du modèle et l'interpréter
  • Affichez les métriques de surveillance disponibles.
  • Surveiller le trafic des points de terminaison du modèle à l'aide de l'explorateur de métriques

Accéder au tableau de bord d'observabilité du modèle et l'interpréter

Agent Platform fournit un tableau de bord d'observabilité des modèles prédéfini pour afficher le comportement, l'état et les performances des modèles entièrement gérés. Les modèles entièrement gérés, également appelés "modèle en tant que service" (MaaS), sont fournis par Google et incluent les modèles Gemini de Google et les modèles partenaires avec des points de terminaison gérés. Les métriques des modèles auto-hébergés ne sont pas incluses dans le tableau de bord.

Agent Platform collecte et signale automatiquement l'activité des modèles MaaS pour vous aider à résoudre rapidement les problèmes de latence et à surveiller la capacité.

Exemple de tableau de bord d'observabilité des modèles dans la console Cloud
Exemple de tableau de bord d'observabilité du modèle

Cas d'utilisation

En tant que développeur d'applications, vous pouvez voir comment vos utilisateurs interagissent avec les modèles que vous avez exposés. Par exemple, vous pouvez voir l'évolution de l'utilisation du modèle (requêtes de modèle par seconde) et de l'intensité de calcul des requêtes utilisateur (latences d'appel du modèle) au fil du temps. Par conséquent, comme ces métriques sont liées à l'utilisation du modèle, vous pouvez également estimer les coûts d'exécution de chaque modèle.

En cas de problème, vous pouvez rapidement le résoudre depuis le tableau de bord. Vous pouvez vérifier si les modèles répondent de manière fiable et rapide en consultant les taux d'erreur de l'API, les latences du premier jeton et le débit de jetons.

Métriques de surveillance disponibles

Le tableau de bord d'observabilité du modèle affiche un sous-ensemble de métriques collectées par Cloud Monitoring, telles que les requêtes par seconde (RPS) du modèle, le débit de jetons et les latences du premier jeton. Affichez le tableau de bord pour voir toutes les métriques disponibles.

Limites

Agent Platform ne capture les métriques du tableau de bord que pour les appels d'API vers le point de terminaison d'un modèle. Google Cloud L'utilisation de la console, comme les métriques d'Agent Studio, n'est pas ajoutée au tableau de bord.

Consulter le tableau de bord

  1. Dans la section "Agent Platform" de la console Google Cloud , accédez à la page Tableau de bord.

Accéder à Agent Platform 1. Dans le tableau de bord, sous "Observabilité du modèle", cliquez sur Afficher toutes les métriques pour afficher le tableau de bord d'observabilité du modèle dans la console Google Cloud Observability.

  1. Pour afficher les métriques d'un modèle spécifique ou d'un emplacement particulier, définissez un ou plusieurs filtres en haut de la page du tableau de bord.

    Pour obtenir une description de chaque métrique, consultez la section "aiplatform" de la page MétriquesGoogle Cloud .

Afficher la résolution d'une seconde

Le tableau de bord d'observabilité du modèle ajoute des options de résolution d'une seconde à ses graphiques existants lorsque la journalisation des métadonnées des requêtes d'inférence est activée. Les options d'une seconde lisent les journaux de métadonnées des requêtes d'inférence au lieu des métriques agrégées d'une minute. Elles affichent donc les pics qu'une moyenne d'une minute masque.

Les options d'une seconde nécessitent la journalisation des métadonnées des requêtes d'inférence sur le projet et un bucket de journaux _Default mis à niveau vers Analyse de l'observabilité. Pour activer la journalisation, consultez Activer les journaux de métadonnées des requêtes d'inférence.

Pour les afficher, cliquez sur Afficher toutes les métriques afin d'ouvrir le tableau de bord d'observabilité du modèle. Les graphiques compatibles avec une résolution d'une seconde comportent un menu déroulant dans leur en-tête : "Requêtes de modèle par seconde (RPS)", "Nombre de jetons par modèle", "Appels de modèle par code de réponse", "Taux d'erreur des appels de modèle (%)" et les graphiques de la section "Jetons". Chaque menu déroulant conserve l'option Résolution d'une minute à partir des métriques existante par défaut et ajoute une option Résolution d'une seconde à partir des journaux. Sélectionnez l'option "1 seconde" et définissez la période sur 200 secondes ou moins pour afficher un point par seconde. Pour les périodes plus longues, chaque point correspond à la moyenne par seconde dans son bucket. Tant que la journalisation n'est pas activée, les options d'une seconde affichent "Aucun journal de requêtes d'inférence dans cette fenêtre". Activez la journalisation pour afficher les données à la seconde." dans la légende du graphique, et les options à la minute fonctionnent comme avant.

Graphique d'observabilité du modèle avec l'option de résolution d'une seconde sélectionnée
Graphique d'observabilité du modèle avec son menu déroulant défini sur une option de résolution d'une seconde à partir des journaux.

Surveiller le trafic des points de terminaison du modèle

Suivez les instructions ci-dessous pour surveiller le trafic vers votre point de terminaison dans l'explorateur de métriques.

  1. Dans la console Google Cloud , accédez à la page Explorateur de métriques.

    Accéder à "Explorateur de métriques"

  2. Sélectionnez le projet pour lequel vous souhaitez afficher les métriques.

  3. Dans le menu déroulant Métrique, cliquez sur Sélectionner une métrique.

  4. Dans la barre de recherche Filtrer par nom de ressource ou de métrique, saisissez Gemini Enterprise Agent Platform Endpoint.

  5. Sélectionnez la catégorie de métrique Point de terminaison Agent Platform > Prédiction. Sous Métriques actives, sélectionnez l'une des métriques suivantes :

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Cliquez sur Appliquer. Pour ajouter plusieurs métriques, cliquez sur Ajouter une requête.

    Vous pouvez filtrer ou agréger vos métriques à l'aide des menus déroulants suivants :

    • Pour sélectionner et afficher un sous-ensemble de vos données en fonction de critères spécifiés, utilisez le menu déroulant Filtre. Par exemple, pour filtrer le modèle gemini-2.0-flash-001, utilisez endpoint_id = gemini-2p0-flash-001 (notez que le . de la version du modèle est remplacé par un p).

    • Pour combiner plusieurs points de données en une seule valeur et afficher un récapitulatif de vos métriques, utilisez le menu déroulant Agrégation. Par exemple, vous pouvez agréger la somme de response_code.

  6. Vous pouvez éventuellement configurer des alertes pour votre point de terminaison. Pour en savoir plus, consultez Gérer les règles d'alerte.

Pour afficher les métriques que vous ajoutez à votre projet à l'aide d'un tableau de bord, consultez Présentation des tableaux de bord.

Étapes suivantes