Supervisa modelos

En este documento, se explica cómo supervisar el comportamiento, el estado y el rendimiento de tus modelos completamente administrados en Gemini Enterprise Agent Platform. En él, se describe cómo usar el panel de observabilidad del modelo precompilado para obtener estadísticas sobre el uso del modelo, identificar problemas de latencia y solucionar errores.

Aprenderás a hacer lo siguiente:

  • Acceder al panel de observabilidad del modelo y, luego, interpretarlo
  • Visualizar las métricas de supervisión disponibles
  • Supervisar el tráfico de extremos de modelos con el Explorador de métricas

Accede al panel de observabilidad del modelo y, luego, interprétalo

Agent Platform proporciona un panel de observabilidad de modelos prediseñado para ver el comportamiento, el estado y el rendimiento de los modelos completamente administrados. Los modelos completamente administrados, también conocidos como modelo como servicio (MaaS), los proporciona Google y, entre ellos, se incluyen los modelos de Gemini de Google y los modelos de socios con extremos administrados. Las métricas de los modelos alojados de forma independiente no se incluyen en el panel.

Agent Platform recopila y, luego, informa automáticamente la actividad de los modelos de MaaS para ayudarte a solucionar con rapidez los problemas de latencia y supervisar la capacidad.

Un panel de observabilidad de modelos de muestra en la consola de Cloud
Ejemplo de panel de observabilidad de modelos

Caso de uso

Como desarrollador de aplicaciones, puedes ver cómo interactúan los usuarios con los modelos que expusiste. Por ejemplo, puedes ver cómo el uso del modelo (solicitudes del modelo por segundo) y la intensidad de procesamiento de las instrucciones de los usuarios (latencias de invocación del modelo) tienen una tendencia con el tiempo. En consecuencia, debido a que estas métricas se relacionan con el uso del modelo, también puedes estimar los costos de ejecutar cada modelo.

Cuando surge un problema, puedes solucionar problemas rápidamente desde el panel. Puedes verificar si los modelos responden de manera confiable y oportuna consultando las tasas de error de la API, las latencias del primer token y la capacidad de procesamiento de tokens.

Métricas de supervisión disponibles

En el panel de observabilidad del modelo, se muestra un subconjunto de métricas que recopila Cloud Monitoring, como la solicitud de modelo por segundo (QPS), la capacidad de procesamiento de tokens y las latencias del primer token. Consulta el panel para ver todas las métricas disponibles.

Limitaciones

Agent Platform captura las métricas del panel solo para las llamadas a la API al extremo de un modelo. Google Cloud El uso de la consola, como las métricas de Agent Studio, no se agrega al panel.

Visualiza el panel

  1. En la sección Plataforma de agentes de la consola de Google Cloud , ve a la página Descripción general.

    Ir a Agent Platform

  2. En la página Descripción general, en Observabilidad del modelo, haz clic en Mostrar todas las métricas para ver el panel de observabilidad del modelo en la consola de Google Cloud Observability.

  3. Para ver las métricas de un modelo específico o en una ubicación en particular, establece uno o más filtros en la parte superior de la página del panel.

    Para obtener descripciones de cada métrica, consulta la sección "aiplatform" en la página métricas deGoogle Cloud .

Ver resolución de 1 segundo

El panel de observabilidad del modelo agrega opciones de resolución de 1 segundo a sus gráficos existentes cuando el registro de metadatos de solicitudes de inferencia está activado. Las opciones de 1 segundo leen los registros de metadatos de las solicitudes de inferencia en lugar de las métricas agregadas de un minuto, por lo que muestran ráfagas que un promedio de un minuto oculta.

Las opciones de 1 segundo necesitan el registro de metadatos de solicitudes de inferencia en el proyecto y un bucket de registros _Default actualizado a Estadísticas de observabilidad. Para activar el registro, consulta Habilita los registros de metadatos de solicitudes de inferencia.

Para verlas, haz clic en Mostrar todas las métricas y abrir el panel de observabilidad del modelo. Los gráficos que admiten una resolución de 1 segundo tienen un menú desplegable en su encabezado: Solicitudes de modelos por segundo (QPS), Recuento de tokens por modelo, Invocaciones de modelos por código de respuesta, Tasa de errores de invocaciones de modelos (%) y los gráficos de la sección Tokens. Cada menú desplegable mantiene la opción existente Resolución de 1 minuto de las métricas como la predeterminada y agrega una opción Resolución de 1 segundo de los registros. Selecciona la opción de 1 segundo y establece el intervalo de tiempo en 200 segundos o menos para ver un punto por segundo. En intervalos más largos, cada punto es el promedio por segundo en su bucket. Hasta que se active el registro, las opciones de 1 segundo mostrarán el mensaje "No inference request logs in this window". Activa el registro para ver los datos de 1 segundo" en la leyenda del gráfico, y las opciones de 1 minuto funcionan como antes.

Un gráfico de observabilidad del modelo con la opción de resolución de 1 segundo seleccionada
Un gráfico de observabilidad del modelo con su menú desplegable configurado en una resolución de 1 segundo desde la opción de registros.

Supervisa el tráfico de los extremos de modelos

Sigue las instrucciones que se indican a continuación para supervisar el tráfico a tu extremo en el Explorador de métricas.

  1. En la consola de Google Cloud , ve a la página Explorador de métricas.

    Ir al Explorador de métricas

  2. Selecciona el proyecto del que quieres ver las métricas.

  3. En el menú desplegable Métrica, haz clic en Selecciona una métrica.

  4. En la barra de búsqueda Filtrar por nombre de recurso o métrica, ingresa Gemini Enterprise Agent Platform Endpoint.

  5. Selecciona la categoría de métrica Agent Platform Endpoint > Prediction. En Métricas activas, selecciona cualquiera de las siguientes métricas:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Haz clic en Aplicar. Para agregar más de una métrica, haz clic en Agregar consulta.

    Puedes filtrar o agregar tus métricas con los siguientes menús desplegables:

    • Para seleccionar y ver un subconjunto de tus datos según criterios específicos, usa el menú desplegable Filtrar. Por ejemplo, para filtrar por el modelo gemini-2.0-flash-001, usa endpoint_id = gemini-2p0-flash-001 (ten en cuenta que el . en la versión del modelo se reemplaza por un p).

    • Para combinar varios datos en un solo valor y ver un resumen de tus métricas, usa el menú desplegable Agregación. Por ejemplo, puedes agregar la Suma de response_code.

  6. De forma opcional, puedes configurar alertas para tu extremo. Para obtener más información, consulta Administra políticas de alertas.

Para ver las métricas que agregas a tu proyecto con un panel, consulta Descripción general de los paneles.

¿Qué sigue?