En el panorama de la IA, que evoluciona rápidamente, la creación y la implementación de agentes presentan desafíos únicos. Los agentes de IA pueden desviarse, alucinar y retroceder en silencio. Pueden tomar decisiones y realizar acciones que no esperas. También pueden fallar de formas diferentes a las del software no agéntico. La observabilidad de agentes se refiere a los métodos para obtener información sobre el estado interno y el comportamiento de los agentes de software, en particular los agentes potenciados por IA, como los que se crean con modelos de lenguaje grandes (LLM).
Beneficios de la observabilidad de agentes
Debido a que los agentes de IA no son determinísticos y son complejos, la observabilidad es fundamental para comprender, depurar, evaluar y mejorar su rendimiento, seguridad y confiabilidad.
Los aspectos clave de la observabilidad de los agentes incluyen la supervisión y el análisis de lo siguiente:
- Interacciones con LLM: Realiza un seguimiento de las instrucciones, las respuestas, el uso de tokens, la latencia y las tasas de error.
- Uso de herramientas: Supervisa las herramientas y las APIs externas con las que interactúa el agente, incluidos los recuentos de llamadas, los éxitos o los errores, la latencia y los datos intercambiados.
- Comportamiento y razonamiento del agente: Comprende el proceso de toma de decisiones del agente, la secuencia de pasos que se realizaron y los cambios de estado internos.
- Rendimiento: Mide la latencia de extremo a extremo de las invocaciones de agentes, la latencia de los pasos individuales y el consumo de recursos, lo que suele implicar un seguimiento detallado.
- Seguridad y protección: Realiza un seguimiento de la aplicación de políticas, identifica las operaciones riesgosas, analiza la seguridad del contenido y supervisa los patrones de acceso.
- Calidad y evaluación: Evalúa la exactitud, la veracidad, la utilidad y la calidad general de los resultados del agente, que, a menudo, se integran en marcos de evaluación.
¿Qué es la observabilidad de agentes en Google Cloud?
La supervisión de aplicaciones en Google Cloud proporciona observabilidad de agentes y de aplicaciones. Este servicio proporciona paneles y mapas de topología que te permiten comprender el estado y el rendimiento de tus aplicaciones, servicios y cargas de trabajo de App Hub. También genera y muestra métricas, como las tasas de error y el uso de tokens para los recursos de IA. Para generar estas métricas, Application Monitoring filtra y agrega tus datos de seguimiento con etiquetas y eventos específicos de la aplicación que siguen las convenciones semánticas de IA generativa de OpenTelemetry.
Para la observabilidad de los agentes, te recomendamos que los crees con el framework del Kit de desarrollo de agentes (ADK). Debido a que el ADK se basa en OpenTelemetry, la telemetría que genera el ADK es coherente con las convenciones semánticas de la IA generativa de OpenTelemetry.
Para depurar fallas, supervisar costos o analizar el comportamiento de los agentes, incluidos los de Gemini Enterprise Agent Platform, Agent Gateway y Model Armor, necesitas datos de registros, métricas y seguimientos:
- Los registros proporcionan información sobre eventos y errores.
- Las métricas te permiten supervisar la latencia y el uso de tokens.
- Los seguimientos proporcionan información sobre las rutas de ejecución y se analizan para derivar métricas, como la cantidad de llamadas al modelo o el uso total de tokens. Estas métricas derivadas proporcionan visibilidad del rendimiento y el comportamiento de los agentes. Para obtener más información, consulta Visualiza recursos de IA.
- Los datos de instrucciones y respuestas te permiten evaluar la calidad y la toma de decisiones del agente con el servicio de evaluación de IA generativa.
En el panel de Supervisión de aplicaciones de una aplicación, se muestra una lista de los servicios y las cargas de trabajo de la aplicación, como las apps de Gemini Enterprise, los agentes de Gemini Enterprise Agent Platform y los servidores de MCP:
Puedes identificar los servicios y las cargas de trabajo de agentes con el tipo de infraestructura o el tipo funcional de App Hub. La columna de tipo funcional está oculta de forma predeterminada.
Comienza a usar la observabilidad de agentes
Para obtener información sobre cómo crear, implementar y administrar agentes de IA que usen el razonamiento y las herramientas para realizar tareas empresariales complejas, consulta Descripción general de los agentes.
Para obtener información sobre las herramientas de observabilidad que proporciona Gemini Enterprise Agent Platform, consulta Descripción general de la observabilidad.
Para aprender a realizar evaluaciones, que proporcionan información sobre la calidad de los agentes, consulta Evaluación de agentes.
Para ver muestras de código, consulta los siguientes recursos:
¿Qué sigue?
- Para obtener información sobre cómo proteger y administrar tus agentes, consulta Administra tus agentes.