Observabilidade do agente

No cenário de IA em rápida evolução, a criação e a implantação de agentes apresentam desafios únicos. Os agentes de IA podem desviar, alucinar e regredir silenciosamente. Eles podem tomar decisões e realizar ações inesperadas. Eles também podem falhar de maneiras diferentes do software não agêntico. A observabilidade do agente se refere aos métodos para receber insights sobre o estado interno e o comportamento de agentes de software, principalmente agentes com tecnologia de IA, como aqueles criados usando modelos de linguagem grandes (LLMs).

Benefícios da observabilidade do agente

Como os agentes de IA são não determinísticos e complexos, a observabilidade é crucial para entender, depurar, avaliar e melhorar o desempenho, a segurança e a confiabilidade deles.

Os principais aspectos da observabilidade do agente incluem o monitoramento e a análise do seguinte:

  • Interações de LLM: rastreie comandos, respostas, uso de tokens, latência e taxas de erro.
  • Uso de ferramentas: monitorar ferramentas e APIs externas com que o agente interage, incluindo contagens de chamadas, sucessos ou falhas, latência e os dados trocados.
  • Comportamento e raciocínio do agente: entenda o processo de tomada de decisão do agente, a sequência de etapas realizadas e as mudanças de estado interno.
  • Desempenho: meça a latência de ponta a ponta das invocações do agente, a latência de etapas individuais e o consumo de recursos, o que geralmente envolve um rastreamento detalhado.
  • Segurança e proteção: acompanhe a aplicação de políticas, identifique operações arriscadas, analise a segurança do conteúdo e monitore padrões de acesso.
  • Qualidade e avaliação: avalie a exatidão, a veracidade, a utilidade e a qualidade geral das saídas do agente, geralmente integrando-se a frameworks de avaliação.

O que é a observabilidade do agente no Google Cloud?

O Monitoramento de aplicativos no Google Cloud oferece observabilidade do agente e do aplicativo. Esse serviço oferece painéis e mapas de topologia que permitem entender a integridade e o desempenho dos aplicativos, serviços e cargas de trabalho do App Hub. Ele também gera e exibe métricas, como taxas de erro e uso de tokens para recursos de IA. Para gerar essas métricas, o Application Monitoring filtra e agrega os dados de trace usando rótulos e eventos específicos do aplicativo que seguem as convenções semânticas de IA generativa do OpenTelemetry.

Para a observabilidade do agente, recomendamos criar seus agentes com o framework do Kit de Desenvolvimento de Agente (ADK). Como o ADK depende do OpenTelemetry, a telemetria gerada por ele é consistente com as convenções semânticas de IA generativa do OpenTelemetry.

Para depurar falhas, monitorar custos ou analisar o comportamento do agente, incluindo os agentes da Gemini Enterprise Agent Platform, do Gateway de Agente e do Model Armor, você precisa de dados de registro, métrica e trace:

  • Os registros fornecem informações sobre eventos e erros.
  • As métricas permitem monitorar a latência e o uso de tokens.
  • Os traces fornecem informações sobre os caminhos de execução e são analisados para derivar métricas, como o número de chamadas de modelo ou o uso total de tokens. Essas métricas derivadas fornecem visibilidade sobre o desempenho e o comportamento do agente. Para mais informações, consulte Ver recursos de IA.
  • Os dados de comando e resposta permitem avaliar a qualidade e a tomada de decisões do agente usando o serviço de avaliação de IA generativa.

O painel de monitoramento de aplicativos exibe uma lista dos serviços e cargas de trabalho do aplicativo, como apps do Gemini Enterprise, agentes da Gemini Enterprise Agent Platform e servidores MCP:

Uma visão geral que lista os serviços e as cargas de trabalho em um aplicativo.

É possível identificar serviços e cargas de trabalho de agentes usando o tipo de infraestrutura ou o tipo funcional do App Hub. A coluna de tipo funcional fica oculta por padrão.

Começar a usar a observabilidade do agente

A seguir