通过在线监控器进行持续评估

借助在线监控，您可以持续评估生产环境中智能体的质量。这种主动式方法有助于您识别质量漂移（即智能体性能随时间推移而出现的可观测下降），这种漂移是由用户行为或外部数据的变化引起的。通过配置在线监控器，您可以使用预定义指标和自定义指标异步对实时跟踪记录进行评分，确保智能体保持可靠并符合您的性能标准。

准备工作

如需为智能体启用在线监控，请确保满足以下要求：

  • 按照部署智能体中的说明部署智能体。
  • 确保您的项目已启用 Cloud Trace 。
  • （可选）如果您计划以编程方式创建监控器，请参阅评估智能体页面，了解Agent Platform SDK初始化说明。

遥测要求

在线监控要求智能体导出特定的 OpenTelemetry 信号，以便为评估提供必要的上下文：

  1. 调用智能体 span：必须包含以下属性：

    • gen_ai.agent.name：智能体的标识符。
    • gen_ai.agent.description：对智能体用途的简要说明。
    • gen_ai.conversation.id：特定对话会话的唯一标识符。

  2. 推理事件：gen_ai.client.inference.operation.details 事件 必须捕获：

    • gen_ai.input.messages：发送给智能体的提示。
    • gen_ai.output.messages：智能体生成的响应。
    • gen_ai.system_instructions：底层系统提示。
    • gen_ai.tool.definitions：有关智能体可使用的任何工具的元数据。

如果您使用的是 智能体开发套件，则必须通过设置以下环境变量来启用这些遥测功能：

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

在 Cloud Storage 中录制媒体

如果您的智能体使用多模态数据（例如图片或大型文档），我们建议您在 Cloud Storage 存储桶中录制输入和输出，而不是直接将其嵌入跟踪记录 span 中。配置以下环境变量即可启用此功能：

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

如需了解详情，请参阅收集多模态提示和响应。

在线监控器的工作方式

在线监控器按计划的评估循环运行，通常每 10 分钟运行一次。 该循环遵循以下步骤：

  1. 查询： 根据您的过滤条件，从 Cloud Trace 和 Cloud Logging 中抽样数据。
  2. 评估： 使用 Gemini Enterprise Agent Platform Evaluation Service 运行配置的指标。
  3. 报告： 将结果写回 Cloud Logging ，并将数值分数导出到 Cloud Monitoring 。

创建在线监控器

  1. 在 Google Cloud 控制台中，前往 Agent Platform > 智能体 > 评估 页面。

    前往“评估”

  2. 选择在线监控器 标签页，然后点击新建监控器 。

  3. 指定过滤跟踪记录：

    • 智能体引擎： 从下拉列表中选择要监控的智能体。
    • 过滤条件： 选择是评估智能体的所有跟踪记录 ，还是应用特定的过滤条件 。

  4. 定义过滤条件 （如果使用过滤后的跟踪记录）：

    • 初步检查： 选择一个时间范围（例如过去 1 天 ），以预览与您的过滤条件匹配的生产跟踪记录。
    • 过滤条件： 输入过滤条件以定位特定流量。您可以按 属性进行过滤，例如 Duration（例如 Duration > 2）或 Token usage。

  5. 配置指标： 添加要持续跟踪的指标，例如安全 。

  6. 设置抽样：

    • 抽样百分比： 定义应评估的实时流量百分比。
    • 每次运行的最大样本数： 设置上限以管理评估费用。

  7. 点击创建 。

管理监控器

创建监控器后，您可以从在线监控器 列表中对其进行管理：

  • 状态切换开关： 点击更多选项 ，然后选择启用 或停用 ，以暂停 评估，而无需删除配置。
  • 暂停和恢复： 使用更多选项 暂时停止评估。
  • 复制： 使用现有监控器的预填充设置创建新监控器。
  • 查看跟踪记录： 点击监控器的抽样跟踪记录 列中的查看跟踪记录 链接，即可直接前往智能体的跟踪记录 标签页中的过滤跟踪记录。

在可观测性信息中心内查看结果

如需查看评估指标以及其他性能信号，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 Agent Platform > 智能体 页面。
  2. 在左侧导航菜单中，选择部署 。

  3. 选择您的智能体。

    前往“部署”

  4. 在信息中心 视图中，选择评估 子部分，以查看配置的指标（例如响应质量、安全性和幻觉率）的时序图表。

查看各个跟踪记录的结果

您还可以直接在跟踪记录视图中检查特定对话的评估结果：

  1. 在 Google Cloud 控制台中，前往智能体的跟踪记录标签页。
  2. 从表格中选择会话或跟踪记录，以打开详细信息面板。
  3. 选择评估 标签页，以查看该特定互动的分数和理由。

排查在线监控器问题

如果您的在线监控器处于活动状态，但信息中心内未显示任何结果，请执行以下操作：

  1. 验证遥测： 确保智能体正确导出所需的 OpenTelemetry span 和事件。检查 Cloud Trace ，看看实时跟踪记录是否包含 gen_ai. 属性。
  2. 检查过滤条件： 查看监控器的过滤条件。使用初步检查 功能确认过滤条件与生产流量匹配。

  3. 检查内部日志： 在线监控器会将诊断信息写入 Cloud Logging 。如果评估失败，系统会生成错误日志。您可以在 Logs Explorer 中搜索监控器 ID 或特定跟踪记录和智能体，找到这些日志：

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"