您可以使用 监控信息中心来评估代理应用在一段时间内的表现,并找出需要改进的方面。在以下情况下,监控非常有用:
- 性能监控: 分析代理应用性能的实时数据和历史数据, 例如处理的互动次数、 每次会话的平均回合数和上报率。
- 问题检测和解决: 识别最终用户互动中的模式或趋势, 了解代理应用可能难以理解请求 或提供准确回答的情况。 这有助于您发现问题并采取纠正措施,例如隔离工具故障、延迟问题或更新代理应用脚本,或提供额外的培训。
- 最终用户洞见: 通过分析代理应用互动中的数据,深入了解最终用户的行为、偏好、 和痛点。 您可以使用这些信息来更好地了解最终用户的需求,定制代理应用回答,并改善整体最终用户体验。
- 资源分配: 分析代理应用工作负载、可用性和性能方面的数据, 以便优化资源分配。 例如,您可以识别高峰时段,以便在查询量增加时添加代理应用,或根据代理应用的专业知识分配代理应用。
打开监控信息中心
如需打开监控信息中心,请执行以下操作:
- 确保您已在 代理应用设置中启用互动日志记录。
- 在代理构建器的顶部,点击监控 。 随即会显示监控信息中心。
- 数据的日期范围默认设置为过去 1 天, 但您可以点击此日期范围进行更改。
- 点击日期范围 字段以选择日期范围,默认设置为 24 小时
- 点击查看对话 ,系统会将您重定向到 CX Insights,以便您查看完整的对话日志,并执行对话和转写详细信息分析。
信息中心板块
监控信息中心会显示以下板块:
- 会话总数: 代理应用与最终用户进行的对话(会话)总数。 此数据也会以时序的形式显示。
- 上报率: 代理应用 无法处理问题并将其上报给人为代理的互动所占的百分比。 这可能是因为问题过于复杂,或者代理应用无法理解请求。 此数据也会以时序的形式显示。
- 上报次数: 上报总次数。
- 每次会话的回合数: 每次会话的平均回合数。
- 端到端延迟时间: 端到端 (E2E) 延迟时间是指 用户话语结束到代理话语开始之间的时间。 该指标用于计算聊天和语音对话中每次用户与代理互动时的 E2E 延迟时间。
- 端到端延迟时间细分: 说明话语级别的 E2E 延迟时间。y 轴以 50 毫秒为增量显示时间。 x 轴表示您可以查看工具、大语言模型 (LLM) 和文字转语音 (TTS) 的 E2E 延迟时间。最后,该图表以单独的条形图显示三个百分位类别(P50 为第 50 百分位,P90 为第 90 百分位,P99 为第 99 百分位)的 E2E 延迟时间。 例如,如果 LLM P99 延迟时间为 5 秒,则 99% 的话语级 LLM 延迟时间值小于 5 秒。
- 工具故障率: 在所选时间段内,对于特定代理在对话中所有工具使用情况 以及指定对话媒介,工具调用失败的百分比。
- 工具延迟时间: 在所选时间段内,对于特定代理在对话中所有工具使用情况以及指定对话媒介,工具调用的平均延迟时间。
- 整体情绪: 此代理处理的对话的平均情绪得分。 此得分范围为 -1 到 1,其中 0 为中性,1 为积极。
- 情绪细分: 一个彩色编码的条形图,用于说明此代理在每个对话级情绪类别(消极、中性或积极)中的对话数。
- 对话结果:
显示以以下每种可能结果结束的对话数,
其中计算对话结果使用 CX Insights 中预构建记分卡中的预定义问题:
- 已弃用
- 部分已解决
- 已上报
- 已改变目的地
- 已成功解决
- 未知