本指南介绍了如何使用 CCAI 平台配置对话型代理的 A/B 测试。
为什么要对虚拟助理进行 A/B 测试？
A/B 测试（或拆分测试）是一种强大的方法，可用于优化对话式 AI 的性能。在更新流程时，您可以让实时数据指导您做出决策，而不是依赖直觉。
核心优势包括：
- 风险缓解：在全面推出之前，先使用一小部分流量（例如 10%）测试新的“代理 B”，以确保它不会对遏制率产生负面影响。
- 效果比较：比较不同版本之间的特定 KPI，例如意图匹配准确率、任务完成率和客户情绪。
- 迭代优化：尝试不同的提示、角色或 LLM 支持的生成器，找到解决用户查询的最有效方法。
配置测试
本部分介绍了如何配置 CCAI 平台以支持对代理的功能进行 A/B 测试。这适用于语音助理和移动设备、网站等数字渠道。
准备虚拟助理
在配置电话或路由之前，请确保您的环境中已准备好两个单独的虚拟客服目标。请参阅有关配置虚拟代理的文档。您可能需要两个单独的对话配置文件。实际的对话代理可以是单独的代理，也可以是具有不同环境的同一代理。
智能体 A（对照）：您现有的稳定虚拟客服。
代理 B（变体）：包含您要测试的新功能、提示或逻辑变更的代理。
创建专用 CCAI Platform 队列
在 CCAI 平台门户中，您需要建立队列层次结构来管理流量。这取决于您使用的是语音渠道还是数字渠道。如需详细了解如何创建队列，请参阅相关文档。
创建队列 A：前往“队列管理”。创建一个名为 Queue_A_Test 的新队列。将虚拟客服 A 分配为相应队列的主要处理程序。
创建队列 B：创建第二个名为 Queue_B_Test 的队列。将虚拟客服 B 分配为相应队列的主要处理程序。
创建父（入口）队列：创建一个名为 Main_Entry_Point 的队列。此队列不会直接分配虚拟客服人员，而是充当“流量分配器”。
实现路由逻辑
如需分配流量，您必须在 Main_Entry_Point 队列中配置路由规则。这将利用自动重定向功能来指定路由组。每个路由组都将包含到相关队列的路由。百分比分配也将与特定的路由组相关联。如需详细了解如何配置路由规则，请参阅相关文档。
定义流量分配比例
您将使用基于百分比的分配规则。这样，您就可以精确控制每个客服人员接到的通话量。
| 组件 | 逻辑 | 目标 |
|---|---|---|
| 触发器 | 所有拨打给 Main_Entry_Point 的来电或聊天。 |
捕获所有流量。 |
| 操作 1 | 将 X% 的流量路由到 Queue_A_Test。 |
建立对照组。 |
| 操作 2 | 将剩余百分比的流量路由到 Queue_B_Test。 |
建立测试组。 |
配置工作流
- 打开
Main_Entry_Point队列的自动重定向配置。 - 添加群组。
- 选择队列的重定向选择。
- 选择应与此路由组 A 关联的队列。
- 选择百分比拆分。
- 选择添加。
- 添加群组。
- 选择队列的重定向选择。
- 选择应与此路由组 B 关联的队列。
- 选择百分比拆分。
- 选择添加。
- 定义您的比率（例如，对于平衡测试，为 50/50；对于 Canary 发布，为 90/10）。
- 保存配置。
监控和分析
在流量正常流动时，使用 CCaaS 分析信息中心比较性能。
- 按
Queue_A_Test与Queue_B_Test过滤报告。 - 查看平均处理时间 (AHT) 和转人工客服率是否具有统计显著性。
- 查看对话式代理分析，寻找任何表明对效果有正面或负面影响的其他详细信息。