本文概述了 订餐 AI 智能体控制台，这是一个基于 Web 的界面，可用于配置、测试和监控 AI 订餐智能体。
控制台中的资源层次结构
订餐 AI 智能体控制台将您的订餐环境整理为三层层次结构，该结构直接映射到订餐 AI 智能体 API 资源：
- 项目：已启用订餐 AI 智能体 API 且项目级访问权限控制的管理 Google Cloud 位置。
- 品牌：表示您的餐厅品牌和共享智能体配置的顶级
Brand资源。 - 商店：表示实体餐厅位置、其商店级替换项及其关联的
Menu的单个Store资源。
控制台的主要功能
在订餐 AI 智能体控制台中选择 Google Cloud 项目和品牌后，您可以使用导航菜单在以下方面管理和观察您的订餐智能体：
- 概览：监控各个渠道的运营状况、智能体性能和销售业绩指标，包括会话量、包含率、结果分布和追加销售业绩。
- **订单历史记录**：检查各个订餐会话，按商店、日期范围或会话结果过滤会话，查看逐轮对话转写内容以及购物车更新，并回放会话音频。
- 智能体自定义：配置品牌级和商店级智能体行为，包括欢迎语、语音特征、消除歧义规则和追加销售策略。
- 商店和菜单：查看和管理店面位置，浏览已提取的菜单项、修饰符组和修饰符，并检查菜单提取日志。
- 智能体预览：在将更改部署到生产环境之前，针对所选商店和菜单配置，使用语音或文本以交互方式测试订餐流程。
- 评估：定义测试数据集和测试用例，配置评估上下文和断言匹配器，运行自动批量模拟，并查看执行历史记录。
订单记录
您可以在订单记录 页面中查看品牌的已完成订餐会话，调查上报或错误，并分析智能体如何处理客户订单。
过滤和导出会议
在会话列表表格中，每行都会显示订单 ID、开始时间戳、商店 ID、会话时长、结果标签和自动干预分析。您可以使用工具栏控件缩小会话范围并导出数据：
- 所有过滤条件：按会话 ID、时间范围、商店 ID、结果标签、干预类别或话语文本过滤会话。
- 导出：将过滤后的会话列表下载为 CSV 文件，以进行离线报告和分析。
检查会话详情
点击订单记录 表格中的任意一行，即可打开该会话的订单详情 面板：
- 会话摘要和结果：查看会话 ID、商店元数据、整体结果分类（例如
SUCCESS或升级结果）以及解释任何人工干预或失败原因的干预分析信号。 - 对话转写内容和音频回放：在阅读逐轮客户和智能体转写内容的同时，收听完整会话录音或单个轮次的音频。
- 购物车状态更新：检查客户的购物车商品和修饰符在对话的每个轮次中如何变化，并将智能体提交的订单与最终销售点订单进行比较。
商店和菜单
您可以在商店 和菜单 页面中管理实体餐厅位置，浏览与每个商店关联的菜单，检查修饰符层次结构，并查看菜单提取状态。
管理商店位置
商店位置 页面会列出为品牌配置的所有商店。该表格会显示每个商店的 ID、显示名称、实际地址、分配的标签、营业状态（例如 Active 或 Disabled）以及上次更新日期。
在店铺定位工具 页面中，您可以执行以下操作：
- 过滤和搜索商店：按状态、上次更新日期范围、地理位置（城市或州）、标签或商店 ID 过滤商店。您还可以按商店 ID、名称或街道地址进行搜索。
- 执行批量操作：使用表格复选框选择多个商店，以批量添加标签、停用商店或删除已停用的商店。
- 配置商店设置：点击任意商店的设置图标，打开其商店设置 页面。在此页面中，您可以配置商店级详细信息、营业时间、时段以及商店级智能体自定义和追加销售替换项。
浏览菜单和商品层次结构
菜单 页面会列出为您的品牌和商店提取的菜单版本。每个条目都会显示菜单 ID、关联的商店 ID、显示名称、上次更新时间戳和标签。当前有效菜单会带有最新 徽章。
点击任意菜单条目中的查看菜单 ，打开交互式菜单导航器 ：
- 切换菜单视图：在菜单中菜单项、修饰符和修饰符组的层次树状视图和列表视图之间切换。
- 查看商品和修饰符详情：检查商品价格、修饰符价格调整、套餐数量、套餐大小、默认数量、修饰符选择限制（例如最小和最大数量）、商品图片和可用性状态（例如缺货或不可用）。
- 菜单比较：选择所有商店中的最多两个菜单进行并排比较，并突出显示差异，以显示添加、移除或修改的条目。
智能体预览
智能体预览 页面提供了一个交互式模拟器，用于在将配置更改部署到面向客户的渠道之前测试 AI 订餐智能体。
设置测试场景
在开始模拟订单之前，请在场景设置 页面中定义测试场景参数：
- 商店：选择目标商店位置。智能体会加载该商店的有效菜单、价格、时区和商店级自定义替换项。
- 时段：选择自动以根据当前时间自动确定时段，或选择特定时段（例如早餐或午餐）以测试受时间限制的菜单可用性。
- 渠道：选择模拟的订餐渠道，例如得来速、移动设备、电话或Web。
- 智能体自定义和追加销售策略：选择特定的自定义配置文件或追加销售策略，以测试智能体如何应用品牌级或实验性行为。
- 互动模式：选择语音以使用麦克风通过实时音频进行互动，或选择文本以通过聊天界面进行测试。
测试对话式订餐
点击开始订餐 以启动交互式模拟会话：
- 实时对话：在语音模式下，对着麦克风说话，与智能体进行自然对话。智能体提供逐轮语音转写、音频回放和中断（“插话”）支持。在文本模式下，在聊天输入字段中输入客户话语。
- 互动建议：点击转写内容流中建议的商品和修饰符芯片，只需点击一下即可模拟客户选择。
- 实时购物车跟踪：打开购物车侧边栏，逐轮观察实时购物车变化。您可以查看添加的商品、配置的修饰符和修饰符数量、分项价格以及正在运行的订单总额。
- 会话内菜单参考：在会话期间打开菜单侧边栏，浏览可用商品和基本价格以及有效对话。
- 历史会话比较：点击历史会话，直接跳转到订单记录，并将模拟结果与实际客户互动进行比较。
评估
您可以在评估 页面中构建和运行自动测试套件，以在向客户部署更改之前验证订餐智能体的对话行为、购物车准确性和业务规则。
如需详细了解如何使用评估框架和 API，请参阅使用评估框架评估订餐智能体。
管理数据集和测试用例
您可以在数据集和用例 标签页中整理和维护评估测试场景：
- 评估数据集：将相关测试用例分组到命名的数据集中（例如回归套件、菜单更改套件或追加销售测试套件）。您可以创建新数据集、搜索数据集，以及将数据集导入或导出为 YAML 文件。
- 评估用例：管理从 YAML 文件导入或从生产会话转换的独立测试用例。用例可以单独存在，也可以通过将它们拖到数据集中来整理到数据集中。
- 静态文本轮次用例：定义可预测、可重现的多轮对话，其中逐轮提供特定的客户文本输入。
- 动态文本轮次用例：指定高级自然语言订餐说明（例如，订购包含特殊饮食要求的自定义套餐），并使用生成式模拟来测试智能体如何处理不同的客户措辞。
- 从历史会话转换：在订单历史记录 页面中，您可以将已完成的客户会话直接转换为评估用例，以重现升级并防止回归。
配置评估上下文和匹配器
评估用例依赖于上下文来模拟真实的订餐环境，并依赖于匹配器来对智能体性能进行评分：
- 评估上下文：在上下文标签页中配置测试用例的运营环境，包括目标店面位置、有效菜单和时段（例如早餐或午餐）。
- 订单结果匹配器：在匹配器标签页中定义预期最终购物车状态。评估会将智能体的最终订单与预期商品、修饰符选择和商品数量进行比较。
- 智能体话语字符串匹配器：使用子字符串或正则表达式匹配检查智能体的语音或文本回答是否包含所需的关键字、免责声明或特定措辞。
- LLM 判断匹配器：使用 LLM-as-a-Judge 断言来评估定性标准，例如智能体是否礼貌地问候客户、是否恰当地澄清了模棱两可的请求，或者是否遵守了品牌语气指南。
运行评估和查看历史记录
您可以对整个数据集或单个测试用例执行评估运行：
- 数据集和用例执行：点击任意数据集旁边的运行数据集以执行所有包含的用例，或使用复选框选择特定用例，然后点击运行以测试单个场景。
- 运行历史记录：历史记录标签页会跟踪已完成和正在进行的评估运行，显示执行时间戳、数据集名称、时长以及总体通过率或失败率。
- 检查运行详情：点击任意评估运行，以深入了解各个用例的结果。您可以检查逐轮对话转写内容，通过视觉差异比较预期购物车内容与实际购物车内容，并查看匹配器通过和失败说明。