- 资源:Evaluation
- Evaluation.Golden
- Evaluation.GoldenTurn
- Evaluation.Step
- SessionInput
- ToolResponses
- SessionInput.RecordingControl
- Evaluation.Scenario
- Evaluation.Scenario.TaskCompletionBehavior
- Evaluation.Scenario.UserGoalBehavior
- 方法
资源:Evaluation
评估代表模拟和评估智能体所需的所有信息。
| JSON 表示法 |
|---|
{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object ( |
| 字段 | |
|---|---|
name |
标识符。此评估的唯一标识符。格式: |
displayName |
必需。用户定义的评估显示名称。在应用内是唯一的。 |
description |
可选。用户定义的评估说明。 |
tags[] |
可选。用于对评估进行分类的用户定义标签。 |
evaluationDatasets[] |
仅限输出。评估所属的评估数据集列表。格式: |
createTime |
仅限输出。创建评估时的时间戳。 采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例: |
createdBy |
仅限输出。创建评估的用户。 |
updateTime |
仅限输出。上次更新评估时的时间戳。 采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例: |
lastUpdatedBy |
仅限输出。上次更新评估的用户。 |
evaluationRuns[] |
仅限输出。与此评估关联的 EvaluationRun。 |
etag |
仅限输出。用于确保对象在读取-修改-写入操作期间未发生更改的 Etag。如果 etag 为空,则更新将覆盖所有并发更改。 |
aggregatedMetrics |
仅限输出。此评估在所有运行作业中的汇总指标。 |
lastCompletedResult |
仅限输出。此评估的最新评估结果。 |
invalid |
仅限输出。评估是否无效。如果评估引用的工具、工具集或代理已被删除,就可能会发生这种情况。 |
lastTenResults[] |
仅限输出。此评估的最后 10 个评估结果。仅当 ListEvaluationsRequest 或 GetEvaluationRequest 中的 include_last_ten_results 设置为 true 时,系统才会填充此字段。 |
evaluationMetricsThresholdOverride |
可选。替换此特定评估的指标阈值。 |
evaluationMetricsConfigOverride |
可选。替换此特定评估的指标配置。 |
| 评估的输入。以下是互斥字段的列表。在响应中,最多只能设置以下字段之一: | |
golden |
可选。要评估的黄金步骤。 |
scenario |
可选。场景的配置。 |
| 互斥字段结束。 | |
Evaluation.Golden
重放黄金对话所需的步骤。
| JSON 表示法 |
|---|
{
"turns": [
{
object ( |
| 字段 | |
|---|---|
turns[] |
必需。重放黄金对话所需的黄金轮次。允许的最大轮数为 100。 |
evaluationExpectations[] |
可选。用于评估重放对话的评估预期。格式: |
Evaluation.GoldenTurn
黄金轮次定义了黄金对话中的单个轮次。
| JSON 表示法 |
|---|
{ "steps": [ { object ( |
| 字段 | |
|---|---|
steps[] |
必需。重放黄金对话所需的步骤。 |
rootSpan |
可选。用于处理和维护音频信息的黄金轮次根 span。音频的 URI 必须包含以 16Khz 采样率保存的音频。 |
turnLevelMetricsThresholdsOverride |
可选。替换轮次级指标阈值。 |
hallucinationMetricBehaviorOverride |
可选。替换轮次级幻觉指标行为。 |
Evaluation.Step
步骤定义了评估期间要执行的单个操作。
| JSON 表示法 |
|---|
{ // The following is a list of mutually exclusive fields. At most one of the // fields will be set in a response: "userInput": { object ( |
| 字段 | |
|---|---|
| 要执行的步骤。以下是互斥字段的列表。在响应中,最多只能设置以下字段之一: | |
userInput |
可选。对话的用户输入。 |
agentTransfer |
可选。将对话转接给其他客服人员。 |
expectation |
可选。对当前轮次执行预期。 |
| 互斥字段结束。 | |
SessionInput
会话的输入。
| JSON 表示法 |
|---|
{ "willContinue": boolean, "recordingControl": enum ( |
| 字段 | |
|---|---|
willContinue |
可选。一个标志,用于指示当前消息是否为双向流式传输会话中较大输入的一部分。 如果设置为 注意:此字段不适用于音频和 DTMF 输入,因为它们始终会根据端点信号自动处理。 |
recordingControl |
可选。是否可以从此处开始录制和记录对话。 当应用(而非代理)决定可以保留哪些内容时,请使用此选项:例如,在存储与通话相关的任何内容之前,最终用户必须同意录音。 该值会一直有效,直到客户端发送其他值,因此只需在答案发生变化时发送。在对话轮次完成时,系统会根据当时生效的设置来决定该轮次的处理方式,包括其音频是否会进入录音存储桶,以及其转写内容是否会进入对话记录、BigQuery 和 Cloud Logging。它涵盖了代理和最终用户在对话轮次中的表现。 在客户端首次发送此字段之前完成的回合会根据应用的日志记录设置进行记录,就好像该字段不存在一样。 如果同一请求中的多个输入都设置了此字段,则最后一个输入会生效。 |
| 输入类型。以下是互斥字段的列表。在响应中,最多只能设置以下字段之一: | |
text |
可选。来自最终用户的文本数据。 |
dtmf |
可选。最终用户输入的 DTMF 数字。 |
audio |
可选。来自最终用户的音频数据。 使用 base64 编码的字符串。 |
toolResponses |
可选。客户端工具调用的执行结果。 |
image |
可选。来自最终用户的图片数据。 |
blob |
可选。来自最终用户的 Blob 数据。 |
variables |
可选。会话的上下文变量,按名称键控。CES 代理只会使用在应用中声明的变量。 无法识别的变量仍将作为额外的会话参数发送到 [Dialogflow 代理][Agent.RemoteDialogflowAgent]。 |
event |
可选。事件输入。 |
| 互斥字段结束。 | |
ToolResponses
客户端请求的工具调用的执行结果。
| JSON 表示法 |
|---|
{
"toolResponses": [
{
object ( |
| 字段 | |
|---|---|
toolResponses[] |
可选。工具执行结果列表。 |
SessionInput.RecordingControl
应用做出的决定可能会被记录和记入日志。
此枚举可扩展;未来可能会添加新值。
| 枚举 | |
|---|---|
RECORDING_CONTROL_UNSPECIFIED |
应用未控制录制。应用的日志记录设置会决定是否记录,就像对从未设置此字段的每个会话一样。 |
RECORDING_ENABLED |
从现在开始,对话可能会被录音和记录。 |
RECORDING_DISABLED |
从现在起,对话可能不会被录制或记录。 |
Evaluation.Scenario
场景的配置
| JSON 表示法 |
|---|
{ "task": string, "userFacts": [ { object ( |
| 字段 | |
|---|---|
task |
必需。场景要定位的任务。 |
userFacts[] |
可选。场景要使用的用户事实。 |
maxTurns |
可选。要模拟的最大轮数。允许的最大值为 100。默认值为 100。 |
rubrics[] |
必需。用于对场景进行评分的评分准则。 |
scenarioExpectations[] |
必需。ScenarioExpectations,用于评估用户模拟生成的对话。 |
variableOverrides |
可选。作为会话上下文的变量/会话参数,以变量名称作为键。此结构体的成员将覆盖系统设置的所有默认值。 请注意,这些事实与用户事实不同,后者是用户已知的事实。变量是代理已知的参数,例如由手机系统传递的 MDN(手机号码)。 |
taskCompletionBehavior |
可选。已弃用。请改用 userGoalBehavior。 |
userGoalBehavior |
可选。用户目标的预期行为。 |
evaluationExpectations[] |
可选。评估预期,用于评估模拟生成的对话。格式: |
milestones[] |
可选。此场景的里程碑。 |
scenarioExecutionMode |
可选。场景评估的执行模式。 |
Evaluation.Scenario.TaskCompletionBehavior
用户任务的预期行为。这用于确定场景是否成功。
| 枚举 | |
|---|---|
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED |
未指定行为。默认值为 TASK_SATISFIED。 |
TASK_SATISFIED |
用户任务应成功完成。 |
TASK_REJECTED |
用户任务应被拒绝。 |
Evaluation.Scenario.UserGoalBehavior
用户目标的预期行为。这用于确定场景是否成功。
| 枚举 | |
|---|---|
USER_GOAL_BEHAVIOR_UNSPECIFIED |
未指定行为。默认值为 USER_GOAL_SATISFIED。 |
USER_GOAL_SATISFIED |
用户目标应成功完成。 |
USER_GOAL_REJECTED |
应拒绝该用户目标。 |
USER_GOAL_IGNORED |
忽略用户目标状态。 |
方法 |
|
|---|---|
|
创建评估。 |
|
删除评估。 |
|
导出评估。 |
|
获取指定评估的详细信息。 |
|
列出指定应用中的所有评估。 |
|
更新评估。 |
|
上传音频以用于黄金评估。 |