- 资源:EvaluationCaseResult
- 状态
- MatcherResult
- OrderResultMatcherResult
- AgentUtteranceStringMatcherResult
- LLMJudgementMatcherResult
- 方法
资源:EvaluationCaseResult
评估用例结果。
| JSON 表示法 |
|---|
{ "name": string, "evaluationCase": { object ( |
| 字段 | |
|---|---|
name |
标识符。评估案例结果的资源名称。格式:projects/{project}/locations/{location}/brands/{brand}/evaluationCaseResults/{evaluationCaseResult} |
evaluationCase |
仅限输出。相应结果所关联的评估案例。 |
evaluationContext |
仅限输出。相应结果关联的评估上下文。 |
evaluationDataset |
仅限输出。与此结果关联的评估数据集引用。如果未设置,则表示测试用例作为独立测试运行,而不是作为评估数据集的一部分运行。格式:projects/{project}/locations/{location}/brands/{brand}/evaluationDatasets/{evaluationDataset} |
sessionRecord |
仅限输出。相应结果所关联的会话记录的资源名称。格式:projects/{project}/locations/{location}/brands/{brand}/sessionRecords/{sessionRecord} |
status |
仅限输出。评估案例的状态。 |
matcherResults[] |
仅限输出。评估用例的评估匹配器结果列表。评估匹配器的结果。 |
createTime |
仅限输出。评估用例结果的创建时间。 采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例: |
状态
评估案例的状态。
| 枚举 | |
|---|---|
STATUS_UNSPECIFIED |
状态无效。 |
PASS |
所有评估匹配器均已满足。 |
FAIL |
至少有一个评估匹配条件未满足。 |
ERROR |
出现错误,导致 BidiProcessOrder 会话意外终止,无法完成评估。 |
MatcherResult
评估匹配器的结果。
| JSON 表示法 |
|---|
{ "evaluationMatcher": { object ( |
| 字段 | |
|---|---|
evaluationMatcher |
仅限输出。相应结果关联的评估匹配器。 |
联合字段 result。评估匹配器的结果。result 只能是下列其中一项: |
|
orderResultMatcherResult |
仅限输出。顺序结果匹配器的结果。 |
agentUtteranceStringMatcherResult |
仅限输出。代理话语字符串匹配器的结果。 |
llmJudgementMatcherResult |
仅限输出。代理话语 LLM 判断匹配器的结果。 |
OrderResultMatcherResult
顺序结果匹配器的结果。
| JSON 表示法 |
|---|
{ "match": boolean, "difference": string } |
| 字段 | |
|---|---|
match |
仅限输出。订单结果匹配器是否通过。 |
difference |
仅限输出。以 (-want +got) 格式显示订单结果匹配器中预期顺序与实际顺序之间的美观打印差异。 |
AgentUtteranceStringMatcherResult
代理话语字符串匹配器的结果。
| JSON 表示法 |
|---|
{ "match": boolean } |
| 字段 | |
|---|---|
match |
仅限输出。代理话语字符串匹配器是否通过。 |
LLMJudgementMatcherResult
代理话语 LLM 判断匹配器的结果。
| JSON 表示法 |
|---|
{ "match": boolean, "reasoning": string } |
| 字段 | |
|---|---|
match |
仅限输出。代理话语 LLM 判断匹配器是否通过。 |
reasoning |
仅限输出。说明 LLM 判断匹配或失败的原因。 |
方法 |
|
|---|---|
|
删除指定的 EvaluationCaseResult。 |
|
获取 EvaluationCaseResult。 |
|
列出 EvaluationCaseResults。 |