资源:EvaluationCase
单个评估用例。
| JSON 表示法 |
|---|
{ "name": string, "displayName": string, "description": string, "evaluationContext": string, "evaluationMatchers": [ string ], // Union field |
| 字段 | |
|---|---|
name |
标识符。评估用例的资源名称。格式:projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase} |
displayName |
必需。直观易懂的评估用例名称。 |
description |
可选。评估用例的说明。 |
evaluationContext |
必需。与此用例关联的评估上下文的资源名称。格式:projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext} |
evaluationMatchers[] |
可选。用于评估用例的评估匹配器列表。评估在 BidiProcessOrder 会话结束时执行一次。每个匹配器都会生成一个布尔值结果,指明评估匹配器是通过还是失败。 |
联合字段 test_case。用于评估用例的测试用例。test_case 只能是下列其中一项: |
|
staticTextTurnCase |
可选。用户和代理文本轮次为静态的测试用例。 |
dynamicTextTurnCase |
可选。用户文本输入是使用 LLM 和排序指令动态生成的测试用例。 |
StaticTextTurnCase
用户输入为静态文本输入的评估用例。
| JSON 表示法 |
|---|
{
"textTurns": [
{
object ( |
| 字段 | |
|---|---|
textTurns[] |
必需。评估用例中的文本轮次列表。 |
TextTurn
评估用例中的单个文本轮次,由用户输入和代理回答组成。
| JSON 表示法 |
|---|
{ "userTextInput": string, "exampleAgentResponse": string } |
| 字段 | |
|---|---|
userTextInput |
必需。此轮次的用户文本输入。 |
exampleAgentResponse |
可选。此轮次的示例代理回答。请注意,这不是实际的代理回答。实际的代理回答可能与此示例回答不同。示例回答不用于评估,仅用于显示,以便更轻松地理解评估用例。 |
DynamicTextTurnCase
用户输入是使用 LLM 和排序指令动态生成的评估用例。
| JSON 表示法 |
|---|
{ "orderingInstruction": string } |
| 字段 | |
|---|---|
orderingInstruction |
必需。供用户与订餐代理交互的排序指令。LLM 会根据排序指令动态生成用户文本输入。这可能包括要订购的目标商品、用户的偏好和限制,以及用户应告知订餐代理的具体操作。 |
方法 |
|
|---|---|
|
批量创建 EvaluationCase。 |
|
批量更新 EvaluationCase。 |
|
创建 EvaluationCase。 |
|
删除指定的 EvaluationCase。 |
|
获取 EvaluationCase。 |
|
列出 EvaluationCase。 |
|
更新指定的 EvaluationCase。 |
|
运行评估用例。 |