REST Resource: projects.locations.brands.evaluationCases

资源:EvaluationCase

单个评估用例。

JSON 表示法
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
字段
name

string

标识符。评估用例的资源名称。格式:projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}

displayName

string

必需。直观易懂的评估用例名称。

description

string

可选。评估用例的说明。

evaluationContext

string

必需。与此用例关联的评估上下文的资源名称。格式:projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}

evaluationMatchers[]

string

可选。用于评估用例的评估匹配器列表。评估在 BidiProcessOrder 会话结束时执行一次。每个匹配器都会生成一个布尔值结果,指明评估匹配器是通过还是失败。

联合字段 test_case。用于评估用例的测试用例。test_case 只能是下列其中一项:
staticTextTurnCase

object (StaticTextTurnCase)

可选。用户和代理文本轮次为静态的测试用例。

dynamicTextTurnCase

object (DynamicTextTurnCase)

可选。用户文本输入是使用 LLM 和排序指令动态生成的测试用例。

StaticTextTurnCase

用户输入为静态文本输入的评估用例。

JSON 表示法
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
字段
textTurns[]

object (TextTurn)

必需。评估用例中的文本轮次列表。

TextTurn

评估用例中的单个文本轮次,由用户输入和代理回答组成。

JSON 表示法
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
字段
userTextInput

string

必需。此轮次的用户文本输入。

exampleAgentResponse

string

可选。此轮次的示例代理回答。请注意,这不是实际的代理回答。实际的代理回答可能与此示例回答不同。示例回答不用于评估,仅用于显示,以便更轻松地理解评估用例。

DynamicTextTurnCase

用户输入是使用 LLM 和排序指令动态生成的评估用例。

JSON 表示法
{
  "orderingInstruction": string
}
字段
orderingInstruction

string

必需。供用户与订餐代理交互的排序指令。LLM 会根据排序指令动态生成用户文本输入。这可能包括要订购的目标商品、用户的偏好和限制,以及用户应告知订餐代理的具体操作。

方法

batchCreate

批量创建 EvaluationCase。

batchUpdate

批量更新 EvaluationCase。

create

创建 EvaluationCase。

delete

删除指定的 EvaluationCase。

get

获取 EvaluationCase。

list

列出 EvaluationCase。

patch

更新指定的 EvaluationCase。

run

运行评估用例。