Google 会使用 AI 技术将内容翻译成您偏好的语言。AI 翻译可能包含错误。

MCP Tools Reference: ces.googleapis.com

工具：`get_evaluation_result`

获取指定评估结果的详细信息。

以下代码示例展示了如何使用 curl 调用 get_evaluation_result MCP 工具。

Curl 请求
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "get_evaluation_result", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }'

Curl 请求

curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_result",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

输入架构

EvaluationService.GetEvaluationResult 的请求消息。

GetEvaluationResultRequest

JSON 表示法
{ "name": string }

字段

字段
`name`	`string` 必需。要检索的评估结果的资源名称。

name

string

必需。要检索的评估结果的资源名称。

输出架构

评估结果表示运行评估的输出。

EvaluationResult

JSON 表示法

JSON 表示法
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (`Outcome`), "evaluationRun": string, "persona": { object (`EvaluationPersona`) }, "errorInfo": { object (`EvaluationErrorInfo`) }, "error": { object (`Status`) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (`ExecutionState`), "evaluationMetricsThresholds": { object (`EvaluationMetricsThresholds`) }, "config": { object (`EvaluationConfig`) }, "goldenRunMethod": enum (`GoldenRunMethod`), "rootSpan": { object (`Span`) }, "outcomeMetadata": enum (`OutcomeMetadata`), // Union field `result` can be only one of the following: "goldenResult": { object (`GoldenResult`) }, "scenarioResult": { object (`ScenarioResult`) } // End of list of possible types for union field `result`. }

{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}

字段
`name`	`string` 标识符。评估结果的唯一标识符。格式：`projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}`
`displayName`	`string` 必需。评估结果的显示名称。在评估中是唯一的。默认情况下，其格式为“ 结果 - ”。
`createTime`	`string (Timestamp format)` 仅限输出。评估结果的创建时间戳。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`evaluationStatus`	`enum (Outcome)` 仅限输出。评估结果。仅在 execution_state 为 COMPLETE 时填充。
`evaluationRun`	`string` 仅限输出。生成此结果的评估运行。格式：`projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}`
`persona`	`object (EvaluationPersona)` 仅限输出。用于为评估结果生成对话的角色。
`errorInfo`	`object (EvaluationErrorInfo)` 仅限输出。评估结果的错误信息。
`error (deprecated)`	`object (Status)` 此项已弃用！仅限输出。已弃用：请改用 `error_info`。执行期间遇到错误。
`initiatedBy`	`string` 仅限输出。发起评估运行并生成此结果的用户。
`appVersion`	`string` 仅限输出。用于生成对话（从而产生此结果）的应用版本。格式：`projects/{project}/locations/{location}/apps/{app}/versions/{version}`
`appVersionDisplayName`	`string` 仅限输出。运行评估所针对的 `app_version` 的显示名称。
`changelog`	`string` 仅限输出。运行评估的应用版本的变更日志。如果用户对最新版本/草稿运行评估，则会填充此字段。
`changelogCreateTime`	`string (Timestamp format)` 仅限输出。运行评估的应用版本的变更日志的创建时间。如果用户对最新版本/草稿运行评估，则会填充此字段。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`executionState`	`enum (ExecutionState)` 仅限输出。评估结果执行的状态。
`evaluationMetricsThresholds`	`object (EvaluationMetricsThresholds)` 仅限输出。结果的评估阈值。
`config`	`object (EvaluationConfig)` 仅限输出。在生成此结果的评估运行中使用的配置。
`goldenRunMethod`	`enum (GoldenRunMethod)` 仅限输出。用于运行黄金评估的方法。
`rootSpan`	`object (Span)` 仅限输出。评估执行的根 span，其中包含有关评估每个步骤的信息。
`outcomeMetadata`	`enum (OutcomeMetadata)` 仅限输出。评估的结果元数据。仅在 execution_state 为 COMPLETE 时填充。
联合字段 `result`。评估结果。仅在 execution_state 为 COMPLETED 时填充。`result` 只能是下列其中一项：
`goldenResult`	`object (GoldenResult)` 仅限输出。黄金评估的结果。
`scenarioResult`	`object (ScenarioResult)` 仅限输出。场景评估的结果。

GoldenResult

JSON 表示法
{ "turnReplayResults": [ { object (`TurnReplayResult`) } ], "evaluationExpectationResults": [ { object (`EvaluationExpectationResult`) } ] }

字段

字段
`turnReplayResults[]`	`object (TurnReplayResult)` 仅限输出。运行黄金对话的每一轮对话的结果。
`evaluationExpectationResults[]`	`object (EvaluationExpectationResult)` 仅限输出。评估预期结果。

turnReplayResults[]

object (TurnReplayResult)

仅限输出。运行黄金对话的每一轮对话的结果。

evaluationExpectationResults[]

object (EvaluationExpectationResult)

仅限输出。评估预期结果。

TurnReplayResult

JSON 表示法

JSON 表示法
{ "conversation": string, "expectationOutcome": [ { object (`GoldenExpectationOutcome`) } ], "hallucinationResult": { object (`HallucinationResult`) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (`ToolCallLatency`) } ], "semanticSimilarityResult": { object (`SemanticSimilarityResult`) }, "overallToolInvocationResult": { object (`OverallToolInvocationResult`) }, "errorInfo": { object (`EvaluationErrorInfo`) }, "spanLatencies": [ { object (`SpanLatency`) } ], // Union field `_tool_ordered_invocation_score` can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // `_tool_ordered_invocation_score`. }

{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}

字段
`conversation`	`string` 仅限输出。为此轮生成的对话。
`expectationOutcome[]`	`object (GoldenExpectationOutcome)` 仅限输出。每项预期的结果。
`hallucinationResult`	`object (HallucinationResult)` 仅限输出。幻觉检查的结果。
`toolInvocationScore (deprecated)`	`number` 此项已弃用！仅限输出。已弃用。请改用 OverallToolInvocationResult。
`turnLatency`	`string (Duration format)` 仅限输出。转向时长。该时长以秒为单位，最多包含九个小数位，以“`s`”结尾。示例：`"3.5s"`。
`toolCallLatencies[]`	`object (ToolCallLatency)` 仅限输出。该轮对话中每个工具调用的延迟时间。
`semanticSimilarityResult`	`object (SemanticSimilarityResult)` 仅限输出。语义相似度检查的结果。
`overallToolInvocationResult`	`object (OverallToolInvocationResult)` 仅限输出。总体工具调用检查的结果。
`errorInfo`	`object (EvaluationErrorInfo)` 仅限输出。有关此轮对话期间发生的错误的信息。
`spanLatencies[]`	`object (SpanLatency)` 仅限输出。轮次中 span 的延迟时间。
联合字段 `_tool_ordered_invocation_score`。 `_tool_ordered_invocation_score` 只能是下列其中一项：
`toolOrderedInvocationScore`	`number` 仅限输出。此轮对话的总体工具调用顺序得分。这表示预期轮次中实际按预期顺序调用的工具所占的总体百分比。

GoldenExpectationOutcome

JSON 表示法

JSON 表示法
{ "expectation": { object (`GoldenExpectation`) }, "outcome": enum (`Outcome`), "semanticSimilarityResult": { object (`SemanticSimilarityResult`) }, "toolInvocationResult": { object (`ToolInvocationResult`) }, // Union field `result` can be only one of the following: "observedToolCall": { object (`ToolCall`) }, "observedToolResponse": { object (`ToolResponse`) }, "observedAgentResponse": { object (`Message`) }, "observedAgentTransfer": { object (`AgentTransfer`) }, "observedPayload": { object } // End of list of possible types for union field `result`. }

{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}

字段
`expectation`	`object (GoldenExpectation)` 仅限输出。已评估的预期。
`outcome`	`enum (Outcome)` 仅限输出。预期结果。
`semanticSimilarityResult (deprecated)`	`object (SemanticSimilarityResult)` 此项已弃用！仅限输出。语义相似度检查的结果。
`toolInvocationResult`	`object (ToolInvocationResult)` 仅限输出。工具调用检查的结果。
联合字段 `result`。预期的结果。`result` 只能是下列其中一项：
`observedToolCall`	`object (ToolCall)` 仅限输出。工具调用预期结果。
`observedToolResponse`	`object (ToolResponse)` 仅限输出。工具回答预期结果。
`observedAgentResponse`	`object (Message)` 仅限输出。智能体回答预期结果。
`observedAgentTransfer`	`object (AgentTransfer)` 仅限输出。智能体转移预期的结果。
`observedPayload`	`object (Struct format)` 仅限输出。观察到的自定义载荷。对自定义载荷没有预期。此信息仅用于计算指标。结果始终为 SKIPPED。

ToolCall

JSON 表示法

JSON 表示法
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

字段
`id`	`string` 可选。工具调用的唯一标识符。如果已填充，客户端应在 `ToolResponse` 中返回具有匹配 ID 的执行结果。
`displayName`	`string` 仅限输出。工具的显示名称。
`args`	`object (Struct format)` 可选。以 JSON 对象格式表示的工具输入参数和值。
`parentToolCallId`	`string` 仅限输出。导致此工具调用的工具调用的 ID（如果此工具调用是由代表父级调用工作的子智能体发出的）。对于顶级调用，此字段为空。让客户端能够将子智能体的工作归入启动该工作的调用下，而不是将每个步骤都呈现为同级。
`agentName`	`string` 仅限输出。发出此调用的智能体的人类可读名称，例如“Contract Architect”。如果由根代理发出，则为空。
`targetApp`	`string` 仅限输出。此调用所针对的应用，由助理根据调用的资源实参推导得出：应用资源名称、`PROJECT`（对于位置级工具）或空（对于会话本地工具）。仅在项目级范围的助理会话中设置。
联合字段 `tool_identifier`。要执行的工具的标识符。它可以是持久化工具，也可以是工具集中的工具。`tool_identifier` 只能是下列其中一项：
`tool`	`string` 可选。要执行的工具的名称。格式：`projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 可选。要执行的工具集工具。

ToolsetTool

JSON 表示法
{ "toolset": string, "toolId": string }

字段

字段
`toolset`	`string` 必需。此工具派生自的工具集的资源名称。格式：`projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}`
`toolId`	`string` 可选。用于过滤工具以检索其架构的工具 ID。

toolset

string

必需。此工具派生自的工具集的资源名称。格式：projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

可选。用于过滤工具以检索其架构的工具 ID。

结构体

JSON 表示法
{ "fields": { string: value, ... } }

字段

字段
`fields`	`map (key: string, value: value (Value format))` 动态类型值的无序映射。包含一系列 `"key": value` 对的对象。示例：`{ "name": "wrench", "mass": "1.3kg", "count": "3" }`。

fields

map (key: string, value: value (Value format))

动态类型值的无序映射。

包含一系列 "key": value 对的对象。示例：{ "name": "wrench", "mass": "1.3kg", "count": "3" }。

FieldsEntry

JSON 表示法
{ "key": string, "value": value }

字段
`key`	`string`
`value`	`value (Value format)`

值

JSON 表示法

JSON 表示法
{ // Union field `kind` can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field `kind`. }

{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}

字段
联合字段 `kind`。值的类型。`kind` 只能是下列其中一项：
`nullValue`	`null` 表示 JSON `null`。
`numberValue`	`number` 表示 JSON 数值。不得为 `NaN`、`Infinity` 或 `-Infinity`，因为 JSON 不支持这些值。这也无法表示较大的 Int64 值，因为 JSON 格式通常不支持在其数字类型中使用这些值。
`stringValue`	`string` 表示 JSON 字符串。
`boolValue`	`boolean` 表示 JSON 布尔值（JSON 中的 `true` 或 `false` 字面量）。
`structValue`	`object (Struct format)` 表示一个 JSON 对象。
`listValue`	`array (ListValue format)` 表示 JSON 数组。

ListValue

JSON 表示法
{ "values": [ value ] }

字段

字段
`values[]`	`value (Value format)` 动态类型值的重复字段。

values[]

value (Value format)

动态类型值的重复字段。

ToolResponse

JSON 表示法

JSON 表示法
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

字段
`id`	`string` 可选。回复所针对的 `tool call` 的匹配 ID。
`displayName`	`string` 仅限输出。工具的显示名称。
`response`	`object (Struct format)` 必需。以 JSON 对象格式表示的工具执行结果。使用“output”键指定工具响应，使用“error”键指定错误详情（如有）。如果未指定“output”和“error”键，则整个“response”都会被视为工具执行结果。
`parentToolCallId`	`string` 仅限输出。导致此工具调用的工具调用的 ID（如果此工具调用是由代表父级调用工作的子智能体发出的）。对于顶级调用，此字段为空。让客户端能够将子智能体的工作归入启动该工作的调用下，而不是将每个步骤都呈现为同级。
`agentName`	`string` 仅限输出。发出此调用的智能体的人类可读名称，例如“Contract Architect”。如果由根代理发出，则为空。
`targetApp`	`string` 仅限输出。执行的工具所针对的应用；镜像 `ToolCall.target_app`。
联合字段 `tool_identifier`。已执行工具的标识符。它可以是持久化工具，也可以是工具集中的工具。`tool_identifier` 只能是下列其中一项：
`tool`	`string` 可选。要执行的工具的名称。格式：`projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 可选。已执行的工具集工具。

消息

JSON 表示法
{ "role": string, "chunks": [ { object (`Chunk`) } ], "eventTime": string }

字段

字段
`role`	`string` 可选。对话中的角色，例如用户、智能体。
`chunks[]`	`object (Chunk)` 可选。消息内容，以一系列分块的形式呈现。
`eventTime`	`string (Timestamp format)` 可选。发送或接收消息时的时间戳。如果消息是 `example` 的一部分，则不应使用。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。

role

string

可选。对话中的角色，例如用户、智能体。

chunks[]

object (Chunk)

可选。消息内容，以一系列分块的形式呈现。

eventTime

string (Timestamp format)

可选。发送或接收消息时的时间戳。如果消息是 example 的一部分，则不应使用。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。

块

JSON 表示法

JSON 表示法
{ // Union field `data` can be only one of the following: "text": string, "transcript": string, "blob": { object (`Blob`) }, "payload": { object }, "image": { object (`Image`) }, "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field `data`. }

{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}

字段
联合字段 `data`。数据块数据。`data` 只能是下列其中一项：
`text`	`string` 可选。文本数据。
`transcript`	`string` 可选。与音频关联的转写内容。
`blob`	`object (Blob)` 可选。Blob 数据。
`payload`	`object (Struct format)` 可选。自定义载荷数据。
`image`	`object (Image)` 可选。图片数据。
`toolCall`	`object (ToolCall)` 可选。工具执行请求。
`toolResponse`	`object (ToolResponse)` 可选。工具执行响应。
`agentTransfer`	`object (AgentTransfer)` 可选。智能体转移事件。
`updatedVariables`	`object (Struct format)` 一个结构体，表示在对话中更新的变量，以变量名称为键。
`defaultVariables`	`object (Struct format)` 一个结构体，表示对话开始时的默认变量，以变量名称为键。

Blob

JSON 表示法
{ "mimeType": string, "data": string }

字段

字段
`mimeType`	`string` 必需。来源数据的 IANA 标准 MIME 类型。
`data`	`string (bytes format)` 必需。Blob 的原始字节。使用 base64 编码的字符串。

mimeType

string

必需。来源数据的 IANA 标准 MIME 类型。

data

string (bytes format)

必需。Blob 的原始字节。

使用 base64 编码的字符串。

映像

JSON 表示法
{ "mimeType": string, "data": string, "altText": string }

字段

字段
`mimeType`	`string` 必需。来源数据的 IANA 标准 MIME 类型。支持的图片类型包括：* image/png * image/jpeg * image/webp
`data`	`string (bytes format)` 必需。图片的原始字节。使用 base64 编码的字符串。
`altText`	`string` 可选。图片的替代文本。

mimeType

string

必需。来源数据的 IANA 标准 MIME 类型。支持的图片类型包括：* image/png * image/jpeg * image/webp

data

string (bytes format)

必需。图片的原始字节。

使用 base64 编码的字符串。

altText

string

可选。图片的替代文本。

AgentTransfer

JSON 表示法
{ "targetAgent": string, "displayName": string }

字段

字段
`targetAgent`	`string` 必需。对话要转接到的智能体。此后，客服人员将接管对话。格式：`projects/{project}/locations/{location}/apps/{app}/agents/{agent}`
`displayName`	`string` 仅限输出。代理的显示名称。

targetAgent

string

必需。对话要转接到的智能体。此后，客服人员将接管对话。格式：projects/{project}/locations/{location}/apps/{app}/agents/{agent}

displayName

string

仅限输出。代理的显示名称。

时间戳

JSON 表示法
{ "seconds": string, "nanos": integer }

字段

字段
`seconds`	`string (int64 format)` 表示世界协调时间 (UTC) 的秒数（从 Unix 纪元 1970-01-01T00:00:00Z 开始算起）。必须介于 -62135596800 到 253402300799 之间（含边界值，对应于 0001-01-01T00:00:00Z 到 9999-12-31T23:59:59Z）。
`nanos`	`integer` 秒数的非负小数部分（以纳秒为单位）。此字段是时长的纳秒部分，而不是秒的替代。对于含小数部分的负秒数，仍必须包含按时间递升的非负纳秒值。必须在 0 到 999,999,999 之间（含边界值）。

seconds

string (int64 format)

表示世界协调时间 (UTC) 的秒数（从 Unix 纪元 1970-01-01T00:00:00Z 开始算起）。必须介于 -62135596800 到 253402300799 之间（含边界值，对应于 0001-01-01T00:00:00Z 到 9999-12-31T23:59:59Z）。

nanos

integer

秒数的非负小数部分（以纳秒为单位）。此字段是时长的纳秒部分，而不是秒的替代。对于含小数部分的负秒数，仍必须包含按时间递升的非负纳秒值。必须在 0 到 999,999,999 之间（含边界值）。

GoldenExpectation

JSON 表示法

JSON 表示法
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (`ExpectationLevelMetricsThresholds`) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (`SemanticSimilarityMetricsConfig`) }, "agentResponseHallucinationMetricsConfigOverride": { object (`HallucinationMetricsConfig`) }, "comparisonType": enum (`ComparisonType`), // Union field `condition` can be only one of the following: "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentResponse": { object (`Message`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "mockToolResponse": { object (`ToolResponse`) }, "noToolCalls": boolean // End of list of possible types for union field `condition`. }

{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}

字段
`note`	`string` 可选。此要求的备注，在特定检查失败时可用于报告。例如，"Check_Payment_Tool_Called".
`skipEvaluation`	`boolean` 可选。如果设置为 true，则不会评估此特定预期。
`expectationLevelMetricsThresholdsOverride`	`object (ExpectationLevelMetricsThresholds)` 可选。在步骤级别替换指标。
`agentResponseSemanticSimilarityMetricsConfigOverride`	`object (SemanticSimilarityMetricsConfig)` 可选。agent_response 语义相似度指标的替换值。
`agentResponseHallucinationMetricsConfigOverride`	`object (HallucinationMetricsConfig)` 可选。agent_response 幻觉指标的替换值。
`comparisonType`	`enum (ComparisonType)` 可选。用于预期检查的比较类型。
联合字段 `condition`。要执行的实际检查。`condition` 只能是下列其中一项：
`toolCall`	`object (ToolCall)` 可选。检查是否使用参数调用了特定工具。
`toolResponse`	`object (ToolResponse)` 可选。检查特定工具是否给出了预期回答。
`agentResponse`	`object (Message)` 可选。检查智能体是否给出了正确的回答。角色“agent”是隐式指定的。
`agentTransfer`	`object (AgentTransfer)` 可选。检查智能体是否将对话转接给了其他智能体。
`updatedVariables`	`object (Struct format)` 可选。检查代理是否已将这些会话变量更新为预期值。还用于捕获黄金评估的智能体变量更新。
`mockToolResponse`	`object (ToolResponse)` 可选。要模拟的工具响应，其中指定了相关参数。LLM 会虚构未指定的任何参数。
`noToolCalls`	`boolean` 可选。检查此轮对话中是否未调用任何工具。

ExpectationLevelMetricsThresholds

JSON 表示法

JSON 表示法
{ // Union field `_tool_invocation_parameter_correctness_threshold` can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // `_tool_invocation_parameter_correctness_threshold`. }

{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}

字段

字段
联合字段 `_tool_invocation_parameter_correctness_threshold`。 `_tool_invocation_parameter_correctness_threshold` 只能是下列其中一项：
`toolInvocationParameterCorrectnessThreshold`	`number` 可选。单个工具调用参数正确性的成功阈值。必须是介于 0 到 1 之间的浮点数。默认值为 1.0。

联合字段 _tool_invocation_parameter_correctness_threshold。

_tool_invocation_parameter_correctness_threshold 只能是下列其中一项：

toolInvocationParameterCorrectnessThreshold

number

可选。单个工具调用参数正确性的成功阈值。必须是介于 0 到 1 之间的浮点数。默认值为 1.0。

SemanticSimilarityMetricsConfig

JSON 表示法
{ "enableSemanticSimilarityMetrics": boolean }

字段

字段
`enableSemanticSimilarityMetrics`	`boolean` 可选。是否计算评估的语义相似度指标。

enableSemanticSimilarityMetrics

boolean

可选。是否计算评估的语义相似度指标。

HallucinationMetricsConfig

JSON 表示法
{ "enableHallucinationMetrics": boolean }

字段

字段
`enableHallucinationMetrics`	`boolean` 可选。是否计算评估的幻觉指标。

enableHallucinationMetrics

boolean

可选。是否计算评估的幻觉指标。

SemanticSimilarityResult

JSON 表示法

JSON 表示法
{ "label": string, "explanation": string, "outcome": enum (`Outcome`), // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}

字段
`label`	`string` 仅限输出。与每个分数关联的标签。4 分：完全一致 3 分：基本一致 2 分：部分一致（有轻微遗漏） 1 分：基本不一致（有重大遗漏） 0 分：完全不一致/矛盾
`explanation`	`string` 仅限输出。语义相似度得分的说明。
`outcome`	`enum (Outcome)` 仅限输出。语义相似度检查的结果。这是通过将得分与 semantic_similarity_success_threshold 进行比较来确定的。如果得分等于或高于阈值，则结果为“通过”。否则，结果将为 FAIL。
联合字段 `_score`。 `_score` 只能是下列其中一项：
`score`	`integer` 仅限输出。语义相似度得分。可以是 0、1、2、3 或 4。

ToolInvocationResult

JSON 表示法

JSON 表示法
{ "outcome": enum (`Outcome`), "explanation": string, // Union field `_parameter_correctness_score` can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field `_parameter_correctness_score`. }

{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}

字段
`outcome`	`enum (Outcome)` 仅限输出。工具调用检查的结果。这是通过将 parameter_correctness_score 与阈值进行比较来确定的。如果得分等于或高于阈值，则结果为“通过”。否则，结果将为 FAIL。
`explanation`	`string` 仅限输出。对工具调用结果的自由文本说明。
联合字段 `_parameter_correctness_score`。 `_parameter_correctness_score` 只能是下列其中一项：
`parameterCorrectnessScore`	`number` 仅限输出。工具调用参数正确性得分。这表示预期工具调用中也存在于实际工具调用中的参数所占的百分比。

HallucinationResult

JSON 表示法
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

字段
`label`	`string` 仅限输出。与每个分数关联的标签。Score 1: Justified Score 0: Not Justified Score -1: No Claim To Assess
`explanation`	`string` 仅限输出。幻觉得分的说明。
联合字段 `_score`。 `_score` 只能是下列其中一项：
`score`	`integer` 仅限输出。幻觉得分。可以是 -1、0、1。

时长

JSON 表示法
{ "seconds": string, "nanos": integer }

字段

seconds

string (int64 format)

时间跨度的带符号秒数。必须介于 -315,576,000,000 到 +315,576,000,000 之间（含边界值）。注意：这些边界的计算公式为：60 秒/分钟 * 60 分钟/小时 * 24 小时/天 * 365.25 天/年 * 10000 年

nanos

integer

时间跨度的秒数的有符号小数部分（以纳秒为单位）。小于 1 秒的时长用 0 seconds 字段和正或负 nanos 字段表示。对于一秒或更长的时长，nanos 字段的非零值必须与 seconds 字段具有相同的符号。必须介于 -999,999,999 到 +999,999,999 之间（含边界值）。

ToolCallLatency

JSON 表示法
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

字段
`tool`	`string` 仅限输出。已执行的工具的名称。格式：`projects/{project}/locations/{location}/apps/{app}/tools/{tool}`。
`displayName`	`string` 仅限输出。工具的显示名称。
`startTime`	`string (Timestamp format)` 仅限输出。工具调用执行的开始时间。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`endTime`	`string (Timestamp format)` 仅限输出。工具调用执行的结束时间。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`executionLatency`	`string (Duration format)` 仅限输出。工具调用执行的延迟时间。该时长以秒为单位，最多包含九个小数位，以“`s`”结尾。示例：`"3.5s"`。

OverallToolInvocationResult

JSON 表示法

{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}

字段
`outcome`	`enum (Outcome)` 仅限输出。工具调用检查的结果。这是通过将 tool_invocation_score 与 overall_tool_invocation_correctness_threshold 进行比较来确定的。如果得分等于或高于阈值，则结果为“通过”。否则，结果将为 FAIL。
联合字段 `_tool_invocation_score`。 `_tool_invocation_score` 只能是下列其中一项：
`toolInvocationScore`	`number` 此轮对话的总体工具调用得分。这表示实际调用的工具占预期轮次中工具总数的百分比。

EvaluationErrorInfo

JSON 表示法
{ "errorType": enum (`ErrorType`), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

字段
`errorType`	`enum (ErrorType)` 仅限输出。错误类型。
`errorMessage`	`string` 仅限输出。错误消息。
`sessionId`	`string` 仅限输出。导致错误的对话的会话 ID。
`userFacingErrorMessage`	`string` 仅限输出。面向用户的出错提示。

SpanLatency

JSON 表示法

{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}

字段
`type`	`enum (Type)` 仅限输出。span 的类型。
`displayName`	`string` 仅限输出。span 的显示名称。适用于工具和护栏 span。
`startTime`	`string (Timestamp format)` 仅限输出。span 的开始时间。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`endTime`	`string (Timestamp format)` 仅限输出。span 的结束时间。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`executionLatency`	`string (Duration format)` 仅限输出。span 的延迟时间。该时长以秒为单位，最多包含九个小数位，以“`s`”结尾。示例：`"3.5s"`。
联合字段 `identifier`。特定内容的标识符（基于其类型）。`identifier` 只能是下列其中一项：
`resource`	`string` 仅限输出。护栏或工具 span 的资源名称。
`toolset`	`object (ToolsetTool)` 仅限输出。工具集工具标识符。
`model`	`string` 仅限输出。LLM span 的名称。
`callback`	`string` 仅限输出。用户回调 span 的名称。

EvaluationExpectationResult

JSON 表示法
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (`Outcome`), "explanation": string }

字段
`evaluationExpectation`	`string` 仅限输出。评估预期。格式：`projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}`
`prompt`	`string` 仅限输出。用于评估的提示。
`outcome`	`enum (Outcome)` 仅限输出。评估预期的结果。
`explanation`	`string` 仅限输出。结果说明。

ScenarioResult

JSON 表示法

{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}

字段
`conversation`	`string` 仅限输出。场景中生成的对话。
`task`	`string` 仅限输出。运行此结果的场景时使用的任务。
`userFacts[]`	`object (UserFact)` 仅限输出。此结果的场景所使用的用户事实。
`expectationOutcomes[]`	`object (ScenarioExpectationOutcome)` 仅限输出。每项预期的结果。
`rubricOutcomes[]`	`object (ScenarioRubricOutcome)` 仅限输出。评分依据的结果。
`hallucinationResult[]`	`object (HallucinationResult)` 仅限输出。幻觉检查的结果。对话中的每一轮都会有一个幻觉结果。
`taskCompletionResult (deprecated)`	`object (TaskCompletionResult)` 此项已弃用！仅限输出。任务完成情况检查的结果。
`toolCallLatencies[]`	`object (ToolCallLatency)` 仅限输出。对话中每次工具调用执行的延迟时间。
`userGoalSatisfactionResult`	`object (UserGoalSatisfactionResult)` 仅限输出。用户目标满意度检查的结果。
`spanLatencies[]`	`object (SpanLatency)` 仅限输出。对话中 span 的延迟时间。
`evaluationExpectationResults[]`	`object (EvaluationExpectationResult)` 仅限输出。评估预期结果。
`milestoneResults[]`	`object (MilestoneResult)` 仅限输出。场景中每个里程碑的结果。
联合字段 `_all_expectations_satisfied`。 `_all_expectations_satisfied` 只能是下列其中一项：
`allExpectationsSatisfied`	`boolean` 仅限输出。此轮对话是否满足了所有预期。

联合字段 `_task_completed`。 `_task_completed` 只能是下列其中一项：
`taskCompleted`	`boolean` 仅限输出。任务是否已在此轮对话中完成。这是所有预期得到满足、无幻觉和用户目标得到满足的综合结果。

UserFact

JSON 表示法
{ "name": string, "value": string }

字段

name

string

必需。用户事实的名称。

value

string

必需。用户事实的值。

ScenarioExpectationOutcome

JSON 表示法

{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}

字段
`expectation`	`object (ScenarioExpectation)` 仅限输出。已评估的预期。
`outcome`	`enum (Outcome)` 仅限输出。ScenarioExpectation 的结果。
联合字段 `result`。预期的结果。`result` 只能是下列其中一项：
`observedToolCall`	`object (ObservedToolCall)` 仅限输出。观察到的工具调用。
`observedAgentResponse`	`object (Message)` 仅限输出。观察到的智能体回答。

ObservedToolCall

JSON 表示法
{ "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) } }

字段

toolCall

object (ToolCall)

仅限输出。观察到的工具调用。

toolResponse

object (ToolResponse)

仅限输出。观察到的工具响应。

ScenarioExpectation

JSON 表示法

{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}

字段
联合字段 `expectation`。用于评估模拟生成的对话的预期。`expectation` 只能是下列其中一项：
`toolExpectation`	`object (ToolExpectation)` 可选。要评估的工具调用和响应对。
`agentResponse`	`object (Message)` 可选。需要评估的代理回答。

ToolExpectation

JSON 表示法
{ "expectedToolCall": { object (`ToolCall`) }, "mockToolResponse": { object (`ToolResponse`) } }

字段

expectedToolCall

object (ToolCall)

必需。预期的工具调用，其中指定了关注的参数。LLM 会虚构未指定的任何参数。

mockToolResponse

object (ToolResponse)

必需。要模拟的工具响应，其中指定了相关参数。LLM 会虚构未指定的任何参数。

ScenarioRubricOutcome

JSON 表示法
{ "rubric": string, "scoreExplanation": string, // Union field `_score` can be only one of the following: "score": number // End of list of possible types for union field `_score`. }

字段
`rubric`	`string` 仅限输出。用于评估对话的评分标准。
`scoreExplanation`	`string` 仅限输出。评分者对评分准则的回答。
联合字段 `_score`。 `_score` 只能是下列其中一项：
`score`	`number` 仅限输出。根据评分准则得出的对话得分。

TaskCompletionResult

JSON 表示法
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

字段
`label`	`string` 仅限输出。与每个分数关联的标签。1 分：任务已完成 0 分：任务未完成 -1 分：用户目标未定义
`explanation`	`string` 仅限输出。任务完成得分的说明。
联合字段 `_score`。 `_score` 只能是下列其中一项：
`score`	`integer` 仅限输出。任务完成得分。可以是 -1、0、1

UserGoalSatisfactionResult

JSON 表示法
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

字段
`label`	`string` 仅限输出。与每个分数关联的标签。得分 2：顺利转接；得分 1：用户任务已完成；得分 0：用户任务未完成；得分 -1：用户任务未指定
`explanation`	`string` 仅限输出。用户任务满意度得分的说明。
联合字段 `_score`。 `_score` 只能是下列其中一项：
`score`	`integer` 仅限输出。用户任务满意度得分。可以是 -1、0、1、2。

MilestoneResult

JSON 表示法
{ "milestone": { object (`Milestone`) }, "status": enum (`MilestoneStatus`), "justification": string }

字段

milestone

object (Milestone)

仅限输出。正在跟踪的里程碑。

status

enum (MilestoneStatus)

仅限输出。里程碑的当前状态。

justification

string

仅限输出。当前状态的理由。

里程碑

JSON 表示法
{ "goal": string, "maxTurnCount": integer, "successCriteria": string, "protocol": string, "staticUtterance": string, "event": { object (`Event`) } }

字段
`goal`	`string` 必需。里程碑的目标。
`maxTurnCount`	`integer` 可选。此里程碑的最大回合数。
`successCriteria`	`string` 可选。里程碑的成功标准。
`protocol`	`string` 可选。代理在对话期间应遵循的准则。
`staticUtterance`	`string` 可选。模拟器将准确发送的静态话语，而不是动态生成用户输入。
`event`	`object (Event)` 可选。要发送的事件输入，而不是动态生成。

事件

JSON 表示法
{ "event": string, "variables": { object } }

字段

event

string

必需。事件的名称。

variables

object (Struct format)

可选。与事件关联的其他变量。

EvaluationPersona

JSON 表示法
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (`SpeechConfig`) } }

字段
`name`	`string` 必需。角色的唯一标识符。格式：`projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}`
`description`	`string` 可选。角色的说明。
`displayName`	`string` 必需。角色的显示名称。在应用内是唯一的。
`personality`	`string` 必需。关于智能体在评估中应如何表现的指令。
`speechConfig`	`object (SpeechConfig)` 可选。角色声音的配置（TTS 设置）。

SpeechConfig

JSON 表示法
{ "speakingRate": number, "environment": enum (`BackgroundEnvironment`), "voiceId": string }

字段

speakingRate

number

可选。语速。1.0 表示正常。值越低，速度越慢（例如 0.8）；值越高，速度越快（例如 1.5）。这有助于测试智能体如何处理语速较快的对话者。

environment

enum (BackgroundEnvironment)

可选。模拟的音频环境。

voiceId

string

可选。要使用的特定语音标识符/口音。示例：“en-US-Wavenet-D”或“en-GB-Standard-A”

状态

JSON 表示法
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

字段

code

integer

状态代码，应为 google.rpc.Code 的枚举值。

message

string

面向开发者的错误消息（应采用英语）。任何向用户显示的错误消息都应进行本地化并通过 google.rpc.Status.details 字段发送，或者由客户端进行本地化。

details[]

object

包含错误详细信息的消息列表。有一组通用的消息类型可供 API 使用。

可以包含任意类型字段的对象。附加字段 "@type" 包含用于标示相应类型的 URI。示例：{ "id": 1234, "@type": "types.example.com/standard/id" }。

不限

JSON 表示法
{ "typeUrl": string, "value": string }

字段

typeUrl

string

使用 URI 引用标识序列化 Protobuf 消息的类型，该引用由以斜杠结尾的前缀和完全限定的类型名称组成。

示例：type.googleapis.com/google.protobuf.StringValue

此字符串必须至少包含一个 / 字符，并且最后一个 / 之后的内容必须是规范形式的类型的完全限定名称，不带前导点。请勿在这些 URI 引用上写入 scheme，以免客户端尝试与其联系。

前缀是任意的，Protobuf 实现应直接剥离最后一个 / 之前的所有内容（包括该），以识别类型。type.googleapis.com/ 是某些旧版实现所需的常见默认前缀。此前缀并不表示类型的来源，并且包含该前缀的 URI 不会响应任何请求。

所有类型网址字符串都必须是合法的 URI 引用，并具有额外的限制（对于文本格式），即引用的内容只能包含字母数字字符、百分比编码转义符以及以下集合中的字符（不包括外部反引号）：/-.~_!$&()*+,;=。尽管我们允许百分比编码，但实现不应将其取消转义，以免与现有解析器混淆。例如，type.googleapis.com%2FFoo 应被拒绝。

在 Any 的原始设计中，曾考虑过在这些类型网址上启动类型解析服务的可能性，但 Protobuf 从未实现过这种服务，并且认为与这些网址联系存在问题，可能存在安全隐患。请勿尝试联系类型网址。

value

string (bytes format)

包含 type_url 所描述类型的 Protobuf 序列化。

使用 base64 编码的字符串。

EvaluationMetricsThresholds

JSON 表示法

{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}

字段
`goldenEvaluationMetricsThresholds`	`object (GoldenEvaluationMetricsThresholds)` 可选。黄金评估指标阈值。
`hallucinationMetricBehavior (deprecated)`	`enum (HallucinationMetricBehavior)` 此项已弃用！可选。已弃用：请改用 `golden_hallucination_metric_behavior`。幻觉指标行为目前用于黄金评估。
`goldenHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 可选。黄金评估的幻觉指标行为。
`scenarioHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 可选。场景评估的幻觉指标行为。

GoldenEvaluationMetricsThresholds

JSON 表示法

{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}

字段

turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

可选。轮次级指标阈值。

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

可选。预期级别指标阈值。

toolMatchingSettings

object (ToolMatchingSettings)

可选。工具匹配设置。额外工具调用是指在执行过程中出现，但与黄金预期中的任何工具调用都不匹配的工具调用。

TurnLevelMetricsThresholds

JSON 表示法

{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}

字段
`semanticSimilarityChannel`	`enum (SemanticSimilarityChannel)` 可选。用于评估的语义相似度渠道。
联合字段 `_semantic_similarity_success_threshold`。 `_semantic_similarity_success_threshold` 只能是下列其中一项：
`semanticSimilaritySuccessThreshold`	`integer` 可选。语义相似度的成功阈值。必须是介于 0 到 4 之间的整数。默认值为 >= 3。

联合字段 `_overall_tool_invocation_correctness_threshold`。 `_overall_tool_invocation_correctness_threshold` 只能是下列其中一项：
`overallToolInvocationCorrectnessThreshold`	`number` 可选。工具调用整体正确性的成功阈值。必须是介于 0 到 1 之间的浮点数。默认值为 1.0。

ToolMatchingSettings

JSON 表示法
{ "extraToolCallBehavior": enum (`ExtraToolCallBehavior`) }

字段

extraToolCallBehavior

enum (ExtraToolCallBehavior)

可选。额外工具调用的行为。默认值为 FAIL。

EvaluationConfig

JSON 表示法

{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}

字段
`inputAudioConfig`	`object (InputAudioConfig)` 可选。用于处理输入音频的配置。
`outputAudioConfig`	`object (OutputAudioConfig)` 可选。用于生成输出音频的配置。
`evaluationChannel`	`enum (EvaluationChannel)` 可选。要评估的渠道。
`toolCallBehaviour`	`enum (EvaluationToolCallBehaviour)` 可选。指定评估应使用真实工具调用还是虚假工具。

InputAudioConfig

JSON 表示法
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

字段

audioEncoding

enum (AudioEncoding)

必需。输入音频数据的编码。

sampleRateHertz

integer

必需。输入音频数据的采样率（以赫兹为单位）。

noiseSuppressionLevel

string

可选。是否对输入音频启用噪音抑制。可用值为“low”（低）、“moderate”（中）、“high”（高）、“very_high”（极高）。

OutputAudioConfig

JSON 表示法
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer }

字段

audioEncoding

enum (AudioEncoding)

必需。输出音频数据的编码。

sampleRateHertz

integer

必需。输出音频数据的采样率（以赫兹为单位）。

span

JSON 表示法
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (`Span`) } ] }

字段
`name`	`string` 仅限输出。span 的名称。
`startTime`	`string (Timestamp format)` 仅限输出。span 的开始时间。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`endTime`	`string (Timestamp format)` 仅限输出。span 的结束时间。采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例：`"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"` 或 `"2014-10-02T15:01:23+05:30"`。
`duration`	`string (Duration format)` 仅限输出。Span 的时长。该时长以秒为单位，最多包含九个小数位，以“`s`”结尾。示例：`"3.5s"`。
`attributes`	`object (Struct format)` 仅限输出。与 span 关联的键值对属性。
`childSpans[]`	`object (Span)` 仅限输出。嵌套在此 span 下的子 span。

NullValue

表示 JSON null。

NullValue 是一个哨兵，使用仅有一个值的枚举来表示 Value 类型联合的 null 值。

NullValue 类型的字段如果包含 0 以外的任何值，则会被视为无效。大多数 ProtoJSON 序列化器都会发出一个 Value，其中 null_value 设置为 JSON null，而不管整数值如何，因此会往返于 0 值。

枚举
`NULL_VALUE`	Null 值。

ComparisonType

用于检查代理回答的支持比较类型。

枚举
`COMPARISON_TYPE_UNSPECIFIED`	未指定比较类型。对于智能体回答和工具调用，行为默认为 SEMANTIC_SIMILARITY。
`EQUALS`	字符串完全匹配。
`CONTAINS`	子字符串匹配（检查实际响应中是否包含预期字符串）。
`SEMANTIC_SIMILARITY`	语义相似度匹配（使用 LLM 评估含义相似度）。

结果

评估或预期的结果。

枚举
`OUTCOME_UNSPECIFIED`	未指定评估结果。
`PASS`	评估/预期已通过。在评估中，这意味着所有预期都得到了满足。
`FAIL`	评估/预期失败。在评估中，这意味着至少有一项预期未达到。
`SKIPPED`	已跳过评估/预期。

ErrorType

错误类型

枚举
`ERROR_TYPE_UNSPECIFIED`	未指明的错误类型。
`RUNTIME_FAILURE`	运行时执行期间失败。
`CONVERSATION_RETRIEVAL_FAILURE`	未能从 CES 运行时检索对话。
`METRIC_CALCULATION_FAILURE`	未能计算指标/结果。
`EVALUATION_UPDATE_FAILURE`	未能更新评估。
`QUOTA_EXHAUSTED`	配额已用尽。
`USER_SIMULATION_FAILURE`	用户模拟期间失败。

类型

span 的类型。未来可能会添加其他值。

枚举
`TYPE_UNSPECIFIED`	默认值。此值未使用。
`TOOL`	工具调用 span。
`USER_CALLBACK`	用户回调 span。
`GUARDRAIL`	保护措施 span。
`LLM`	LLM span。

MilestoneStatus

里程碑的状态。

枚举
`MILESTONE_STATUS_UNSPECIFIED`	未指定状态。
`NOT_STARTED`	里程碑尚未开始。
`IN_PROGRESS`	里程碑目前正在进行中。
`COMPLETED`	里程碑已成功完成。

BackgroundEnvironment

模拟音频环境。

枚举
`BACKGROUND_ENVIRONMENT_UNSPECIFIED`	未指定后台环境。
`CALL_CENTER`	呼叫中心环境。
`TRAFFIC`	交通噪音环境。
`KIDS_NOISE`	儿童噪音环境。
`CAFE`	咖啡馆环境。

ExecutionState

评估结果执行的状态。

枚举
`EXECUTION_STATE_UNSPECIFIED`	未指定评估结果执行状态。
`QUEUED`	评估结果执行已加入队列。
`RUNNING`	评估结果执行正在运行。
`COMPLETED`	评估结果执行已完成。
`ERROR`	由于内部错误，评估结果执行失败。
`CANCELLED`	评估结果执行已取消。

SemanticSimilarityChannel

要使用的语义相似度渠道。

枚举
`SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED`	未指定指标。默认值为 TEXT。
`TEXT`	使用文本语义相似度。
`AUDIO`	使用音频语义相似度。

ExtraToolCallBehavior

定义遇到额外工具调用时的行为。额外工具调用是指在执行过程中出现，但与黄金预期中的任何工具调用都不匹配的工具调用。

枚举
`EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED`	未指定行为。默认值为 FAIL。
`FAIL`	如果遇到额外的工具调用，则评估失败。
`ALLOW`	允许额外的工具调用。

HallucinationMetricBehavior

幻觉指标行为。无论行为如何，系统始终会计算该指标。区别在于，停用后，该指标不会用于计算总体评估得分。

枚举
`HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED`	未指定幻觉指标行为。
`DISABLED`	停用幻觉指标。
`ENABLED`	启用幻觉指标。

AudioEncoding

AudioEncoding 指定音频数据的编码格式。

枚举
`AUDIO_ENCODING_UNSPECIFIED`	未指定音频编码。
`LINEAR16`	16 位线性 PCM 音频编码。
`MULAW`	8 位采样，使用 G.711 PCMU/mu-law 压缩 14 位音频采样。
`ALAW`	使用 G.711 PCMU/A-law 压缩 14 位音频样本的 8 位样本。

EvaluationChannel

要评估的渠道。

枚举
`EVALUATION_CHANNEL_UNSPECIFIED`	未指定评估渠道。
`TEXT`	纯文本评估渠道。
`AUDIO`	音频评估渠道。

EvaluationToolCallBehaviour

配置评估运行的工具调用行为。

枚举
`EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED`	未指定工具调用行为。默认情况下，将进行实际工具调用。
`REAL`	使用实际工具调用。
`FAKE`	使用虚假工具调用。

GoldenRunMethod

用于运行评估的方法。

枚举
`GOLDEN_RUN_METHOD_UNSPECIFIED`	未指定运行方法。
`STABLE`	以稳定重放的形式运行评估，其中每个轮次都是一个独特的会话，并将之前的预期轮次作为上下文注入。
`NAIVE`	以简单重放的形式运行评估，其中运行是单个会话，不注入任何上下文。

OutcomeMetadata

有关评估结果的元数据。

枚举
`OUTCOME_METADATA_UNSPECIFIED`	未指定结果元数据。
`GRACEFUL_HANDOFF`	评估结果是顺利转接给人工客服。

工具注释

工具注解会发送到 MCP 客户端，用于描述给定工具的基本风险。大多数客户端会将这些提示视为不可信，但可用于决定何时向用户发送确认提示。

除了标题字符串之外，还定义了以下布尔值提示：

readOnlyHint：如果为 true，则该工具不会修改其环境。默认值：false。
destructiveHint：如果为 true，则该工具可以执行破坏性操作。如果为 false，则该工具只能执行添加操作。默认值：true。
idempotentHint：如果为 true，则使用相同参数重复调用该工具不会对其环境产生额外影响。默认值：false。
openWorldHint：如果为 true，则该工具可以与外部实体的“开放世界”进行交互。如果为 false，则该工具只能与内部实体交互。例如，网页搜索工具是开放世界，而记忆工具不是开放世界。

破坏性提示：❌ | 等幂性提示：✅ | 只读提示：✅ | 开放世界提示：❌

MCP Tools Reference: ces.googleapis.com 使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

工具：get_evaluation_result

输入架构

GetEvaluationResultRequest

输出架构

EvaluationResult

GoldenResult

TurnReplayResult

GoldenExpectationOutcome

ToolCall

ToolsetTool

结构体

FieldsEntry

值

ListValue

ToolResponse

消息

块

Blob

映像

AgentTransfer

时间戳

GoldenExpectation

ExpectationLevelMetricsThresholds

SemanticSimilarityMetricsConfig

HallucinationMetricsConfig

SemanticSimilarityResult

ToolInvocationResult

HallucinationResult

时长

ToolCallLatency

OverallToolInvocationResult

EvaluationErrorInfo

SpanLatency

EvaluationExpectationResult

ScenarioResult

UserFact

ScenarioExpectationOutcome

ObservedToolCall

ScenarioExpectation

ToolExpectation

ScenarioRubricOutcome

TaskCompletionResult

UserGoalSatisfactionResult

MilestoneResult

里程碑

事件

EvaluationPersona

SpeechConfig

状态

不限

EvaluationMetricsThresholds

GoldenEvaluationMetricsThresholds

TurnLevelMetricsThresholds

ToolMatchingSettings

EvaluationConfig

InputAudioConfig

OutputAudioConfig

span

NullValue

ComparisonType

结果

ErrorType

类型

MilestoneStatus

BackgroundEnvironment

ExecutionState

SemanticSimilarityChannel

ExtraToolCallBehavior

HallucinationMetricBehavior

AudioEncoding

EvaluationChannel

EvaluationToolCallBehaviour

GoldenRunMethod

OutcomeMetadata

工具注释

MCP Tools Reference: ces.googleapis.com

工具：`get_evaluation_result`