REST Resource: projects.locations.apps.evaluations

资源:Evaluation

评估代表模拟和评估智能体所需的所有信息。

JSON 表示法
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
字段
name

string

标识符。此评估的唯一标识符。格式:projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}

displayName

string

必需。用户定义的评估显示名称。在应用内是唯一的。

description

string

可选。用户定义的评估说明。

tags[]

string

可选。用于对评估进行分类的用户定义标签。

evaluationDatasets[]

string

仅限输出。评估所属的评估数据集列表。格式:projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}

createTime

string (Timestamp format)

仅限输出。创建评估时的时间戳。

采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例:"2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。

createdBy

string

仅限输出。创建评估的用户。

updateTime

string (Timestamp format)

仅限输出。上次更新评估时的时间戳。

采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例:"2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。

lastUpdatedBy

string

仅限输出。上次更新评估的用户。

evaluationRuns[]

string

仅限输出。与此评估关联的 EvaluationRun。

etag

string

仅限输出。用于确保对象在读取-修改-写入操作期间未发生更改的 Etag。如果 etag 为空,则更新将覆盖所有并发更改。

aggregatedMetrics

object (AggregatedMetrics)

仅限输出。此评估在所有运行作业中的汇总指标。

lastCompletedResult

object (EvaluationResult)

仅限输出。此评估的最新评估结果。

invalid

boolean

仅限输出。评估是否无效。如果评估引用的工具、工具集或代理已被删除,就可能会发生这种情况。

lastTenResults[]

object (EvaluationResult)

仅限输出。此评估的最后 10 个评估结果。仅当 ListEvaluationsRequest 或 GetEvaluationRequest 中的 include_last_ten_results 设置为 true 时,系统才会填充此字段。

evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

可选。替换此特定评估的指标阈值。

evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

可选。替换此特定评估的指标配置。

评估的输入。以下是互斥字段的列表。在响应中,最多只能设置以下字段之一:
golden

object (Evaluation.Golden)

可选。要评估的黄金步骤。

scenario

object (Evaluation.Scenario)

可选。场景的配置。

互斥字段结束。

Evaluation.Golden

重放黄金对话所需的步骤。

JSON 表示法
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
字段
turns[]

object (Evaluation.GoldenTurn)

必需。重放黄金对话所需的黄金轮次。允许的最大轮数为 100。

evaluationExpectations[]

string

可选。用于评估重放对话的评估预期。格式:projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

黄金轮次定义了黄金对话中的单个轮次。

JSON 表示法
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
字段
steps[]

object (Evaluation.Step)

必需。重放黄金对话所需的步骤。

rootSpan

object (Span)

可选。用于处理和维护音频信息的黄金轮次根 span。音频的 URI 必须包含以 16Khz 采样率保存的音频。

turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

可选。替换轮次级指标阈值。

hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

可选。替换轮次级幻觉指标行为。

Evaluation.Step

步骤定义了评估期间要执行的单个操作。

JSON 表示法
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
字段
要执行的步骤。以下是互斥字段的列表。在响应中,最多只能设置以下字段之一:
userInput

object (SessionInput)

可选。对话的用户输入。

agentTransfer

object (AgentTransfer)

可选。将对话转接给其他客服人员。

expectation

object (Evaluation.GoldenExpectation)

可选。对当前轮次执行预期。

互斥字段结束。

SessionInput

会话的输入。

JSON 表示法
{
  "willContinue": boolean,
  "recordingControl": enum (SessionInput.RecordingControl),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
字段
willContinue

boolean

可选。一个标志,用于指示当前消息是否为双向流式传输会话中较大输入的一部分。

如果设置为 true,智能体会推迟处理,直到收到 willContinue 为 false 的后续消息,或者直到系统在音频输入中检测到端点。

注意:此字段不适用于音频和 DTMF 输入,因为它们始终会根据端点信号自动处理。

recordingControl

enum (SessionInput.RecordingControl)

可选。是否可以从此处开始录制和记录对话。

当应用(而非代理)决定可以保留哪些内容时,请使用此选项:例如,在存储与通话相关的任何内容之前,最终用户必须同意录音。

该值会一直有效,直到客户端发送其他值,因此只需在答案发生变化时发送。在对话轮次完成时,系统会根据当时生效的设置来决定该轮次的处理方式,包括其音频是否会进入录音存储桶,以及其转写内容是否会进入对话记录、BigQuery 和 Cloud Logging。它涵盖了代理和最终用户在对话轮次中的表现。

在客户端首次发送此字段之前完成的回合会根据应用的日志记录设置进行记录,就好像该字段不存在一样。

如果同一请求中的多个输入都设置了此字段,则最后一个输入会生效。

输入类型。以下是互斥字段的列表。在响应中,最多只能设置以下字段之一:
text

string

可选。来自最终用户的文本数据。

dtmf

string

可选。最终用户输入的 DTMF 数字。

audio

string (bytes format)

可选。来自最终用户的音频数据。

使用 base64 编码的字符串。

toolResponses

object (ToolResponses)

可选。客户端工具调用的执行结果。

image

object (Image)

可选。来自最终用户的图片数据。

blob

object (Blob)

可选。来自最终用户的 Blob 数据。

variables

object (Struct format)

可选。会话的上下文变量,按名称键控。CES 代理只会使用在应用中声明的变量。

无法识别的变量仍将作为额外的会话参数发送到 [Dialogflow 代理][Agent.RemoteDialogflowAgent]。

event

object (Event)

可选。事件输入。

互斥字段结束。

ToolResponses

客户端请求的工具调用的执行结果。

JSON 表示法
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
字段
toolResponses[]

object (ToolResponse)

可选。工具执行结果列表。

SessionInput.RecordingControl

应用做出的决定可能会被记录和记入日志。

此枚举可扩展;未来可能会添加新值。

枚举
RECORDING_CONTROL_UNSPECIFIED 应用未控制录制。应用的日志记录设置会决定是否记录,就像对从未设置此字段的每个会话一样。
RECORDING_ENABLED 从现在开始,对话可能会被录音和记录。
RECORDING_DISABLED 从现在起,对话可能不会被录制或记录。

Evaluation.Scenario

场景的配置

JSON 表示法
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "milestones": [
    {
      object (Evaluation.Scenario.Milestone)
    }
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
字段
task

string

必需。场景要定位的任务。

userFacts[]

object (Evaluation.Scenario.UserFact)

可选。场景要使用的用户事实。

maxTurns

integer

可选。要模拟的最大轮数。允许的最大值为 100。默认值为 100。

rubrics[]

string

必需。用于对场景进行评分的评分准则。

scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

必需。ScenarioExpectations,用于评估用户模拟生成的对话。

variableOverrides

object (Struct format)

可选。作为会话上下文的变量/会话参数,以变量名称作为键。此结构体的成员将覆盖系统设置的所有默认值。

请注意,这些事实与用户事实不同,后者是用户已知的事实。变量是代理已知的参数,例如由手机系统传递的 MDN(手机号码)。

taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

可选。已弃用。请改用 userGoalBehavior。

userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

可选。用户目标的预期行为。

evaluationExpectations[]

string

可选。评估预期,用于评估模拟生成的对话。格式:projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

milestones[]

object (Evaluation.Scenario.Milestone)

可选。此场景的里程碑。

scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

可选。场景评估的执行模式。

Evaluation.Scenario.TaskCompletionBehavior

用户任务的预期行为。这用于确定场景是否成功。

枚举
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED 未指定行为。默认值为 TASK_SATISFIED。
TASK_SATISFIED 用户任务应成功完成。
TASK_REJECTED 用户任务应被拒绝。

Evaluation.Scenario.UserGoalBehavior

用户目标的预期行为。这用于确定场景是否成功。

枚举
USER_GOAL_BEHAVIOR_UNSPECIFIED 未指定行为。默认值为 USER_GOAL_SATISFIED。
USER_GOAL_SATISFIED 用户目标应成功完成。
USER_GOAL_REJECTED 应拒绝该用户目标。
USER_GOAL_IGNORED 忽略用户目标状态。

方法

create

创建评估。

delete

删除评估。

export

导出评估。

get

获取指定评估的详细信息。

list

列出指定应用中的所有评估。

patch

更新评估。

uploadEvaluationAudio

上传音频以用于黄金评估。