保护措施

安全护栏是一系列检查和平衡机制,可帮助保护智能体应用并确保其安全无忧。 它们针对模型输入和模型输出都提供了内容限制。 每个代理应用都提供默认安全屏障,您可以根据需要修改这些安全屏障。 如需访问代理应用的安全屏障,请点击代理构建器右侧的安全屏障按钮。

结果

每种类型的安全措施都包含一个效果设置。 此属性用于控制触发保护措施时会发生什么情况。 您可以从以下类型的操作中进行选择:

  • 准确地说: 提供准确的智能体回答。

  • 移交给智能体:将控制权移交给特定智能体。

  • 生成回答: 提供生成回答的说明。 系统会为您提供默认值,您可以覆盖该值以进行自定义。

提示保护

提示防护可提供基本保护,抵御基于提示的攻击,例如“忽略你的指令并…”。 以下设置可供选择:

  • 启用提示保护功能:启用或停用提示卡片。
  • 结果:请参阅结果
  • 自定义:为筛选查询提供自定义安全提示。

屏蔽名单

屏蔽清单可防止用户和智能体使用某些字词和短语。 创建列表时,您可以使用以下设置:

  • 智能体应如何匹配已屏蔽的内容?: 这样一来,您就可以选择匹配方法:
    • 全字匹配:匹配整个字词。
    • 任何提及:匹配包含字词和短语的内容。
    • 正则表达式模式:与正则表达式匹配。
  • 屏蔽的字词和短语:屏蔽的字词和短语的列表,其中每个条目都以英文逗号分隔。
  • 屏蔽的内容来自: 屏蔽来自以下一个或两个平台的内容:
    • 根据用户输入
    • 智能体回答
  • 结果:请参阅结果
  • 详细信息: 为此屏蔽列表提供名称和说明(可选)。

安全

这些是用于强制执行 Responsible AI 实践的护栏。 您可以使用以下设置:

  • 安全级别: 选择安全级别:
    • 宽松:优先考虑灵活的生成和低延迟。 切勿使用非法或有害的提示。 始终屏蔽明确有害的内容。
    • 平衡: 优先考虑与客户进行安全自然的互动。 始终停止不安全的内容。 切勿与有害提示互动。
    • 严格:优先过滤严重有害内容。 绝不允许生成包含敏感元素的内容。 始终拒绝有害提示。
  • 结果:请参阅结果
  • 自定义:单独调整或停用特定安全防护措施的安全级别。

规则

使用规则构建自己的防护措施。 您可以使用以下设置:

  • 行为: 选择以下选项之一来定义规则:
    • 自然:提供自然语言指令。
    • 代码: 提供 after_model_callback 回调的代码。
  • 结果:请参阅结果
  • 详细信息: 为此规则提供名称和说明(可选)。

主管代理

您可以配置监控代理,以监控当前与最终用户互动的活跃代理的性能。监督代理可确保活动代理正确调用工具并保持良好的音质。 如果监督代理检测到问题,它可以触发结果,与其他安全措施类似。

您还可以在监控信息中心内查看主管代理触发事件。

您可以配置以下主管代理:

  • 音质监督器:用于监控音质,包含以下设置:

    • 名称:监督代理名称。
    • 备注:可选备注。
    • 检测模式:阻塞(在监督代理完成评估之前,阻止活动代理响应)或非阻塞(在监督代理继续评估的同时,活动代理继续运行)。
    • 问题类型: 选择以下问题类型之一:

      • 音频不匹配:生成的音频与生成的文本不匹配。
      • 说话人变化:合成语音随时间变化而发生变化。
      • 缺少工具调用:模型本应在给定的对话上下文中进行工具调用,但未能做到。
    • 结果:请参阅结果

  • 错过的工具调用监督器:此监督器会监控错过的工具调用,并包含以下设置:

    • 名称:监督代理名称。
    • 备注:可选备注。
    • 检测模式:阻塞(在监督代理完成评估之前,阻止活动代理响应)或非阻塞(在监督代理继续评估的同时,活动代理继续运行)。
    • 结果:请参阅结果