监控内容安全

本文档介绍了如何查看 Model Armor受支持的 AI 智能体的内容安全数据分析。

Model Armor 会对请求和回答进行过滤,以防范各类安全风险,例如间接提示注入攻击、敏感数据泄露以及生成或提供有害内容。如需了解详情,请参阅 Model Armor

您可以在以下级别查看 Model Armor 运行的结果:

准备工作

  1. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  2. 在项目中的一个或多个网关上 配置 Model Armor。
  3. 如需监控与 Google Cloud MCP 服务器通信的智能体,请使用 MCP 服务器配置 Model Armor
  4. 为智能体设置跟踪

所需角色

如需获得监控内容安全违规行为所需的权限,请让管理员向您授予项目的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

这些预定义角色包含 监控内容安全违规行为所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

监控内容安全违规行为需要以下权限:

  • monitoring.monitoredResourceDescriptors.list
  • monitoring.metricDescriptors.list

您也可以使用自定义角色或其他预定义角色来获取这些权限。

支持的智能体

安全性 标签页仅填充以下智能体的 Model Armor 数据分析:

查看项目中受支持的 AI 智能体的内容数据分析(顶层视图)

如需查看项目中所有受支持的 AI 智能体的内容安全数据分析,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Gemini Enterprise Agent Platform 安全性 标签页。

    前往“安全性”

  2. 选择您的项目。

如果您在项目中拥有受支持的 AI 智能体,但未在安全性标签页上看到内容安全数据分析,请确保已为智能体设置跟踪

查看 AI 智能体的内容数据分析(智能体级视图)

如需查看受支持的智能体的内容安全数据分析,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Agent Registry。

    前往 Agent Registry

  2. 选择您的项目。
  3. 点击智能体的名称。
  4. 点击安全性 标签页。

查看被标记或被阻止的互动次数

前往顶层智能体级 安全性 标签页。

安全性 标签页上,查看互动次数,包括被标记和被阻止的互动次数。安全性 标签页显示以下指标:

  • 互动总数:Model Armor 分析的提示和回答总数 。
  • 被标记的互动次数:违反 Model Armor 模板或下限设置中配置的政策的互动次数。
  • 被阻止的互动次数:如果您在 INSPECT_AND_BLOCK 模式下配置了 Model Armor,则被阻止的互动次数。这些被阻止的互动违反了下限设置或模板。

监控内容安全违规行为

前往顶层智能体级 安全性 标签页。

违规行为随时间变化 图表中,监控检测到的违规行为数量随时间的变化。

检测到的违规行为分为以下几类:

  • 提示注入和越狱:内容违规行为,表明存在包含恶意命令或越狱尝试的提示。如需了解详情,请参阅 提示注入和越狱检测
  • 恶意网址:内容违规行为,表明存在恶意网址。如需了解详情,请参阅恶意网址 检测
  • Responsible AI:由安全过滤条件检测到的内容违规行为,例如 骚扰和仇恨言论。如需查看 Responsible AI 类别的完整列表, 请参阅 Responsible AI 安全 过滤条件
  • 敏感数据:涉及存在 敏感信息类型自定义信息 类型的内容违规行为。如需了解详情, 请参阅 Sensitive Data Protection

如需详细了解这些检测器,请参阅 Model Armor 过滤条件

找出违规行为最多的智能体

前往顶层 安全性 标签页。

安全性 标签页会显示违规行为最多的前 10 个智能体。该列表会显示每个智能体的智能体 ID 以及为该智能体检测到的违规行为数量。

如需查看列表中特定智能体的 Model Armor 数据分析,请前往 Agent Registry,按智能体的智能体 ID 搜索智能体。然后,前往该智能体的 智能体级 安全性 标签页。

前往 Agent Registry

使用 SQL 查询和分析遥测数据

如需查询和分析 Model Armor 中的遥测数据,请使用 Observability Analytics,它提供基于 SQL 的查询界面。

  1. 前往顶层 安全性 标签页。
  2. 对于要查询的视图,依次点击 更多图表选项 > 在 Observability Analytics 中探索 。

如需了解有关如何使用 Observability Analytics 的一般说明,请参阅 使用 Observability Analytics 查询和分析遥测数据

将违规行为数据下载到 PNG 或 CSV 文件

如需将违规行为数据下载到 PNG 或 CSV 文件,请按以下步骤操作:

  1. 安全性 标签页上的违规行为随时间变化 视图中,选择要下载数据的时段。
  2. 依次点击 更多图表选项 > 下载
  3. 点击下载 PNG下载 CSV ,以您喜欢的格式下载数据。

后续步骤

指南

了解 Model Armor 的审核日志记录。

指南

了解如何为 Model Armor 配置日志记录。

问题排查

了解如何排查 Model Armor 问题。