Model Armor 可与 Google Cloud 服务集成,以保护 AI 和大语言模型 (LLM) 交互。Model Armor 可识别并报告潜在的违规行为,并可根据安全评估主动阻止操作。
何时使用 Model Armor 集成
以下是一些常见使用场景:
- 保护 API 网关流量:使用 Apigee 或 Agent Gateway 在网关层拦截恶意请求和响应,以保护后端 AI 端点。
- 强制执行内嵌模型保护:直接在 Agent Platform、Gemini 和 Gemini Enterprise 工作流中过滤提示和回答流,无需自定义封装容器代码。
- 集中管理安全运维和提醒:将发现结果和违规事件直接路由到 Security Command Center,以便进行统一的威胁监控。
- 保障智能体互动:为集成式企业架构中的对话智能体和工具调用提供防护措施。
支持的模态
Model Armor 可以扫描和清理的模态取决于您访问该服务的方式:
- 直接 REST API:Model Armor REST API 支持所有模态,包括文本、文档和图片。如需了解详情,请参阅对提示和回答进行清理和屏蔽图片。
- 与其他服务集成:Gemini Enterprise 集成支持文档和图片,包括上传的文档中包含的图片。所有其他 Model Armor 集成仅扫描和排查文本。
如需详细了解支持的文档类型和大小限制,请参阅文档筛查。
支持的服务
本部分介绍了可与 Model Armor 集成的 Google Cloud 服务。
Agent Gateway
将 Model Armor 与 Agent Gateway 集成,以便对进出由该网关治理的所有智能体的流量强制执行安全政策。通过此集成,您可以内嵌检查和屏蔽恶意或不合规内容。此集成旨在提高工作流安全性并遵守组织安全准则,而无需修改应用代码。此保护措施适用于入站(到代理)和出站(从代理)路径上支持的协议。如需了解详情,请参阅与 Agent Gateway 集成。
Apigee
通过 Model Armor 和 Apigee 集成,您可以直接在 Apigee API 网关层中使用 Model Armor 的 AI 保护功能。您可以在 Apigee API 代理中配置特定的 Model Armor 政策。当 API 调用通过具有这些政策的 Apigee 代理时,Apigee 会将提示和回答发送到 Model Armor 服务进行检查。如需了解详情,请参阅与 Apigee 集成。
Gemini Enterprise
Model Armor 可通过模板直接与 Gemini Enterprise 集成。Gemini Enterprise 会通过 Model Armor 路由用户、智能体和底层 LLM 之间的互动(包括文本、文档和图片),以便在向用户呈现回答之前进行检查。如需了解详情,请参阅与 Gemini Enterprise 集成。
Google 和 Google Cloud MCP 服务器
您可以配置 Model Armor,以便在向公开 Model Context Protocol (MCP) 工具和服务器的 Google Cloud 服务发送请求时,帮助保护您的数据和内容。Model Armor 使用下限设置对 MCP 工具调用和响应进行清理,从而帮助保护您的智能体 AI 应用。此过程可降低提示词注入和敏感数据披露等风险。如需了解详情,请参阅与 Google 和 Google Cloud MCP 服务器集成。
Service Extensions
Model Armor 可通过 Service Extensions 与 Google Cloud 网络服务集成。借助 Service Extensions,您可以集成 Google Cloud 服务或用户管理的托管式服务来处理流量。您可以在应用负载均衡器上配置服务扩展程序,以筛查各种 AI 互动(例如与智能体和 MCP 服务器的互动)的网络流量。您还可以将服务扩展程序与 GKE 推理网关搭配使用,以筛查进出 GKE 集群的流量。这样做有助于确保通过负载均衡器的所有 AI 互动都受 Model Armor 保护。如需了解详情,请参阅与 Google Cloud 网络服务集成。
Gemini Enterprise Agent Platform
Model Armor 可以使用下限设置或模板直接集成到 Gemini Enterprise Agent Platform 中。此集成会过滤 Gemini 模型请求和回答,并阻止违反下限设置的请求和回答。此集成功能可为 generateContent 方法提供 Vertex AI 中的 Gemini API 中的提示和回答保护。此集成不支持对包含文档或图片的提示和回答进行排查。您需要启用 Cloud Logging,才能查看提示和回答的清理结果。如需了解详情,请参阅与 Gemini Enterprise Agent Platform 集成。
准备工作
启用 API
您必须先启用 Model Armor API,然后才能使用 Model Armor。
控制台
gcloud
在开始之前,请使用 Google Cloud CLI 和 Model Armor API 按照以下步骤操作:
安装 Google Cloud CLI,然后使用联合身份登录 gcloud CLI。 登录后,运行以下命令来初始化 Google Cloud CLI:
gcloud init启用 Model Armor API(如果尚未启用):
启用 API 所需的角色
如需启用 API,您需要拥有
serviceusage.services.enable权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 获得了此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。gcloud services enable modelarmor.googleapis.com
使用 gcloud CLI 设置 API 端点替换
只有在您将 gcloud CLI 与 Model Armor 搭配使用,并且想要使用默认 us 多区域以外的区域或多区域时,才需要执行此步骤。您必须手动设置 API 端点替换,以确保 gcloud CLI 正确地将请求路由到 Model Armor 服务。
运行以下命令,为 Model Armor 服务设置 API 端点。
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
将 LOCATION 替换为您要使用 Model Armor 的区域或多区域。
管理配额
Model Armor 使用配额系统来确保公平使用并保护系统稳定性。Model Armor API 的默认配额为每个项目 1,200 QPM。您可以为每个项目应用 0 到 1,200 QPM 的值。如需申请调整,请参阅申请配额调整。如果您需要的配额超过默认配额,请与 Cloud Customer Care 联系。
与其他服务集成时,Model Armor 配额需要考虑重要事项。您需要关注的主要配额是每个项目每分钟的 API 请求数。
将 Model Armor 与其他服务集成时,请考虑以下配额类型。
- Model Armor 默认配额:当服务调用 Model Armor API 进行分析(例如检查提示或回答)时,会消耗项目的 Model Armor API 配额。
- 集成服务配额:Model Armor 配额与集成服务关联的任何配额分开。您需要确保请求路径中的所有服务都有足够的配额。为应用清理内容而对 Model Armor API 发出的任何调用都会计入 Model Armor API 配额限制。
发现配额不足的情况
如果应用日志显示 Model Armor 错误(通常是 HTTP 429 RESOURCE_EXHAUSTED 错误,表示请求过多),则表示您已达到 Model Armor 配额限制。
估算配额需求
如需确定要申请的 Model Armor 配额,请执行以下操作:
- 估算您的服务每分钟向 Model Armor 发送的请求数峰值。
- 考虑用户每次与您的服务互动时调用 Model Armor 的次数(例如,提示调用一次,回答调用一次)。
- 考虑并发用户或会话数量上限。
- 申请具有合理缓冲(例如,比预期峰值高 20-30%)的配额,以应对意外峰值。
- 首先进行最佳估算,在发布后密切监控用量,并根据需要请求进一步调整。
例如,如果您预计每分钟有 500 位用户,并且每次用户互动都会调用 Model Armor 两次(提示和回答),则您至少需要 1,000 QPM。 考虑到缓冲因素,请求 1,200-1,300 QPM 是一个不错的起点。
注意事项
与其他服务集成时,请考虑以下事项:
- 请务必监控和管理其他服务的配额。即使您有足够的 Model Armor 配额,其他服务的配额用尽也会影响您的应用。
- 在应用设置中实现具有指数退避算法的客户端重试,以处理暂时性配额问题或其他可重试的错误。如需了解详情,请参阅重试策略。
违规处置类型
将 Model Armor 与其他服务集成时,需要配置的一个关键方面是强制执行类型。此设置决定了 Model Armor 在其检查的数据(例如 LLM 提示或回答)中检测到潜在违规行为时如何采取行动。违规处置类型决定了 Model Armor 是仅报告违规行为,还是主动干预。如需了解详情,请参阅定义强制执行类型。
使用 REST API 进行集成
使用 REST API 进行集成时,Model Armor 仅作为使用模板的检测器运行。它会根据预定义的模板识别和报告潜在的违规行为,而不会主动阻止这些行为。在与 Model Armor API 集成后,您的应用可以使用 Model Armor 的输出,根据提供的安全评估结果来阻止或允许操作。Model Armor API 会返回与您的 API 流量相关的潜在威胁或违规行为信息,尤其是在与 AI 互动的情况下。您的应用可以调用 Model Armor API,并使用响应中收到的信息来根据预定义的自定义逻辑做出决策并采取相应措施。
集成 Model Armor 时的选项
Model Armor 提供以下集成选项。每种方案都提供不同的特性和功能。
| 集成选项 | 配置检测 | 支持的模态 | 仅检查 | 检查并屏蔽 | 覆盖率 |
|---|---|---|---|---|---|
| Agent Gateway | 仅使用模板 | 文本 | 是 | 是 | 所有模型和所有云 |
| Apigee | 仅使用模板 | 文本 | 是 | 是 | 所有模型和所有云2 |
| Gemini Enterprise | 仅使用模板 | 文本、文档、图片 | 是 | 是 | 所有模型和所有云2 |
| Google 和 Google Cloud MCP 服务器 | 仅使用下限设置 | 文本 | 是 | 是 | Google 和 Google Cloud MCP 服务器 |
| Service Extensions | 仅使用模板 | 文本 | 是 | 是 | 所有云端2的 OpenAI 格式模型1、智能体和 MCP 服务器 |
| Gemini Enterprise Agent Platform | 同时使用下限设置和模板 | 文本 | 是 | 是 | Gemini 模型(非流式传输) |
1多个热门模型(包括 Anthropic Claude、Mistral AI 和 Grok)都支持 OpenAI 规范。这些模型通常使用 vLLM 等推理引擎进行部署,这些引擎提供必要的 OpenAI 兼容 API 层。vLLM 支持多种模型,包括 Meta Llama 系列、DeepSeek、Mistral 和 Mixtral 系列以及 Gemma。
2包括 AWS 和 Azure 等其他公有云。
借助 Gemini Enterprise Agent Platform 集成,Model Armor 可使用下限设置或模板提供内嵌强制执行。内嵌政策执行功能让 Model Armor 能够直接介入流程来主动执行政策,而无需修改应用代码。
Service Extensions 和 Gemini Enterprise 集成仅使用模板来强制执行内嵌政策。通过内嵌政策强制执行,Model Armor 可以直接强制执行政策,而无需您在 Service Extensions 中以及在 Gemini Enterprise 实例内的用户或智能体互动期间修改应用代码。
Model Armor 与 Gemini Enterprise、Agent Runtime 和 Apigee 的集成会清理初始用户提示、最终智能体或模型回答,以及中间步骤(例如接地数据和网页搜索工具返回的回答)。如果检索到的接地数据或中间载荷违反了您配置的 Model Armor 模板或 Sensitive Data Protection 政策,则请求会被屏蔽,并记录为 SANITIZE_USER_PROMPT 操作类型。
Security Command Center 中的 Model Armor
Model Armor 会检查 LLM 提示和回答是否存在各种威胁,包括提示注入、越狱尝试、恶意网址和有害内容。当 Model Armor 检测到违反已配置的下限设置时,它会屏蔽提示或回答,并向 Security Command Center 发送发现结果。如需了解详情,请参阅 Model Armor 发现结果。