您可以将 Model Armor 与 Apigee 集成,以增强 AI 应用的安全性。通过在 AI 应用前面使用 Apigee 作为 API 网关,您可以利用 Model Armor 的功能来过滤和清理发送到应用的输入内容以及收到的回答。
概览
您可以将 Model Armor 政策集成到 Apigee API 代理中,以便为 AI 应用提供增强的控制和保护。例如,您可以使用 Apigee 强制执行令牌级配额,以限制用户或应用每天最多使用的令牌数量。使用 LLMTokenQuota 和 PromptTokenLimit 可精确控制令牌用量。这些政策有助于管理费用、阻止滥用行为,并通过防止用量突然飙升来稳定流量。
限制
将 Model Armor 与 Apigee 集成时,请考虑以下限制:
- 区域可用性:并非所有区域都提供 Model Armor。请确保 Apigee 和 Model Armor 在同一区域中配置。请参阅 Model Armor 的位置。
- Quota:高流量可能需要增加 Model Armor 的配额。如需申请调整,请参阅申请配额调整。如果您需要的配额高于默认配额,请与 Cloud Customer Care 联系。如需了解与 Model Armor 集成其他服务相关的配额,请参阅管理配额。
- token 限制:Model Armor 在处理提示和回答时有 token 限制,具体取决于过滤条件。超出这些限制的内容可能无法得到全面扫描。
准备工作
- 在项目中启用 Model Armor API。
- 验证您的 Google Cloud 项目是否已启用结算功能。
- 确认您的 Apigee 实例中有全面环境。您只能在全面环境中部署 Model Armor 政策。
- 确认您已预配有效的 Apigee 组织。
如需在 Apigee 中创建和使用 Model Armor 政策,您必须拥有特定角色。如需了解所需角色,请参阅 Apigee 角色。
工作原理
该集成使用两种主要的 Apigee 政策:
SanitizeUserPrompt:将此政策添加到 API 代理的请求流程中。它会拦截所有传入请求,并在这些请求到达 AI 应用之前将其发送给 Model Armor 进行检查。如需了解详情,请参阅SanitizeUserPrompt政策。SanitizeModelResponse:将此政策添加到响应流程。它会拦截来自 AI 应用的响应,并将其发送到 Model Armor 进行检查,然后再将响应发送到客户端。如需了解详情,请参阅SanitizeModelResponse政策。
Model Armor 会根据有效 Model Armor 模板中定义的规则评估内容。根据评估结果和设置的强制执行类型,Apigee 会允许、阻止或隐去请求或回答。如果请求或回答被隐去,请使用流变量提取隐去的数据,并将其传递给 LLM。
首先,请使用 Apigee 控制台中的内置 Proxy with Model Armor 代理模板。此模板会自动添加可选的 SanitizeUserPrompt 和 SanitizeModelResponse 配置。
创建具有 Model Armor 政策的 Apigee API 代理
- 创建服务账号以部署 API 代理。
- 创建 Apigee API 代理。
- 修改
SanitizeUserPrompt和SanitizeModelResponseXML。您必须修改这些政策的 XML,才能使 Model Armor 正常运行。 - 向 API 代理添加 Google 身份验证。
- 部署 API 代理。
- 测试 Model Armor 政策。
如需详细了解配置和使用,请参阅 Apigee Model Armor 政策使用入门。