将 Model Armor 与 Apigee 集成

您可以将 Model Armor 与 Apigee 集成,以增强 AI 应用的安全性。通过在 AI 应用前面使用 Apigee 作为 API 网关,您可以利用 Model Armor 的功能来过滤和清理发送到应用的输入内容以及收到的回答。

概览

您可以将 Model Armor 政策集成到 Apigee API 代理中,以便为 AI 应用提供增强的控制和保护。例如,您可以使用 Apigee 强制执行令牌级配额,以限制用户或应用每天最多使用的令牌数量。使用 LLMTokenQuotaPromptTokenLimit 可精确控制令牌用量。这些政策有助于管理费用、阻止滥用行为,并通过防止用量突然飙升来稳定流量。

限制

将 Model Armor 与 Apigee 集成时,请考虑以下限制:

  • 区域可用性:并非所有区域都提供 Model Armor。请确保 Apigee 和 Model Armor 在同一区域中配置。请参阅 Model Armor 的位置
  • Quota:高流量可能需要增加 Model Armor 的配额。如需申请调整,请参阅申请配额调整。如果您需要的配额高于默认配额,请与 Cloud Customer Care 联系。如需了解与 Model Armor 集成其他服务相关的配额,请参阅管理配额
  • token 限制:Model Armor 在处理提示和回答时有 token 限制,具体取决于过滤条件。超出这些限制的内容可能无法得到全面扫描。

准备工作

工作原理

该集成使用两种主要的 Apigee 政策:

  • SanitizeUserPrompt:将此政策添加到 API 代理的请求流程中。它会拦截所有传入请求,并在这些请求到达 AI 应用之前将其发送给 Model Armor 进行检查。如需了解详情,请参阅 SanitizeUserPrompt 政策
  • SanitizeModelResponse:将此政策添加到响应流程。它会拦截来自 AI 应用的响应,并将其发送到 Model Armor 进行检查,然后再将响应发送到客户端。如需了解详情,请参阅 SanitizeModelResponse 政策

Model Armor 会根据有效 Model Armor 模板中定义的规则评估内容。根据评估结果和设置的强制执行类型,Apigee 会允许、阻止或隐去请求或回答。如果请求或回答被隐去,请使用流变量提取隐去的数据,并将其传递给 LLM。

首先,请使用 Apigee 控制台中的内置 Proxy with Model Armor 代理模板。此模板会自动添加可选的 SanitizeUserPromptSanitizeModelResponse 配置。

创建具有 Model Armor 政策的 Apigee API 代理

  1. 创建服务账号以部署 API 代理
  2. 创建 Apigee API 代理
  3. 修改 SanitizeUserPromptSanitizeModelResponse XML。您必须修改这些政策的 XML,才能使 Model Armor 正常运行。
  4. 向 API 代理添加 Google 身份验证
  5. 部署 API 代理
  6. 测试 Model Armor 政策

如需详细了解配置和使用,请参阅 Apigee Model Armor 政策使用入门