本文档提供了一个参考架构,用于使用 Google Kubernetes Engine (GKE) 创建多模型推理服务。在该架构中,GKE 托管的推理池位于 GKE Inference Gateway 后面。此架构具有以下优势:
- 一个适用于所有推理请求的界面。
- 将每个请求智能路由到能够最高效处理该请求的模型和推理服务器。
- 集中式授权、安全和其他服务。
本文档适用于负责统一在 GKE 中运行的推理服务器部署的网络架构师。如果您的推理服务器并非全部托管在 GKE 中,请参阅适用于所有后端上的 AI 推理模型部署的网络。本文档未提供有关如何设计应用或部署单个生成式 AI 模型的指导。如需了解如何部署模型,请参阅在企业中构建和部署生成式 AI 和机器学习模型。
此架构可与适用于分布式应用的跨云网络 应用网络架构和其他设计搭配使用。
架构
下图展示了一种架构,其中包含一个位于 GKE 托管的推理服务器前面的推理网关。该网关为所有托管模型提供整合服务。
图中显示的架构包括以下组件:
- Private Service Connect 推理端点:适用于所有托管模型的统一端点。最终用户向端点 IP 地址发送推理请求。该图显示了单个使用方 Virtual Private Cloud (VPC) 网络中的 Private Service Connect 端点。您可以在多个 VPC 网络或共享服务 VPC 网络中托管端点。
- 推理网关:推理网关在 GKE Gateway 的基础上进行了增强,可优化 GKE 为生成式 AI 应用和工作负载提供服务的方式。它会根据模型名称将流量路由到模型副本的推理池。在每个池中,llm-d 端点选择器 (EPP) 会使用实时模型服务器信号对副本进行评分。这些信号包括前缀缓存匹配状态、键值对 (KV) 缓存利用率、待处理请求队列长度和活跃的 LoRA 适配器亲和性。根据综合得分,EPP 会为每个请求选择最佳副本。在此架构中,面向客户的应用会发出 OpenAI API 调用,以通过网关访问模型。网关基于区域级内部应用负载均衡器 (
gke-l7-rilb) 部署,因此无法直接从互联网访问。- API 管理:API 管理器提供 API 身份验证、安全性、速率限制、配额跟踪和其他 API 管理服务。此架构使用 Apigee,但该架构支持其他选项。为了从负载均衡器调用 Apigee,该架构和 Terraform 部署使用服务扩展程序流量扩展程序来调用 Apigee Extension Processor。
- Model Armor:一种 AI 保护措施系统,可在推理提示到达推理服务器之前对其执行安全检查。然后,它会对传出回答执行安全检查。此架构使用 Model Armor 作为 AI 护栏,但也支持其他选项,例如 NVIDIA NeMo Guardrails。此参考架构提供的 Terraform 部署包含基本的 Model Armor 配置。
- 推理池:推理池包含同一模型的副本。当网关收到提示时,它会使用
HTTPRoute查找,根据模型标识符选择推理池。池具有初始大小,但可以配置为自动扩缩。 - 模型副本集:模型副本是部署到一个或多个 GPU 或 TPU 的推理服务器的副本。模型副本可以是单节点或多节点。副本集是一组统一的模型副本,由负载均衡器作为前端。如果副本集是多节点,则 GPU 会通过后端 RDMA VPC 网络相互连接。该网络提供导轨对齐、高带宽和低延迟的 GPU 间网络。
请求流程
系统会按如下方式路由推理请求:
- 最终用户向 Private Service Connect 端点发送 OpenAI API 请求。此请求包含以下内容:
- 提示。
- 模型名称,必须与其中一个托管推理服务器的模型名称匹配。
- Private Service Connect 端点会将请求转发到区域级内部应用负载均衡器版本的推理网关。
- 网关会从请求正文中提取模型名称,并使用基于正文的路由将其注入请求标头。
- 网关会将请求转发到 API 管理系统,以获取所需的 API 管理服务。
- 网关将提示发送到 Model Armor 进行筛查。
- 如果提示包含无法隐去的敏感信息,系统会屏蔽该提示,并且 Model Armor 会返回一条回答,指明发现了违规行为。
- 如果提示包含可隐去敏感信息,或者提示没有任何问题,Model Armor 会隐去所有敏感信息并转发提示。
- 网关会查询
HTTPRoute资源,以查找与请求的模型匹配的InferencePool后端。如果有多个池匹配,则网关会使用配置的流量权重选择一个池。 - 网关调用 EPP,EPP 会评估前缀缓存状态和池中副本的当前负载,以选择副本。
- 副本处理请求并将其发送回网关。
- 网关将回答发送给 Model Armor,由其决定批准或拒绝。
- 网关将响应发送回 Private Service Connect 端点,并发送给最终用户。
下图显示了示例部署的路由视图。
在此示例中,系统会根据用户选择的模型来处理提示:
- Llama:系统会按照 90/10 的比例,将这些提示分配给 GKE 中两个都提供 Llama 模型的
InferencePool副本集。这些池可以使用不同的 GKE 节点或加速器配置,也可以运行新模型版本 (llama-new) 的 Canary 发布。 - LoRA-1-gemma 或 LoRA-2-gemma:系统会将所有提示发送到同一个副本集,该副本集可以处理这两个模型。
在所有情况下,EPP 都会结合使用前缀缓存亲和性、负载信号和 LoRA 适配器状态,在所选池中选择一个副本。
使用的产品
此参考架构使用以下 Google Cloud产品:
- Google Kubernetes Engine (GKE):一种 Kubernetes 服务,可用于使用 Google 的基础架构来大规模部署和操作容器化应用。
- GKE Inference Gateway:Google Kubernetes Engine 网关的一种扩展程序,可提供优化路由和负载均衡来处理生成式 AI 工作负载。它简化了 AI 推理工作负载的部署、管理和可观测性。
- Virtual Private Cloud (VPC):为您的 Google Cloud 工作负载提供全球可扩缩的网络功能的虚拟系统。VPC 包括 VPC 网络对等互连、Private Service Connect、专用服务访问通道和共享 VPC。
- Private Service Connect:一项功能,可让使用方从其 VPC 网络内部以私密方式访问托管式服务。
- Cloud Run:一个无服务器计算平台,可让您直接在 Google 可伸缩的基础设施之上运行容器。
- Apigee:一种 API 管理工具,可让您精细控制 API 的访问和使用方式。它提供安全性、速率限制、配额强制执行和分析功能。
- Model Armor:一项服务,可保护您的生成式 AI 和智能体 AI 资源免受提示词注入、敏感数据泄露和有害内容的侵害。
设计替代方案
本部分介绍了此架构的一些基本假设的替代方案。
AI 保护措施
使用 Model Armor 实施 AI 保护措施。如需集中管理,请直接从负载均衡器调用 Model Armor,如本架构所示。您还可以通过以下替代方式实现 Model Armor:
- 使用 API 管理政策调用 Model Armor。
- 仅在副本上部署 Model Armor。
如果您在其他层实现 AI 保护措施,则可以在前端负载均衡器上关闭 Model Armor。如果您不想使用 Model Armor,则可以使用流量扩展程序来集成其他护栏产品,例如 NVIDIA NeMo Guardrails。
API 管理
本文档中的架构使用 Apigee 进行 API 管理,该管理通过使用 Service Extensions 流量扩展程序进行部署。如果 Apigee 无法满足您的需求,您可以使用 Service Extensions 部署其他 API 管理服务。
如果使用 Service Extensions 部署 API 管理无法满足您的需求,您可能需要部署面向客户端的网络和面向 API 的网络。在此场景中,API 管理服务充当两个网络之间的桥梁。如需了解如何为 Apigee 部署此功能,请参阅 Apigee 网络选项。
连接到其他网络
本文档中的架构使用单个使用方 VPC 网络。不过,您可以在跨云网络部署中使用服务访问通道 VPC 网络,与许多其他网络共享 Private Service Connect 端点。
设计考虑事项
本部分介绍了符合 Google Cloud Well-Architected Framework 的设计因素、最佳实践和建议。您在使用此参考架构开发满足特定安全性、可靠性、费用优化、运营效率和性能要求的拓扑时,请考虑这些信息。
安全性、隐私权和合规性
基准架构在专用网络上隔离推理流量,并使用 Model Armor 过滤提示。如需进一步强化 GKE 推理拓扑并满足隐私权和合规性要求,请考虑以下建议:
- 边缘和应用层保护:如需添加分布式拒绝服务攻击 (DDoS 攻击) 防护、Web 应用防火墙 (WAF) 规则和 IP 地址检查,请将 Cloud Armor 安全政策附加到前端区域级内部应用负载均衡器。
- 端到端 TLS 加密:
- 如需加密客户端到网关的流量,请使用 Certificate Manager 在推理网关监听器上终止 HTTPS。
- 如需对从网关到模型服务器 Pod 的流量进行加密和身份验证,请将
BackendTLSPolicy资源附加到每个InferencePool后端。
- 零信任访问权限和边界控制:
- 如需在请求到达推理后端之前对其进行身份验证和授权,请在 Gateway 上启用 Identity-Aware Proxy (IAP)。
- 为帮助防止跨项目的数据和模型渗漏,请将提供方 VPC 网络置于 VPC Service Controls 服务边界内。从边界内访问 Model Armor 区域端点时,请为 Model Armor API 创建区域 Private Service Connect 端点。
- 量身定制的提示和回答模板:
- 如需针对不同的风险状况调整安全阈值,请为用户提示和模型回答配置单独的 Model Armor 模板。
- 如需检测和去标识化特定于区域的个人身份信息 (PII),请将 Sensitive Data Protection 模板与 Model Armor 集成。
可靠性
基准架构在自动扩缩的 InferencePool 后端前面部署了一个区域级推理网关。如需在流量高峰、模型发布以及集群或区域服务中断期间提高可用性,请考虑以下建议:
- 多区域和多集群故障切换:
- 为防范区域级服务中断,请使用Google Cloud 多区域部署原型将部署复制到第二个区域。
- 如需在同一 VPC 网络中的多个 GKE 集群之间汇集加速器容量并进行故障切换,请考虑使用多集群推理网关。由于多集群网关不支持 Model Armor 或 Apigee Gateway 扩展程序,因此在使用多集群路由时,请在上游层强制执行这些控制措施。
- 请求优先级划分和减载:如需在容量高峰期间保护对延迟时间敏感的流量,请在
InferenceObjective资源中定义数字Priority级别。当InferencePool后端过载时,推理网关会首先舍弃负优先级批量请求。 - 逐步发布和回滚:如需更新节点硬件、加速器驱动程序或基本模型,同时尽可能减少中断,请部署并行
InferencePool后端,并使用HTTPRoute权重逐步转移流量。在验证期间保持原始InferencePool后端处于活动状态,以便在错误增加时快速回滚。
费用优化
加速器计算通常在 GKE 上的 AI 推理费用中占比最大。为了最大限度地提高加速器利用率,并在基准流量和突发流量之间平衡容量费用,请考虑以下建议:
- 集群费用管理:如需了解一般 GKE 费用节省指南,请参阅在 GKE 上运行费用经过优化的 Kubernetes 应用的最佳实践。
- 动态 LoRA 多路复用和推理自动扩缩:
- 如需减少微调模型所需的加速器数量,请在共享基本模型和
InferencePool资源上部署多个动态 LoRA 适配器。 - 如需根据实际推理需求扩缩副本,请配置 Pod 横向自动扩缩器 (HPA) 政策,以跟踪 GPU 和 TPU 的 KV 缓存利用率。
- 如需减少微调模型所需的加速器数量,请在共享基本模型和
- 分层加速器预配:为了平衡加速器可用性和成本,请定义具有优先后备配置文件的 GKE 自定义计算类。如果您需要可预测的容量,或者有突发推理工作负载,请使用容量预留进行基准服务,使用动态工作负载调度器进行时间灵活的伸缩,并使用 Spot 虚拟机进行可中断的突发池。
运营效率
运营多模型推理平台需要了解网关路由、KV 缓存饱和度和加速器网络。为了简化 GKE 上的第 2 天监控、问题排查和集群预配,请考虑以下建议:
- 统一的推理可观测性和提醒:使用 Google Cloud Managed Service for Prometheus 中的 llm-d 概览信息中心监控请求吞吐量、延迟时间、错误率、队列深度和 KV 缓存饱和度。
- 如需捕获详细的请求和响应元数据以进行问题排查,请在 Cloud Logging 中启用
GCPBackendPolicyHTTP 访问日志记录。 - 如需尽早检测延迟时间峰值或 KV 缓存耗尽,请配置 Cloud Monitoring 提醒政策。
- 如需捕获详细的请求和响应元数据以进行问题排查,请在 Cloud Logging 中启用
- 自动化加速器网络和基准化分析:
- 如需简化加速器节点池上的多 NIC 和 RDMA VPC 设置,请使用加速器虚拟机的自动化网络。
- 如需为多节点推理 Pod 动态分配 RDMA 网络接口,请使用 GKE 托管的 DRANET。
- 如需为模型和加速器生成基准化服务清单和 HPA 阈值,请使用 GKE 推理快速入门。
性能优化
推理延迟时间和吞吐量取决于模型服务器调优以及推理网关如何在副本之间调度请求。如需缩短首 token 延迟 (TTFT) 并提高 GKE 上的服务吞吐量,请考虑以下建议:
- 推理服务调优:遵循 GKE 上的推理最佳实践概览中的建议。如需提高 GPU 的吞吐量并缩短延迟时间,请应用量化、张量并行处理和 KV 缓存调优,如使用 GPU 优化 LLM 推理的最佳实践中所述。
- 基于预测延迟时间的路由和多端口服务:如果同构
InferencePool后端提供长度差异很大的提示或强制执行每个请求的延迟时间 SLO,请考虑启用基于预测延迟时间的路由。对于每个 Pod 需要多个端口的模型服务器(例如数据并行注意力机制部署),请在 50 个 NEG 后端服务限制内配置多端口InferencePool资源。
部署
如需部署此架构的示例实现,请使用 GitHub 中提供的用于 AI 推理模型部署的网络代码示例。
后续步骤
- 如需了解如何向部署添加检索增强生成 (RAG),请参阅支持 RAG 的生成式 AI 应用的专用连接。
- 如需查看更多参考架构、图表和最佳做法,请浏览云架构中心。
贡献者
作者:Victor Moreno | Cloud 网络产品经理
其他贡献者:
- Mark Schlagenhauf | 网络技术文档工程师
- James Duncan | 解决方案产品经理
- Ammett Williams | 开发者关系工程师