GKE 上 AI 推理模型部署的网络

Last reviewed 2026-11-12 UTC

本文档提供了一个参考架构,用于使用 Google Kubernetes Engine (GKE) 创建多模型推理服务。在该架构中,GKE 托管的推理池位于 GKE Inference Gateway 后面。此架构具有以下优势:

  • 一个适用于所有推理请求的界面。
  • 将每个请求智能路由到能够最高效处理该请求的模型和推理服务器。
  • 集中式授权、安全和其他服务。

本文档适用于负责统一在 GKE 中运行的推理服务器部署的网络架构师。如果您的推理服务器并非全部托管在 GKE 中,请参阅适用于所有后端上的 AI 推理模型部署的网络。本文档未提供有关如何设计应用或部署单个生成式 AI 模型的指导。如需了解如何部署模型,请参阅在企业中构建和部署生成式 AI 和机器学习模型。

此架构可与适用于分布式应用的跨云网络 应用网络架构和其他设计搭配使用。

架构

下图展示了一种架构,其中包含一个位于 GKE 托管的推理服务器前面的推理网关。该网关为所有托管模型提供整合服务。

简要介绍 AI 推理的网络。

图中显示的架构包括以下组件:

  • Private Service Connect 推理端点:适用于所有托管模型的统一端点。最终用户向端点 IP 地址发送推理请求。该图显示了单个使用方 Virtual Private Cloud (VPC) 网络中的 Private Service Connect 端点。您可以在多个 VPC 网络或共享服务 VPC 网络中托管端点。
  • 推理网关:推理网关在 GKE Gateway 的基础上进行了增强,可优化 GKE 为生成式 AI 应用和工作负载提供服务的方式。它会根据模型名称将流量路由到模型副本的推理池。在每个池中,llm-d 端点选择器 (EPP) 会使用实时模型服务器信号对副本进行评分。这些信号包括前缀缓存匹配状态、键值对 (KV) 缓存利用率、待处理请求队列长度和活跃的 LoRA 适配器亲和性。根据综合得分,EPP 会为每个请求选择最佳副本。在此架构中,面向客户的应用会发出 OpenAI API 调用,以通过网关访问模型。网关基于区域级内部应用负载均衡器 (gke-l7-rilb) 部署,因此无法直接从互联网访问。
    • API 管理:API 管理器提供 API 身份验证、安全性、速率限制、配额跟踪和其他 API 管理服务。此架构使用 Apigee,但该架构支持其他选项。为了从负载均衡器调用 Apigee,该架构和 Terraform 部署使用服务扩展程序流量扩展程序来调用 Apigee Extension Processor。
    • Model Armor:一种 AI 保护措施系统,可在推理提示到达推理服务器之前对其执行安全检查。然后,它会对传出回答执行安全检查。此架构使用 Model Armor 作为 AI 护栏,但也支持其他选项,例如 NVIDIA NeMo Guardrails。此参考架构提供的 Terraform 部署包含基本的 Model Armor 配置。
  • 推理池:推理池包含同一模型的副本。当网关收到提示时,它会使用 HTTPRoute 查找,根据模型标识符选择推理池。池具有初始大小,但可以配置为自动扩缩。
  • 模型副本集:模型副本是部署到一个或多个 GPU 或 TPU 的推理服务器的副本。模型副本可以是单节点或多节点。副本集是一组统一的模型副本,由负载均衡器作为前端。如果副本集是多节点,则 GPU 会通过后端 RDMA VPC 网络相互连接。该网络提供导轨对齐、高带宽和低延迟的 GPU 间网络。

请求流程

系统会按如下方式路由推理请求:

  1. 最终用户向 Private Service Connect 端点发送 OpenAI API 请求。此请求包含以下内容:
    • 提示。
    • 模型名称,必须与其中一个托管推理服务器的模型名称匹配。
  2. Private Service Connect 端点会将请求转发到区域级内部应用负载均衡器版本的推理网关。
  3. 网关会从请求正文中提取模型名称,并使用基于正文的路由将其注入请求标头。
  4. 网关会将请求转发到 API 管理系统,以获取所需的 API 管理服务。
  5. 网关将提示发送到 Model Armor 进行筛查。
    • 如果提示包含无法隐去的敏感信息,系统会屏蔽该提示,并且 Model Armor 会返回一条回答,指明发现了违规行为。
    • 如果提示包含可隐去敏感信息,或者提示没有任何问题,Model Armor 会隐去所有敏感信息并转发提示。
  6. 网关会查询 HTTPRoute 资源,以查找与请求的模型匹配的 InferencePool 后端。如果有多个池匹配,则网关会使用配置的流量权重选择一个池。
  7. 网关调用 EPP,EPP 会评估前缀缓存状态和池中副本的当前负载,以选择副本。
  8. 副本处理请求并将其发送回网关。
  9. 网关将回答发送给 Model Armor,由其决定批准或拒绝。
  10. 网关将响应发送回 Private Service Connect 端点,并发送给最终用户。

下图显示了示例部署的路由视图。

提示流向示例副本集。

在此示例中,系统会根据用户选择的模型来处理提示:

  • Llama:系统会按照 90/10 的比例,将这些提示分配给 GKE 中两个都提供 Llama 模型的 InferencePool 副本集。这些池可以使用不同的 GKE 节点或加速器配置,也可以运行新模型版本 (llama-new) 的 Canary 发布。
  • LoRA-1-gemma 或 LoRA-2-gemma:系统会将所有提示发送到同一个副本集,该副本集可以处理这两个模型。

在所有情况下,EPP 都会结合使用前缀缓存亲和性、负载信号和 LoRA 适配器状态,在所选池中选择一个副本。

使用的产品

此参考架构使用以下 Google Cloud产品:

  • Google Kubernetes Engine (GKE):一种 Kubernetes 服务,可用于使用 Google 的基础架构来大规模部署和操作容器化应用。
  • GKE Inference Gateway:Google Kubernetes Engine 网关的一种扩展程序,可提供优化路由和负载均衡来处理生成式 AI 工作负载。它简化了 AI 推理工作负载的部署、管理和可观测性。
  • Virtual Private Cloud (VPC):为您的 Google Cloud 工作负载提供全球可扩缩的网络功能的虚拟系统。VPC 包括 VPC 网络对等互连、Private Service Connect、专用服务访问通道和共享 VPC。
  • Private Service Connect:一项功能,可让使用方从其 VPC 网络内部以私密方式访问托管式服务。
  • Cloud Run:一个无服务器计算平台,可让您直接在 Google 可伸缩的基础设施之上运行容器。
  • Apigee:一种 API 管理工具,可让您精细控制 API 的访问和使用方式。它提供安全性、速率限制、配额强制执行和分析功能。
  • Model Armor:一项服务,可保护您的生成式 AI 和智能体 AI 资源免受提示词注入、敏感数据泄露和有害内容的侵害。

设计替代方案

本部分介绍了此架构的一些基本假设的替代方案。

AI 保护措施

使用 Model Armor 实施 AI 保护措施。如需集中管理,请直接从负载均衡器调用 Model Armor,如本架构所示。您还可以通过以下替代方式实现 Model Armor:

  • 使用 API 管理政策调用 Model Armor。
  • 仅在副本上部署 Model Armor。

如果您在其他层实现 AI 保护措施,则可以在前端负载均衡器上关闭 Model Armor。如果您不想使用 Model Armor,则可以使用流量扩展程序来集成其他护栏产品,例如 NVIDIA NeMo Guardrails。

API 管理

本文档中的架构使用 Apigee 进行 API 管理,该管理通过使用 Service Extensions 流量扩展程序进行部署。如果 Apigee 无法满足您的需求,您可以使用 Service Extensions 部署其他 API 管理服务。

如果使用 Service Extensions 部署 API 管理无法满足您的需求,您可能需要部署面向客户端的网络和面向 API 的网络。在此场景中,API 管理服务充当两个网络之间的桥梁。如需了解如何为 Apigee 部署此功能,请参阅 Apigee 网络选项。

连接到其他网络

本文档中的架构使用单个使用方 VPC 网络。不过,您可以在跨云网络部署中使用服务访问通道 VPC 网络,与许多其他网络共享 Private Service Connect 端点。

设计考虑事项

本部分介绍了符合 Google Cloud Well-Architected Framework 的设计因素、最佳实践和建议。您在使用此参考架构开发满足特定安全性、可靠性、费用优化、运营效率和性能要求的拓扑时,请考虑这些信息。

安全性、隐私权和合规性

基准架构在专用网络上隔离推理流量,并使用 Model Armor 过滤提示。如需进一步强化 GKE 推理拓扑并满足隐私权和合规性要求,请考虑以下建议:

  • 边缘和应用层保护:如需添加分布式拒绝服务攻击 (DDoS 攻击) 防护、Web 应用防火墙 (WAF) 规则和 IP 地址检查,请将 Cloud Armor 安全政策附加到前端区域级内部应用负载均衡器。
  • 端到端 TLS 加密:
    • 如需加密客户端到网关的流量,请使用 Certificate Manager 在推理网关监听器上终止 HTTPS。
    • 如需对从网关到模型服务器 Pod 的流量进行加密和身份验证,请将 BackendTLSPolicy 资源附加到每个 InferencePool 后端。
  • 零信任访问权限和边界控制:
  • 量身定制的提示和回答模板:
    • 如需针对不同的风险状况调整安全阈值,请为用户提示和模型回答配置单独的 Model Armor 模板。
    • 如需检测和去标识化特定于区域的个人身份信息 (PII),请将 Sensitive Data Protection 模板与 Model Armor 集成。

可靠性

基准架构在自动扩缩的 InferencePool 后端前面部署了一个区域级推理网关。如需在流量高峰、模型发布以及集群或区域服务中断期间提高可用性,请考虑以下建议:

  • 多区域和多集群故障切换:
    • 为防范区域级服务中断,请使用Google Cloud 多区域部署原型将部署复制到第二个区域。
    • 如需在同一 VPC 网络中的多个 GKE 集群之间汇集加速器容量并进行故障切换,请考虑使用多集群推理网关。由于多集群网关不支持 Model Armor 或 Apigee Gateway 扩展程序,因此在使用多集群路由时,请在上游层强制执行这些控制措施。
  • 请求优先级划分和减载:如需在容量高峰期间保护对延迟时间敏感的流量,请在 InferenceObjective 资源中定义数字 Priority 级别。当 InferencePool 后端过载时,推理网关会首先舍弃负优先级批量请求。
  • 逐步发布和回滚:如需更新节点硬件、加速器驱动程序或基本模型,同时尽可能减少中断,请部署并行 InferencePool 后端,并使用 HTTPRoute 权重逐步转移流量。在验证期间保持原始 InferencePool 后端处于活动状态,以便在错误增加时快速回滚。

费用优化

加速器计算通常在 GKE 上的 AI 推理费用中占比最大。为了最大限度地提高加速器利用率,并在基准流量和突发流量之间平衡容量费用,请考虑以下建议:

运营效率

运营多模型推理平台需要了解网关路由、KV 缓存饱和度和加速器网络。为了简化 GKE 上的第 2 天监控、问题排查和集群预配,请考虑以下建议:

性能优化

推理延迟时间和吞吐量取决于模型服务器调优以及推理网关如何在副本之间调度请求。如需缩短首 token 延迟 (TTFT) 并提高 GKE 上的服务吞吐量,请考虑以下建议:

部署

如需部署此架构的示例实现,请使用 GitHub 中提供的用于 AI 推理模型部署的网络代码示例。

后续步骤

贡献者

作者:Victor Moreno | Cloud 网络产品经理

其他贡献者: