需求伸缩概览

本文档简要介绍了如何在 Google Cloud 中扩缩计算容量和获取硬件资源,以保持性能、控制成本并避免停机。为了应对不断变化的需求,您可以自动扩缩 Compute Engine 实例、在 Google Kubernetes Engine (GKE) 中编排容器或在集群中编排工作负载、提前预留容量,以及在资源之间分配流量。

本文档中的建议适用于所有可用的计算选项,但 Cloud Run 和 Batch 除外,它们会为您管理和扩缩计算基础设施。如需详细了解在扩缩之前可以在 Google Cloud 中使用的计算选项,请参阅选择计算选项。

计算基础架构伸缩选项

如需扩缩计算容量并提高资源可获取性,请从计算服务支持的功能中进行选择。您可以结合使用多种功能(例如预留、自动扩缩器和负载均衡器),以满足工作负载要求。如果您想根据这些功能的用途、支持的计算选项、触发器和应用场景对它们进行并排评估,请参阅本文档中的比较伸缩选项。

每项计算服务都会扩缩容量,并帮助您使用以下选项获取资源:

  • 所有计算选项:在计算服务(Cloud Run 预留除外)中,您可以提前获得硬件可用性的高度保证,并在正常运行的后端之间路由用户请求。您可以使用以下跨产品选项:

    • 预留:请求在特定可用区中预留容量,以供立即使用或在未来某个日期使用。预留不是自动扩缩器,但它们可高度确保在工作负载扩容时,图形处理单元 (GPU)、张量处理单元 (TPU) 和本地 SSD 磁盘等硬件可用。

    • 使用 Cloud Load Balancing 进行流量分配:在运行状况良好的计算实例、节点池或容器之间分配传入请求,并在容量扩缩时将流量路由到新资源。

  • Compute Engine:您可以在创建虚拟机 (VM) 或裸机实例时,或在使用托管式实例组 (MIG) 时扩缩容量。MIG 将一组计算实例作为一个实体进行管理,并可根据负载、时间表或硬件可用性添加或移除容量。对于需要硬件隔离的工作负载,您还可以在专用物理服务器上自动扩缩单租户节点组。您可以使用以下选项:

    • MIG 自动扩缩:根据 CPU 使用率、负载均衡器容量、Cloud Monitoring 指标、时间表或预测性预测,在 MIG 中添加或移除计算实例。

    • MIG 实例灵活性:在 MIG 中对多种机器类型进行排名,以提高资源可获取性。

    • MIG 中的批量模式和规模调整请求:在全部容量可用时,同时添加 MIG 中所有请求的计算实例,包括 GPU、TPU 和具有灵活启动型虚拟机的 H4D 实例。

    • MIG 中的备用池:在 MIG 中保留一个由预配置的已暂停或已停止计算实例组成的备用池,以加快扩容速度。当流量或 CPU 使用率增加时,MIG 会恢复或启动计算实例,而不是创建新实例。

    • 批量创建计算实例:通过单个 API 请求创建多个计算实例,并自动选择可用区和机器类型。

    • 单租户节点组自动扩缩:根据客户计算实例需求添加或移除专用物理单租户节点,以保持硬件隔离并优化自带许可费用。

    • 自定义编排器:从您自己的或开源调度器调用 Compute Engine API,以根据自定义作业队列或业务规则创建、调整和删除计算实例。

  • Cluster Director:Google 为人工智能 (AI)、机器学习 (ML) 和高性能计算 (HPC) 工作负载部署托管式集群,这些工作负载使用 Slurm 编排或由可用区级 MIG 支持的托管式计算编排。在 Slurm 集群中,当排队作业超过静态基准节点时,Slurm 调度器会创建动态计算节点,并在空闲 5 分钟后将其关闭。在代管式计算集群中,您可以通过 SSH 运行工作负载或集成自己的调度器,并在调整 MIG 目标规模时扩缩容量。您可以使用以下选项:

    • 集群编排:根据作业队列需求,在代管式 Slurm 分区中自动扩缩动态计算节点,或预配由可用区级 MIG 支持的代管式计算集群,以通过 SSH 运行工作负载或集成您自己的调度器。

    • 实时集群修改:更新活跃集群以增加静态或最大动态节点数、调整 MIG 大小或添加 MIG、添加计算资源配置,或添加分区和节点集,而不会中断活跃作业。

    • 容量消耗选项:通过容量块的未来预留、日历模式下的未来预留、灵活启动虚拟机、Spot 虚拟机或按需计算实例获取集群计算节点。

  • Cluster Toolkit:您可以使用由 Slurm 或 GKE 编排的 YAML 蓝图和 Terraform 模块,以代码形式定义自行管理的 AI、机器学习和 HPC 集群。容量会根据 Slurm 作业队列或 Kubernetes Pod 需求进行扩缩,或者在您修改和重新部署集群蓝图时进行扩缩。您可以使用以下选项:

    • Slurm 动态节点集:配置 slurm-nodeset-dynamic 模块,以便 Slurm 根据排队的作业创建和删除临时计算实例。

    • GKE 节点池自动扩缩:使用 gke-node-pool 模块在蓝图中设置节点数量下限和上限,以便 GKE 随着 Pod 需求的变化添加或移除节点。

    • 实时蓝图重新配置:更新并重新部署蓝图,以在活跃 Slurm 集群中添加或调整分区和静态节点的大小,或在已部署的 GKE 集群中调整节点池的大小。

    • 多预留 Slurm 分区:将多个由预留支持的节点集分组到一个 Slurm 分区中,以便大型作业可以跨单独的预留使用容量。

  • GKE:容量在两个层级上扩缩。工作负载自动扩缩器会根据需求变化调整 Pod 副本数量或容器 CPU 和内存请求。基础设施自动扩缩器会添加或移除底层节点和节点池。在 Autopilot 模式下,Google 会为您管理节点容量,而在 Standard 模式下,您需要配置集群自动扩缩器、节点池自动创建和自定义 ComputeClass 资源。启动加速器还可缩短新 Pod 在处理流量之前所需的时间。您可以使用以下选项:

    • 节点和集群容量:调整节点数量、创建节点池,并获取具有以下功能的硬件:

      • 自定义 ComputeClass:定义优先硬件回退规则、Spot 虚拟机或灵活启动偏好设置、预留消耗、主动迁移到更高优先级的硬件,以及工作负载级节点池自动创建。

      • 集群自动扩缩器:当 Pod 等待资源或节点未充分利用时,在现有 Standard 模式节点池中添加或移除节点。

      • 节点池自动创建:根据待处理 Pod 的 CPU、内存、GPU、TPU 或可用区要求,并行创建和删除节点池。

      • 灵活启动预配:通过排队预配,逐个节点或一次性获取 GPU、TPU 和 H4D 节点,最长可使用 7 天,并通过 ComputeClasses 替换即将到期的节点。

      • 容量缓冲区:预配备用活跃节点或暂停的备用节点,包括与 ComputeClass 优先级一致的活跃缓冲区,以便待处理 Pod 无需等待新节点即可进行调度。

      • 容器优化型计算平台:通过为 Autopilot 集群和 Standard 集群中的 Autopilot 模式工作负载使用 Balanced 和 Scale-Out ComputeClass,加快节点分配和 Pod 放置速度。

      • GKE 中的单租户节点:在专用物理服务器上运行 Standard 模式节点池,以满足隔离或许可要求。

    • Pod 和工作负载容量:使用以下功能调整 Pod 副本、容器大小和批处理队列:

      • Pod 横向自动扩缩 (HPA):根据 CPU 用量、内存用量或自定义指标添加或移除 Pod 副本。

      • Pod 纵向自动扩缩 (VPA):根据历史用量调整容器 CPU 和内存请求及限制。

      • Pod 多维自动扩缩 (MPA):同时为同一工作负载组合使用基于 CPU 的 HPA 和基于内存的 VPA。

      • 自定义和外部指标:根据应用指标或外部服务(例如 Pub/Sub 和 Cloud Load Balancing)触发 HPA 扩缩决策。

      • 缩减到零:将空闲 Pod 和节点池缩减到零个副本,并在 HPA 自定义和外部指标或 Kubernetes 事件驱动型自动扩缩 (KEDA) 触发器中需求恢复时唤醒它们。

      • Kueue 作业队列:对批处理和 AI 工作负载进行排队,在团队之间共享资源配额,并协调同时进行的节点分配。

    • 启动加速:通过以下功能缩短横向扩容期间的容器初始化和模型加载时间:

      • 具有并行流式传输功能的 Cloud Storage FUSE:通过并行读取和文件缓存,将 Cloud Storage 存储桶作为本地文件系统装载。

      • CPU 启动加速:在容器初始化期间为其授予临时额外 CPU,然后将 CPU 请求恢复为基准值。

      • 映像流式传输:从 Artifact Registry 按需流式传输容器映像块,以便 Pod 无需等待整个映像下载即可启动。

      • 辅助启动磁盘:在节点启动期间,将包含容器映像或模型数据的预加载 Persistent Disk 卷并行挂接到节点。

      • 就地调整 Pod 大小:更新活跃容器上的 CPU 和内存分配,而无需重启 Pod。

      • Pod 快照:从保存的内存和文件系统检查点(而非冷启动)恢复 Pod 副本。

      • Run:ai Model Streamer:将 safetensors 格式的 AI 模型权重从 Cloud Storage 或永久性卷并行流式传输到 GPU 或 TPU 内存中。

      • Volume Populator:在 Pod 启动之前,使用 Cloud Storage 中的模型权重和数据集预加载 Google Cloud Hyperdisk ML 卷。

  • Google Cloud VMware Engine:Google 管理专用 VMware 私有云集群,其容量会随着物理 ESXi 主机加入或离开集群而扩大或缩小。如需在持续的 CPU、内存或 vSAN 存储空间用量超过配置的阈值时添加或移除 ESXi 主机,请使用自动扩缩政策。

比较伸缩选项

如需选择符合您运营要求的伸缩或资源可获取性选项,请比较下表中的功能:

扩缩选项 主要目的 支持的计算选项 兼容的伸缩选项 扩缩触发器 使用场景
预订 预留可用区容量以供立即使用或在未来日期使用,并提供高可用性保证 除 Cloud Run 之外的所有计算选项 所有伸缩选项 手动或日历预留请求;不是自动扩缩器
  • 计划内增长和峰值规模事件
  • 大规模迁移
  • 备份和灾难恢复
  • 高需求资源,例如 GPU 和 TPU
使用 Cloud Load Balancing 进行流量分配 将传入流量分配到健康状况良好的计算实例、节点池或容器 所有计算选项 所有伸缩选项 传入的用户请求和后端健康检查
  • 高流量 Web 应用和 API
  • 多可用区和多区域可用性
  • 零停机时间扩容
MIG 自动扩缩 在 MIG 中添加或移除计算实例,以应对不断变化的工作负载需求 Compute Engine 预留、MIG 实例灵活性、MIG 中的备用池、单租户节点组自动扩缩、自定义编排器 CPU 使用率、负载均衡器容量、Cloud Monitoring 指标、时间表或预测性预测
  • Web 服务和 API
  • 并行批处理工作负载
  • 多可用区高可用性
  • 无状态微服务
MIG 实例灵活性 对 MIG 中的多种机器类型进行排名,以提高资源可获取性 Compute Engine MIG 自动扩缩、预留、Spot 虚拟机 在 MIG 实例创建或扩容期间,主机器类型容量不足
  • 计算实例获取率更高
  • 在不同机器系列之间实现费用和性能平衡
  • 无状态 Web 和批量工作负载
MIG 中的批量模式和规模调整请求 在容量充足时,同时添加 MIG 中请求的所有计算实例 Compute Engine 和 Cluster Director 预留、实时集群修改、自定义编排器 在批量模式下设置的目标大小或创建的规模调整请求,在硬件容量充足时完成
  • 分布式 AI/机器学习模型训练
  • 需要同时使用所有计算实例的多节点作业
  • 时间灵活的 GPU、TPU 和 H4D 工作负载
MIG 中的备用池 让预先配置的已暂停或已停止计算实例备用池保持准备就绪状态,以加快 MIG 扩容速度 Compute Engine MIG 自动扩缩、预留 手动调整大小或 MIG 横向扩容需求,用于恢复或启动池化计算实例
  • 操作系统或运行时初始化速度较慢的应用
  • 流量突然激增
  • 待机费用低于活跃的空闲计算实例
批量创建计算实例 通过一个 API 请求创建多个计算实例,并自动选择可用区和机器 Compute Engine 预留、Spot 虚拟机、自定义编排器 单个 API 或 Google Cloud CLI 批量插入请求
  • 一次性批量容量突增
  • 自定义集群部署
  • 多实例硬件分配
单租户节点组自动扩缩 为隔离的工作负载自动扩缩专用物理服务器 Compute Engine 和 GKE 预留、MIG 自动扩缩、自定义编排器、集群自动扩缩器 客户计算实例的资源需求
  • 安全和监管合规
  • 按核心或按插槽的许可优化
  • 硬件性能隔离
自定义编排器 通过您自己的调度器(例如 Ray、SkyPilot 或 HTCondor)控制计算实例创建、MIG 目标大小和删除 Compute Engine 和 Cluster Director 预留、MIG 自动扩缩、MIG 中的批量模式和规模调整请求、批量计算实例创建、单租户节点组自动扩缩、实时集群修改 自定义业务指标或外部调度器队列
  • 专有伸缩逻辑
  • 旧版本地调度器迁移
  • 精细的作业生命周期控制
Slurm 编排和动态节点 在 Slurm 分区中自动扩缩动态计算节点,以处理批处理、AI 和 HPC 作业 Cluster Director 和 Cluster Toolkit 预留、灵活启动型虚拟机、Spot 虚拟机、实时集群修改、实时蓝图重新配置 已加入队列的 Slurm 作业和节点空闲超时
  • HPC 工作负载
  • 大规模 AI/机器学习训练
  • 批量模拟队列
实时集群修改 在活跃集群上添加或调整分区、节点集、MIG 或静态和动态节点限制 Cluster Director Slurm 编排和动态节点、MIG 中的批量模式和规模调整请求、自定义编排器、预留 针对活跃集群的集群更新请求
  • 基准集群扩容,不中断作业
  • 在活跃集群上添加 GPU、TPU 或 CPU 节点集和 MIG
实时蓝图重新配置 更新和重新部署蓝图,以在活跃集群上添加或调整 Slurm 分区、静态节点或 GKE 节点池的大小 Cluster Toolkit Slurm 编排和动态节点、集群自动扩缩器、预留 在活跃集群上更新和重新部署蓝图
  • 基础设施即代码集群扩容,不会中断作业
  • 多预留 Slurm 分区
自定义 ComputeClass 定义优先硬件后备规则、容量消耗和节点迁移 Standard 和 Autopilot 模式下的 GKE 集群自动扩缩器、节点池自动创建、GKE 中的灵活启动预配、预留、容量缓冲区 与 ComputeClass 选择器匹配的待处理 Pod 或更高优先级硬件的可用性
  • GPU、TPU 或 CPU 系列的高可获取性
  • 从预留回退到灵活启动或 Spot 虚拟机
  • 主动迁移回首选硬件
集群自动扩缩器 在现有节点池中添加或移除节点 Standard 模式下的 GKE 和 Cluster Toolkit GKE 蓝图 自定义 ComputeClass、预留、单租户节点组自动扩缩、HPA、VPA、容量缓冲区、缩容至零 待处理 Pod 或节点利用率不足
  • 流量可变的容器化工作负载
  • 需求激增
节点池自动创建 并行创建和删除节点池,以满足 Pod 硬件要求 GKE:在 Autopilot 模式下由系统管理;在 Standard 模式下可配置 自定义 ComputeClass、预留、GKE 中的灵活启动预配、HPA、VPA、容量缓冲区 待处理 Pod 需要现有节点池中没有的机器系列、加速器或可用区
  • 多样化的 GPU、TPU 或 CPU 工作负载需求
  • 并行创建多个节点池的多租户集群
GKE 中的灵活启动预配 在容量开放时,通过排队预配逐个或一次性获取 GPU、TPU 和 H4D 节点 Standard 和 Autopilot 模式下的 GKE 自定义 ComputeClass、节点池自动创建、集群自动扩缩器、Kueue 作业队列 当硬件容量开放时,待处理 Pod 或已加入队列的 ProvisioningRequest 对象
  • AI/机器学习模型训练和微调
  • 批量推理工作负载
  • 同时分配多节点加速器
容量缓冲区 预先预配备用活跃节点或暂停的备用节点,以便快速放置和获取 Pod Standard 和 Autopilot 模式下的 GKE 自定义 ComputeClass、集群自动扩缩器、节点池自动创建、HPA、预留 已调度的 Pod 消耗的缓冲节点容量
  • 对延迟时间敏感的应用
  • AI 推理和智能体工作负载
  • 流量突然激增
容器优化型计算平台 借助代管式基础设施以及 Balanced 或 Scale-Out ComputeClass,加快节点就绪和 Pod 放置速度 GKE:Autopilot 集群,以及 Standard 集群中的 Autopilot 模式工作负载 节点池自动创建、HPA、VPA、容量缓冲区、预留 需要额外计算容量的待处理 Pod
  • 快速集群扩容
  • 资源需求可变的工作负载
  • 托管式基础设施运维
HPA 添加或移除 Pod 副本,以满足工作负载需求 Standard 和 Autopilot 模式下的 GKE 集群自动扩缩器、节点池自动创建、MPA、自定义和外部指标、缩容到零 CPU 用量、内存用量或自定义和外部指标
  • 无状态应用
  • Web 服务和 API
  • 请求量可变
VPA 根据用量调整容器 CPU 和内存请求和限制 Standard 和 Autopilot 模式下的 GKE 集群自动扩缩器、节点池自动创建、MPA、Pod 就地大小调整、预留 历史容器 CPU 和内存用量
  • 有状态应用
  • 资源需求不确定的工作负载
  • 容器资源优化
MPA 同时根据 CPU 和容器内存请求扩缩 Pod 副本 Standard 和 Autopilot 模式下的 GKE 集群自动扩缩器、节点池自动创建、自定义和外部指标 同时发生的 CPU 需求变化和容器内存用量变化
  • 具有可变流量和不断变化的内存需求的无状态服务
自定义指标和外部指标 根据应用或外部服务信号扩缩 Pod 副本 Standard 和 Autopilot 模式下的 GKE HPA、MPA、扩缩到零、集群自动扩缩器、节点池自动创建 应用指标或外部队列和流量指标
  • 基于队列的工作器,例如 Pub/Sub 使用方
  • 受延迟时间限制的 Web API
  • AI 推理吞吐量目标
缩减至零 将空闲 Pod 和节点池缩减至零,并根据需求或事件唤醒它们 Standard 和 Autopilot 模式下的 GKE HPA、自定义和外部指标、集群自动扩缩器、节点池自动创建 HPA 自定义和外部指标或 KEDA 触发器中没有需求或有新需求
  • 间歇性或突发性工作负载
  • 事件驱动型批量作业
  • 空闲计算费用为零
Kueue 作业队列 将批量作业排入队列、强制执行团队配额,并协调同时进行的节点分配 Standard 和 Autopilot 模式下的 GKE GKE 中的灵活启动预配、自定义 ComputeClass、集群自动扩缩器、节点池自动创建 在集群配额和硬件容量开放时,允许批量作业运行
  • 多团队 GPU 和 TPU 配额管理
  • 已加入队列的 AI 训练和批量作业
Cloud Storage FUSE(采用并行流式传输) 将 Cloud Storage 存储桶装载为具有并行读取和缓存功能的文件系统 Standard 和 Autopilot 模式下的 GKE HPA、集群自动扩缩器、节点池自动创建、Pod 快照 Pod 启动和从装载的存储桶中依序读取文件
  • 从 Cloud Storage 进行高吞吐量 AI 训练和推理
  • 多节点检查点访问
CPU 启动加速 在初始化期间为容器临时分配额外的 CPU Standard 和 Autopilot 模式下的 GKE HPA、VPA、集群自动扩缩器、节点池自动创建 容器启动和初始化阶段
  • 启动时 CPU 需求较高的应用,例如 Java 虚拟机预热
  • 对延迟时间敏感的 API 进行横向扩容
映像流式传输 在 Pod 启动期间,根据需要从 Artifact Registry 流式传输容器映像块 Standard 和 Autopilot 模式下的 GKE HPA、集群自动扩缩器、节点池自动创建、容量缓冲区 Pod 启动时从 Artifact Registry 拉取容器映像
  • 大型 AI/机器学习容器映像
  • 快速横向扩容微服务
辅助启动磁盘 在节点启动时挂接预加载了容器映像或模型数据的 Persistent Disk 卷 Standard 和 Autopilot 模式下的 GKE 自定义 ComputeClass、HPA、集群自动扩缩器、节点池自动创建、容量缓冲区 在配置了辅助启动磁盘映像的节点池中启动节点
  • 节点上预加载的模型权重或数据集
  • 基础容器映像层缓存
就地调整 Pod 大小 更新活跃容器的 CPU 和内存分配,而无需重启 Pod Standard 和 Autopilot 模式下的 GKE VPA、集群自动扩缩器、节点池自动创建 更新了容器 CPU 或内存请求和限制
  • 有状态或长期运行的应用
  • 纵向扩缩,不会导致连接中断或状态丢失
Pod 快照 从保存的内存和文件系统检查点恢复 Pod 副本 Standard 和 Autopilot 模式下的 GKE HPA、集群自动扩缩器、节点池自动创建、容量缓冲区 从保存的快照创建 Pod 副本
  • 模型加载时间较长的 AI 推理服务器
  • 运行时预热缓慢的应用
  • 在需求高峰期快速横向扩容
Run:ai Model Streamer 将模型张量并行流式传输到 GPU 或 TPU 内存中 Standard 和 Autopilot 模式下的 GKE HPA、集群自动扩缩器、节点池自动创建、Volume Populator AI 推理服务器启动和模型加载请求
  • 使用 vLLM 进行大语言模型推理
  • 快速横向扩容 GPU 和 TPU 副本
Volume Populator 使用 Cloud Storage 中的数据预加载 Hyperdisk ML 卷 Standard 和 Autopilot 模式下的 GKE HPA、集群自动扩缩器、节点池自动创建、Pod 快照 创建引用 GCPDataSource 资源的 PersistentVolumeClaim
  • 预加载的 AI/机器学习模型权重
  • 跨多个节点共享只读数据集访问权限
自动扩缩政策 在 VMware 私有云集群中添加或移除 ESXi 主机 VMware Engine Cloud Load Balancing CPU、内存或 vSAN 存储空间用量持续偏高
  • 迁移了负载可变的 VMware 集群
  • 存储密集型或计算密集型 vSphere 工作负载

可伸缩性最佳实践

如需设计可扩缩的基础设施,避免出现瓶颈或容量不足,请在计算容量、网络设计和应用架构方面应用本部分中的最佳实践。

规划计算容量和可获取性

为了让您的基础设施做好应对需求增长的准备并提高硬件可获取性,请遵循以下做法:

  • 估算工作负载需求:在配置自动扩缩器之前,请先测量基准用量和峰值波动。如需检查历史用量、预测需求并设置准确的计算实例数下限和上限,请使用容量规划工具。

  • 设计资源可获取性:当您请求 GPU 或 TPU 等稀缺硬件时,请从以下三个维度优化计算预配:

    • 位置灵活性:使用区域级 MIG 将工作负载分布到多个可用区。

    • 机器类型灵活性:通过 MIG 实例灵活性或 GKE 自定义 ComputeClass 允许使用多种机器系列。

    • 时间灵活性:当作业可以等待容量时,请使用灵活启动预配。

  • 使用预留来确保高容量:对于基准流量、高峰规模事件或稀缺的 GPU 和 TPU,请提前预留容量。预留可让您高度确保在工作负载扩容时,目标可用区中有可用资源。如果单个 Slurm 作业超出一个预留,则跨多个预留分布 Cluster Toolkit 分区。

  • 为对延迟时间敏感的工作负载预热备用容量:如果您的应用无法在流量突然激增期间等待新的计算实例预配,请维护随时可用的备用容量。配置 GKE 容量缓冲区以预配活跃节点或备用节点,或使用 Compute Engine MIG 中的备用池来恢复暂停的计算实例,而不会出现完整的操作系统启动延迟。

设计可扩缩的网络

如需在扩缩的资源之间移动数据,而不会出现延迟或地址耗尽,请应用以下网络做法:

  • 分配足够的 IP 地址:验证您的子网是否有足够的可用 IP 地址,以满足自动扩缩器限制中的最大实例数或节点数。在 GKE 中,还要检查 Pod 和 Service 的次要 IP 范围。如果子网的 IP 地址用尽,则自动扩缩器无法创建新的计算实例或 Pod。

  • 选择高吞吐量网络接口:对于在节点之间传输大型数据集或模型权重的工作负载,请选择高带宽网络接口控制器,例如 Google 虚拟网络接口卡或远程直接内存访问。这些接口可减少 CPU 开销,并增加扩缩的计算实例之间的带宽。

  • 优化实例布置:对于多节点 AI 训练或 HPC 作业,在 Cluster Director 和 Cluster Toolkit 中使用紧凑布置政策或拓扑感知布置,将计算实例分组到彼此靠近的物理服务器上。紧凑的物理布置可减少扩缩节点之间的网络跃点和延迟时间。对于容错 Web 服务,请改为跨可用区分布计算实例,这样单个可用区服务中断就不会中断流量。

设计可扩缩的应用

如需让应用在不中断用户的情况下横向扩容和横向缩容,请应用以下架构实践:

  • 使应用层保持无状态:将用户会话数据、检查点和共享文件存储在外部存储空间或数据库中,而不是存储在本地实例磁盘上。这种设计使自动扩缩器可以随时添加或移除计算实例和 Pod,而不会丢失数据。

  • 使用队列和微服务解耦组件:将单体式工作负载拆分为由负载均衡器或消息队列(例如 Pub/Sub)连接的独立服务。此架构可让您根据每个服务的自身需求进行扩缩(包括使用事件驱动型自动扩缩器缩减至零),并吸收突发流量,而不会使下游后端过载。

  • 缩短容器启动和模型加载时间:缩短资源创建与流量就绪之间的延迟时间,以便扩缩后的容量能够立即处理请求。在 GKE 中,流式传输或预加载容器映像,并使用 CPU 启动提升或 Pod 快照来加快运行时初始化。对于 AI 工作负载,从 Cloud Storage FUSE、Run:ai Model Streamer 或预填充的卷流式传输模型权重。