本文档简要介绍了如何在 Google Cloud 中扩缩计算容量和获取硬件资源,以保持性能、控制成本并避免停机。为了应对不断变化的需求,您可以自动扩缩 Compute Engine 实例、在 Google Kubernetes Engine (GKE) 中编排容器或在集群中编排工作负载、提前预留容量,以及在资源之间分配流量。
本文档中的建议适用于所有可用的计算选项,但 Cloud Run 和 Batch 除外,它们会为您管理和扩缩计算基础设施。如需详细了解在扩缩之前可以在 Google Cloud 中使用的计算选项,请参阅选择计算选项。
计算基础架构伸缩选项
如需扩缩计算容量并提高资源可获取性,请从计算服务支持的功能中进行选择。您可以结合使用多种功能(例如预留、自动扩缩器和负载均衡器),以满足工作负载要求。如果您想根据这些功能的用途、支持的计算选项、触发器和应用场景对它们进行并排评估,请参阅本文档中的比较伸缩选项。
每项计算服务都会扩缩容量,并帮助您使用以下选项获取资源:
所有计算选项:在计算服务(Cloud Run 预留除外)中,您可以提前获得硬件可用性的高度保证,并在正常运行的后端之间路由用户请求。您可以使用以下跨产品选项:
预留:请求在特定可用区中预留容量,以供立即使用或在未来某个日期使用。预留不是自动扩缩器,但它们可高度确保在工作负载扩容时,图形处理单元 (GPU)、张量处理单元 (TPU) 和本地 SSD 磁盘等硬件可用。
使用 Cloud Load Balancing 进行流量分配:在运行状况良好的计算实例、节点池或容器之间分配传入请求,并在容量扩缩时将流量路由到新资源。
Compute Engine:您可以在创建虚拟机 (VM) 或裸机实例时,或在使用托管式实例组 (MIG) 时扩缩容量。MIG 将一组计算实例作为一个实体进行管理,并可根据负载、时间表或硬件可用性添加或移除容量。对于需要硬件隔离的工作负载,您还可以在专用物理服务器上自动扩缩单租户节点组。您可以使用以下选项:
MIG 自动扩缩:根据 CPU 使用率、负载均衡器容量、Cloud Monitoring 指标、时间表或预测性预测,在 MIG 中添加或移除计算实例。
MIG 实例灵活性:在 MIG 中对多种机器类型进行排名,以提高资源可获取性。
MIG 中的批量模式和规模调整请求:在全部容量可用时,同时添加 MIG 中所有请求的计算实例,包括 GPU、TPU 和具有灵活启动型虚拟机的 H4D 实例。
MIG 中的备用池:在 MIG 中保留一个由预配置的已暂停或已停止计算实例组成的备用池,以加快扩容速度。当流量或 CPU 使用率增加时,MIG 会恢复或启动计算实例,而不是创建新实例。
批量创建计算实例:通过单个 API 请求创建多个计算实例,并自动选择可用区和机器类型。
单租户节点组自动扩缩:根据客户计算实例需求添加或移除专用物理单租户节点,以保持硬件隔离并优化自带许可费用。
自定义编排器:从您自己的或开源调度器调用 Compute Engine API,以根据自定义作业队列或业务规则创建、调整和删除计算实例。
Cluster Director:Google 为人工智能 (AI)、机器学习 (ML) 和高性能计算 (HPC) 工作负载部署托管式集群,这些工作负载使用 Slurm 编排或由可用区级 MIG 支持的托管式计算编排。在 Slurm 集群中,当排队作业超过静态基准节点时,Slurm 调度器会创建动态计算节点,并在空闲 5 分钟后将其关闭。在代管式计算集群中,您可以通过 SSH 运行工作负载或集成自己的调度器,并在调整 MIG 目标规模时扩缩容量。您可以使用以下选项:
Cluster Toolkit:您可以使用由 Slurm 或 GKE 编排的 YAML 蓝图和 Terraform 模块,以代码形式定义自行管理的 AI、机器学习和 HPC 集群。容量会根据 Slurm 作业队列或 Kubernetes Pod 需求进行扩缩,或者在您修改和重新部署集群蓝图时进行扩缩。您可以使用以下选项:
Slurm 动态节点集:配置
slurm-nodeset-dynamic模块,以便 Slurm 根据排队的作业创建和删除临时计算实例。GKE 节点池自动扩缩:使用
gke-node-pool模块在蓝图中设置节点数量下限和上限,以便 GKE 随着 Pod 需求的变化添加或移除节点。实时蓝图重新配置:更新并重新部署蓝图,以在活跃 Slurm 集群中添加或调整分区和静态节点的大小,或在已部署的 GKE 集群中调整节点池的大小。
多预留 Slurm 分区:将多个由预留支持的节点集分组到一个 Slurm 分区中,以便大型作业可以跨单独的预留使用容量。
GKE:容量在两个层级上扩缩。工作负载自动扩缩器会根据需求变化调整 Pod 副本数量或容器 CPU 和内存请求。基础设施自动扩缩器会添加或移除底层节点和节点池。在 Autopilot 模式下,Google 会为您管理节点容量,而在 Standard 模式下,您需要配置集群自动扩缩器、节点池自动创建和自定义
ComputeClass资源。启动加速器还可缩短新 Pod 在处理流量之前所需的时间。您可以使用以下选项:节点和集群容量:调整节点数量、创建节点池,并获取具有以下功能的硬件:
自定义 ComputeClass:定义优先硬件回退规则、Spot 虚拟机或灵活启动偏好设置、预留消耗、主动迁移到更高优先级的硬件,以及工作负载级节点池自动创建。
集群自动扩缩器:当 Pod 等待资源或节点未充分利用时,在现有 Standard 模式节点池中添加或移除节点。
节点池自动创建:根据待处理 Pod 的 CPU、内存、GPU、TPU 或可用区要求,并行创建和删除节点池。
灵活启动预配:通过排队预配,逐个节点或一次性获取 GPU、TPU 和 H4D 节点,最长可使用 7 天,并通过 ComputeClasses 替换即将到期的节点。
容量缓冲区:预配备用活跃节点或暂停的备用节点,包括与
ComputeClass优先级一致的活跃缓冲区,以便待处理 Pod 无需等待新节点即可进行调度。容器优化型计算平台:通过为 Autopilot 集群和 Standard 集群中的 Autopilot 模式工作负载使用
Balanced和Scale-OutComputeClass,加快节点分配和 Pod 放置速度。GKE 中的单租户节点:在专用物理服务器上运行 Standard 模式节点池,以满足隔离或许可要求。
Pod 和工作负载容量:使用以下功能调整 Pod 副本、容器大小和批处理队列:
Pod 横向自动扩缩 (HPA):根据 CPU 用量、内存用量或自定义指标添加或移除 Pod 副本。
Pod 纵向自动扩缩 (VPA):根据历史用量调整容器 CPU 和内存请求及限制。
Pod 多维自动扩缩 (MPA):同时为同一工作负载组合使用基于 CPU 的 HPA 和基于内存的 VPA。
自定义和外部指标:根据应用指标或外部服务(例如 Pub/Sub 和 Cloud Load Balancing)触发 HPA 扩缩决策。
缩减到零:将空闲 Pod 和节点池缩减到零个副本,并在 HPA 自定义和外部指标或 Kubernetes 事件驱动型自动扩缩 (KEDA) 触发器中需求恢复时唤醒它们。
Kueue 作业队列:对批处理和 AI 工作负载进行排队,在团队之间共享资源配额,并协调同时进行的节点分配。
启动加速:通过以下功能缩短横向扩容期间的容器初始化和模型加载时间:
具有并行流式传输功能的 Cloud Storage FUSE:通过并行读取和文件缓存,将 Cloud Storage 存储桶作为本地文件系统装载。
CPU 启动加速:在容器初始化期间为其授予临时额外 CPU,然后将 CPU 请求恢复为基准值。
映像流式传输:从 Artifact Registry 按需流式传输容器映像块,以便 Pod 无需等待整个映像下载即可启动。
辅助启动磁盘:在节点启动期间,将包含容器映像或模型数据的预加载 Persistent Disk 卷并行挂接到节点。
就地调整 Pod 大小:更新活跃容器上的 CPU 和内存分配,而无需重启 Pod。
Pod 快照:从保存的内存和文件系统检查点(而非冷启动)恢复 Pod 副本。
Run:ai Model Streamer:将
safetensors格式的 AI 模型权重从 Cloud Storage 或永久性卷并行流式传输到 GPU 或 TPU 内存中。Volume Populator:在 Pod 启动之前,使用 Cloud Storage 中的模型权重和数据集预加载 Google Cloud Hyperdisk ML 卷。
Google Cloud VMware Engine:Google 管理专用 VMware 私有云集群,其容量会随着物理 ESXi 主机加入或离开集群而扩大或缩小。如需在持续的 CPU、内存或 vSAN 存储空间用量超过配置的阈值时添加或移除 ESXi 主机,请使用自动扩缩政策。
比较伸缩选项
如需选择符合您运营要求的伸缩或资源可获取性选项,请比较下表中的功能:
| 扩缩选项 | 主要目的 | 支持的计算选项 | 兼容的伸缩选项 | 扩缩触发器 | 使用场景 |
|---|---|---|---|---|---|
| 预订 | 预留可用区容量以供立即使用或在未来日期使用,并提供高可用性保证 | 除 Cloud Run 之外的所有计算选项 | 所有伸缩选项 | 手动或日历预留请求;不是自动扩缩器 |
|
| 使用 Cloud Load Balancing 进行流量分配 | 将传入流量分配到健康状况良好的计算实例、节点池或容器 | 所有计算选项 | 所有伸缩选项 | 传入的用户请求和后端健康检查 |
|
| MIG 自动扩缩 | 在 MIG 中添加或移除计算实例,以应对不断变化的工作负载需求 | Compute Engine | 预留、MIG 实例灵活性、MIG 中的备用池、单租户节点组自动扩缩、自定义编排器 | CPU 使用率、负载均衡器容量、Cloud Monitoring 指标、时间表或预测性预测 |
|
| MIG 实例灵活性 | 对 MIG 中的多种机器类型进行排名,以提高资源可获取性 | Compute Engine | MIG 自动扩缩、预留、Spot 虚拟机 | 在 MIG 实例创建或扩容期间,主机器类型容量不足 |
|
| MIG 中的批量模式和规模调整请求 | 在容量充足时,同时添加 MIG 中请求的所有计算实例 | Compute Engine 和 Cluster Director | 预留、实时集群修改、自定义编排器 | 在批量模式下设置的目标大小或创建的规模调整请求,在硬件容量充足时完成 |
|
| MIG 中的备用池 | 让预先配置的已暂停或已停止计算实例备用池保持准备就绪状态,以加快 MIG 扩容速度 | Compute Engine | MIG 自动扩缩、预留 | 手动调整大小或 MIG 横向扩容需求,用于恢复或启动池化计算实例 |
|
| 批量创建计算实例 | 通过一个 API 请求创建多个计算实例,并自动选择可用区和机器 | Compute Engine | 预留、Spot 虚拟机、自定义编排器 | 单个 API 或 Google Cloud CLI 批量插入请求 |
|
| 单租户节点组自动扩缩 | 为隔离的工作负载自动扩缩专用物理服务器 | Compute Engine 和 GKE | 预留、MIG 自动扩缩、自定义编排器、集群自动扩缩器 | 客户计算实例的资源需求 |
|
| 自定义编排器 | 通过您自己的调度器(例如 Ray、SkyPilot 或 HTCondor)控制计算实例创建、MIG 目标大小和删除 | Compute Engine 和 Cluster Director | 预留、MIG 自动扩缩、MIG 中的批量模式和规模调整请求、批量计算实例创建、单租户节点组自动扩缩、实时集群修改 | 自定义业务指标或外部调度器队列 |
|
| Slurm 编排和动态节点 | 在 Slurm 分区中自动扩缩动态计算节点,以处理批处理、AI 和 HPC 作业 | Cluster Director 和 Cluster Toolkit | 预留、灵活启动型虚拟机、Spot 虚拟机、实时集群修改、实时蓝图重新配置 | 已加入队列的 Slurm 作业和节点空闲超时 |
|
| 实时集群修改 | 在活跃集群上添加或调整分区、节点集、MIG 或静态和动态节点限制 | Cluster Director | Slurm 编排和动态节点、MIG 中的批量模式和规模调整请求、自定义编排器、预留 | 针对活跃集群的集群更新请求 |
|
| 实时蓝图重新配置 | 更新和重新部署蓝图,以在活跃集群上添加或调整 Slurm 分区、静态节点或 GKE 节点池的大小 | Cluster Toolkit | Slurm 编排和动态节点、集群自动扩缩器、预留 | 在活跃集群上更新和重新部署蓝图 |
|
| 自定义 ComputeClass | 定义优先硬件后备规则、容量消耗和节点迁移 | Standard 和 Autopilot 模式下的 GKE | 集群自动扩缩器、节点池自动创建、GKE 中的灵活启动预配、预留、容量缓冲区 | 与 ComputeClass 选择器匹配的待处理 Pod 或更高优先级硬件的可用性 |
|
| 集群自动扩缩器 | 在现有节点池中添加或移除节点 | Standard 模式下的 GKE 和 Cluster Toolkit GKE 蓝图 | 自定义 ComputeClass、预留、单租户节点组自动扩缩、HPA、VPA、容量缓冲区、缩容至零 | 待处理 Pod 或节点利用率不足 |
|
| 节点池自动创建 | 并行创建和删除节点池,以满足 Pod 硬件要求 | GKE:在 Autopilot 模式下由系统管理;在 Standard 模式下可配置 | 自定义 ComputeClass、预留、GKE 中的灵活启动预配、HPA、VPA、容量缓冲区 | 待处理 Pod 需要现有节点池中没有的机器系列、加速器或可用区 |
|
| GKE 中的灵活启动预配 | 在容量开放时,通过排队预配逐个或一次性获取 GPU、TPU 和 H4D 节点 | Standard 和 Autopilot 模式下的 GKE | 自定义 ComputeClass、节点池自动创建、集群自动扩缩器、Kueue 作业队列 | 当硬件容量开放时,待处理 Pod 或已加入队列的 ProvisioningRequest 对象 |
|
| 容量缓冲区 | 预先预配备用活跃节点或暂停的备用节点,以便快速放置和获取 Pod | Standard 和 Autopilot 模式下的 GKE | 自定义 ComputeClass、集群自动扩缩器、节点池自动创建、HPA、预留 | 已调度的 Pod 消耗的缓冲节点容量 |
|
| 容器优化型计算平台 | 借助代管式基础设施以及 Balanced 或 Scale-Out ComputeClass,加快节点就绪和 Pod 放置速度 |
GKE:Autopilot 集群,以及 Standard 集群中的 Autopilot 模式工作负载 | 节点池自动创建、HPA、VPA、容量缓冲区、预留 | 需要额外计算容量的待处理 Pod |
|
| HPA | 添加或移除 Pod 副本,以满足工作负载需求 | Standard 和 Autopilot 模式下的 GKE | 集群自动扩缩器、节点池自动创建、MPA、自定义和外部指标、缩容到零 | CPU 用量、内存用量或自定义和外部指标 |
|
| VPA | 根据用量调整容器 CPU 和内存请求和限制 | Standard 和 Autopilot 模式下的 GKE | 集群自动扩缩器、节点池自动创建、MPA、Pod 就地大小调整、预留 | 历史容器 CPU 和内存用量 |
|
| MPA | 同时根据 CPU 和容器内存请求扩缩 Pod 副本 | Standard 和 Autopilot 模式下的 GKE | 集群自动扩缩器、节点池自动创建、自定义和外部指标 | 同时发生的 CPU 需求变化和容器内存用量变化 |
|
| 自定义指标和外部指标 | 根据应用或外部服务信号扩缩 Pod 副本 | Standard 和 Autopilot 模式下的 GKE | HPA、MPA、扩缩到零、集群自动扩缩器、节点池自动创建 | 应用指标或外部队列和流量指标 |
|
| 缩减至零 | 将空闲 Pod 和节点池缩减至零,并根据需求或事件唤醒它们 | Standard 和 Autopilot 模式下的 GKE | HPA、自定义和外部指标、集群自动扩缩器、节点池自动创建 | HPA 自定义和外部指标或 KEDA 触发器中没有需求或有新需求 |
|
| Kueue 作业队列 | 将批量作业排入队列、强制执行团队配额,并协调同时进行的节点分配 | Standard 和 Autopilot 模式下的 GKE | GKE 中的灵活启动预配、自定义 ComputeClass、集群自动扩缩器、节点池自动创建 | 在集群配额和硬件容量开放时,允许批量作业运行 |
|
| Cloud Storage FUSE(采用并行流式传输) | 将 Cloud Storage 存储桶装载为具有并行读取和缓存功能的文件系统 | Standard 和 Autopilot 模式下的 GKE | HPA、集群自动扩缩器、节点池自动创建、Pod 快照 | Pod 启动和从装载的存储桶中依序读取文件 |
|
| CPU 启动加速 | 在初始化期间为容器临时分配额外的 CPU | Standard 和 Autopilot 模式下的 GKE | HPA、VPA、集群自动扩缩器、节点池自动创建 | 容器启动和初始化阶段 |
|
| 映像流式传输 | 在 Pod 启动期间,根据需要从 Artifact Registry 流式传输容器映像块 | Standard 和 Autopilot 模式下的 GKE | HPA、集群自动扩缩器、节点池自动创建、容量缓冲区 | Pod 启动时从 Artifact Registry 拉取容器映像 |
|
| 辅助启动磁盘 | 在节点启动时挂接预加载了容器映像或模型数据的 Persistent Disk 卷 | Standard 和 Autopilot 模式下的 GKE | 自定义 ComputeClass、HPA、集群自动扩缩器、节点池自动创建、容量缓冲区 | 在配置了辅助启动磁盘映像的节点池中启动节点 |
|
| 就地调整 Pod 大小 | 更新活跃容器的 CPU 和内存分配,而无需重启 Pod | Standard 和 Autopilot 模式下的 GKE | VPA、集群自动扩缩器、节点池自动创建 | 更新了容器 CPU 或内存请求和限制 |
|
| Pod 快照 | 从保存的内存和文件系统检查点恢复 Pod 副本 | Standard 和 Autopilot 模式下的 GKE | HPA、集群自动扩缩器、节点池自动创建、容量缓冲区 | 从保存的快照创建 Pod 副本 |
|
| Run:ai Model Streamer | 将模型张量并行流式传输到 GPU 或 TPU 内存中 | Standard 和 Autopilot 模式下的 GKE | HPA、集群自动扩缩器、节点池自动创建、Volume Populator | AI 推理服务器启动和模型加载请求 |
|
| Volume Populator | 使用 Cloud Storage 中的数据预加载 Hyperdisk ML 卷 | Standard 和 Autopilot 模式下的 GKE | HPA、集群自动扩缩器、节点池自动创建、Pod 快照 | 创建引用 GCPDataSource 资源的 PersistentVolumeClaim |
|
| 自动扩缩政策 | 在 VMware 私有云集群中添加或移除 ESXi 主机 | VMware Engine | Cloud Load Balancing | CPU、内存或 vSAN 存储空间用量持续偏高 |
|
可伸缩性最佳实践
如需设计可扩缩的基础设施,避免出现瓶颈或容量不足,请在计算容量、网络设计和应用架构方面应用本部分中的最佳实践。
规划计算容量和可获取性
为了让您的基础设施做好应对需求增长的准备并提高硬件可获取性,请遵循以下做法:
估算工作负载需求:在配置自动扩缩器之前,请先测量基准用量和峰值波动。如需检查历史用量、预测需求并设置准确的计算实例数下限和上限,请使用容量规划工具。
设计资源可获取性:当您请求 GPU 或 TPU 等稀缺硬件时,请从以下三个维度优化计算预配:
位置灵活性:使用区域级 MIG 将工作负载分布到多个可用区。
机器类型灵活性:通过 MIG 实例灵活性或 GKE 自定义 ComputeClass 允许使用多种机器系列。
时间灵活性:当作业可以等待容量时,请使用灵活启动预配。
使用预留来确保高容量:对于基准流量、高峰规模事件或稀缺的 GPU 和 TPU,请提前预留容量。预留可让您高度确保在工作负载扩容时,目标可用区中有可用资源。如果单个 Slurm 作业超出一个预留,则跨多个预留分布 Cluster Toolkit 分区。
为对延迟时间敏感的工作负载预热备用容量:如果您的应用无法在流量突然激增期间等待新的计算实例预配,请维护随时可用的备用容量。配置 GKE 容量缓冲区以预配活跃节点或备用节点,或使用 Compute Engine MIG 中的备用池来恢复暂停的计算实例,而不会出现完整的操作系统启动延迟。
设计可扩缩的网络
如需在扩缩的资源之间移动数据,而不会出现延迟或地址耗尽,请应用以下网络做法:
分配足够的 IP 地址:验证您的子网是否有足够的可用 IP 地址,以满足自动扩缩器限制中的最大实例数或节点数。在 GKE 中,还要检查 Pod 和 Service 的次要 IP 范围。如果子网的 IP 地址用尽,则自动扩缩器无法创建新的计算实例或 Pod。
选择高吞吐量网络接口:对于在节点之间传输大型数据集或模型权重的工作负载,请选择高带宽网络接口控制器,例如 Google 虚拟网络接口卡或远程直接内存访问。这些接口可减少 CPU 开销,并增加扩缩的计算实例之间的带宽。
优化实例布置:对于多节点 AI 训练或 HPC 作业,在 Cluster Director 和 Cluster Toolkit 中使用紧凑布置政策或拓扑感知布置,将计算实例分组到彼此靠近的物理服务器上。紧凑的物理布置可减少扩缩节点之间的网络跃点和延迟时间。对于容错 Web 服务,请改为跨可用区分布计算实例,这样单个可用区服务中断就不会中断流量。
设计可扩缩的应用
如需让应用在不中断用户的情况下横向扩容和横向缩容,请应用以下架构实践:
使应用层保持无状态:将用户会话数据、检查点和共享文件存储在外部存储空间或数据库中,而不是存储在本地实例磁盘上。这种设计使自动扩缩器可以随时添加或移除计算实例和 Pod,而不会丢失数据。
使用队列和微服务解耦组件:将单体式工作负载拆分为由负载均衡器或消息队列(例如 Pub/Sub)连接的独立服务。此架构可让您根据每个服务的自身需求进行扩缩(包括使用事件驱动型自动扩缩器缩减至零),并吸收突发流量,而不会使下游后端过载。
缩短容器启动和模型加载时间:缩短资源创建与流量就绪之间的延迟时间,以便扩缩后的容量能够立即处理请求。在 GKE 中,流式传输或预加载容器映像,并使用 CPU 启动提升或 Pod 快照来加快运行时初始化。对于 AI 工作负载,从 Cloud Storage FUSE、Run:ai Model Streamer 或预填充的卷流式传输模型权重。