集群 GPU 概览

集群化 GPU

集群化 GPU 针对人工智能 (AI) 和机器学习 (ML) 工作负载进行了优化，这些工作负载优先考虑大规模分布式训练、多主机推理和复杂的高性能计算 (HPC) 任务。

借助集群化 GPU，团队可以使用专用网络结构和同步维护，将数千个互连的加速器作为一个紧密耦合的系统进行部署和扩缩。它们非常适合需要极高计算、内存和高速网络同步的工作负载。常见应用场景包括预训练具有数万亿个参数的基础模型、前沿模型部署以及药物发现模拟。

集群化 GPU 的主要特征

• 同步维护： Google Cloud 同时更新集群中的所有节点，防止单个节点重启导致作业停滞。
• 自动健康状况监控：系统会主动识别落后节点，并监控硬件故障或静默数据损坏。
• 主动节点替换：系统会从备用池中逐出性能不佳的虚拟机，并在健康状况良好的机器上重新安排这些虚拟机。
• 导轨对齐拓扑：导轨对齐拓扑可将 GPU 到 GPU 的流量与标准主机通信隔离开来，从而帮助确保大规模多节点协调的无抖动性能。
• 高级协议：这些机器系列支持高带宽互连，包括 GPUDirect RDMA（基于 RoCE）。

集群化 GPU 系列和技术规格

请查看下表，了解高级集群化 GPU 机器系列的工作负载和硬件规格。对于百亿亿次级训练，请使用 A5X、A4X Max、A4X 或 A3 Ultra 系列。

A5X 系列

注意：Compute Engine 服务等级协议 (SLA) 不适用于 A5X 机器系列。

如果您要在裸机上训练大规模基础模型、对推理模型运行推理或执行复杂的高性能计算 (HPC) 模拟，请使用 A5X 机器系列。该系列采用 NVIDIA Vera Rubin 超级芯片，可满足高计算和内存需求。

A5X 机器类型使用 NVIDIA Vera Rubin 超级芯片，非常适合基础模型训练、推理和部署。A5X 机器类型作为裸金属实例提供。

A5X 是基于 NVIDIA Vera Rubin NVL72 的艾级平台。每台机器都有两个搭载了 NVIDIA Vera CPU 的插槽。这些 CPU 通过快速芯片间 (NVLink-C2C) 通信连接到四个 NVIDIA Rubin GPU。如需了解机器类型限制，请参阅 A5X 限制。

注意：如需开始使用 A5X 实例，请与您的客户支持团队联系，以预留容量并获取有关创建实例和集群的说明。

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA Rubin GPU 数量	GPU 内存 (GB HBM4)
a5x-highgpu-4g-metal	176	1,440	48,000	10	7,200	4	1,152

以下说明适用于上表：

• vCPU 数量：对于 A5X 裸金属实例，vCPU 数量为 176，代表 NVIDIA Vera CPU 平台上两个 88 核插槽中的 176 个物理 CPU 核心。
• 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
• GPU 内存：GPU 内存是 GPU 设备上用于存储临时数据的内存。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

A4X Max 和 A4X 系列

注意：Compute Engine 服务等级协议 (SLA) 不适用于 A4X Max 和 A4X 机器系列。

如果您要训练大规模百亿亿次级基础模型或运行高度复杂的裸金属高性能计算 (HPC) 模拟，请使用 A4X Max 或 A4X 机器系列。这些系列采用 NVIDIA GB300 Grace Blackwell Ultra 超级芯片，可满足极高的计算和内存需求。

A4X Max（裸机）

A4X Max 机器类型使用 NVIDIA GB300 Grace Blackwell Ultra 超级芯片 (nvidia-gb300)，非常适合基础模型训练和部署。A4X Max 机器类型以裸金属实例的形式提供。

A4X Max 是基于 NVIDIA GB300 NVL72 的艾级平台。每台机器都有两个搭载了 Arm Neoverse V2 核心的 NVIDIA Grace CPU 插槽。这些 CPU 通过快速芯片间 (NVLink-C2C) 通信连接到四个 NVIDIA B300 Blackwell GPU。如需了解机器类型限制，请参阅 A4X Max 和 A4X 限制。

注意：在预配 A4X Max 实例时，您必须预留容量，以便创建实例和集群。然后，您可以创建使用 AI Hypercomputer 提供的功能和服务的实例。如需了解详情，请参阅部署选项概览。

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA GB300 GPU 数量	GPU 内存 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12000	6	3600	4	1,116

以下说明适用于上表：

• vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
• 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
• GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

A4X

A4X 机器类型使用 NVIDIA GB200 Grace Blackwell 超级芯片 (nvidia-gb200)，非常适合基础模型训练和部署。

A4X 是基于 NVIDIA GB200 NVL72 的艾级平台。每台机器都有两个搭载了 Arm Neoverse V2 核心的 NVIDIA Grace CPU 插槽。这些 CPU 通过快速芯片间 (NVLink-C2C) 通信连接到四个 NVIDIA B200 Blackwell GPU。如需了解机器类型限制，请参阅 A4X Max 和 A4X 限制。

注意：在预配 A4X 实例时，您必须预留容量，以便创建实例和集群。然后，您可以创建使用 AI Hypercomputer 提供的功能和服务的实例。如需了解详情，请参阅部署选项概览。

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA GB200 GPU 数量	GPU 内存 (GB HBM3e)
a4x-highgpu-4g	140	884	12,000	6	2,000	4	744

以下说明适用于上表：

• vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
• 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
• GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

A4 系列

如果您的目标是训练需要大规模并行处理的前沿基础模型，请使用 A4 机器系列来优化处理时间并最大限度地提高硬件吞吐量。

A4 机器类型挂接了 NVIDIA B200 Blackwell GPU (nvidia-b200)，非常适合基础模型训练和部署。如需了解机器类型限制，请参阅 A4 限制。

注意：在预配 A4 机器类型时，您必须预留容量，以便创建实例或集群、使用 Spot 虚拟机，使用灵活启动型虚拟机或在 MIG 中创建规模调整请求。如需了解如何创建 A4 实例，请参阅创建虚拟机和集群概览。 .

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA B200 Blackwell GPU 数量	GPU 内存 (GB HBM3e)
a4-highgpu-8g	224	3,968	12,000	10	3600	8	1,440

以下说明适用于上表：

• vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
• 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
• GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

A3 系列（具有 8 个 GPU 的 Ultra、Mega 和 High）

如果您需要执行大规模分布式训练运行，或在具有大型数据集表的多个主机上提供前沿模型，请使用 A3 机器系列，以最大限度地减少主机到主机的网络延迟。

A3 Ultra

注意：在预配 A3 Ultra 机器类型时，您必须预留容量，以便创建实例或集群、使用 Spot 虚拟机、使用灵活启动型虚拟机或在 MIG 中创建规模调整请求。如需详细了解创建 A3 Ultra 实例时要设置的参数，请参阅创建虚拟机和集群概览。

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA H200 GPU 数量	GPU 内存 (GB HBM3e)
a3-ultragpu-8g	224	2,952	12,000	10	3600	8	1128

A3 Mega

注意：在预配 a3-megagpu-8g 机器类型时，建议使用这些实例的集群，并使用 Google Kubernetes Engine (GKE) 或 Slurm 等调度器进行部署。如需详细了解任一选项，请查看以下内容：

• 如需创建 Google Kubernetes Engine 集群，请参阅使用 GKE 部署 A3 Mega 集群。
• 如需创建 Slurm 集群，请参阅部署 A3 Mega Slurm 集群。

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA H100 GPU 数量	GPU 内存 (GB HBM3)
a3-megagpu-8g	208	1,872	6000	9	1800	8	640

A3 High

注意：在预配 a3-highgpu-1g、a3-highgpu-2g 或 a3-highgpu-4g 机器类型时，您必须使用 Spot 虚拟机或灵活启动型虚拟机来创建实例。如需详细了解这些选项，请查看以下内容：

• 如需创建 Spot 虚拟机，请在创建加速器优化虚拟机时将预配模型设置为 SPOT。
• 如需创建灵活启动型虚拟机，您可以使用以下方法之一：
  • 创建独立虚拟机，并在创建加速器优化虚拟机时将预配模型设置为 FLEX_START。
  • 在代管式实例组 (MIG) 中创建规模调整请求。如需查看相关说明，请参阅创建具有 GPU 虚拟机的 MIG。

机器类型	vCPU 数量	实例内存 (GB)	已挂接的本地 SSD (GiB)	物理 NIC 数量	最大网络带宽 (Gbps)	NVIDIA H100 GPU 数量	GPU 内存 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1,500	1	50	2	160
a3-highgpu-4g	104	936	3000	1	100	4	320
a3-highgpu-8g	208	1,872	6000	5	1000	8	640

以下说明适用于上表：

• vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
• 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
• GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

容量获取

获取集群化 GPU 的计算容量需要进行协调，以管理高性能加速器的供需。由于这些资源实际位于专用网络结构中，因此您必须通过代管式工作流请求这些资源。

您可以通过客户支持团队预留容量，也可以使用未来预留和动态工作负载调度器。

后续步骤

• 如需了解如何获取容量，请参阅使用选项。
• 如需评估您的基础架构要求，请参阅选择基础架构。
• 如需规划网络拓扑，请参阅集群环境的 GPU 网络要求。
• 如需预留计算资源，请参阅预留容量。