GPU 概览

通用 GPU 针对人工智能 (AI) 和机器学习 (ML) 工作负载进行了优化，这些工作负载优先考虑运营灵活性、资源独立性和成本效益。

通用 GPU 让团队能够以完全自主的方式部署和扩缩 NVIDIA 加速器，从而绕过协调超级计算集群的架构复杂性。它们非常适合优先考虑高可用性、自助预配和独立伸缩的工作负载。常见应用场景包括实时推理、RAG、原型设计以及中小型模型训练。

通用 GPU 的主要特征

  • 运营灵活性：您可以使用标准 GKE（Autopilot 和 Standard）和 Compute Engine 界面管理资源，以简化部署和伸缩。
  • 高可用性： Google Cloud 会独立更新各个实例，以帮助确保一个节点上的更新不会影响其他节点的可用性，从而使负载均衡器能够重定向流量，而不会导致服务舰队停滞。
  • 网络简单性：您的工作负载通过 Google 虚拟 NIC (gVNIC) 接口使用标准虚拟私有云 (VPC) 服务和标准 TCP/IP，从而消除复杂的硬件级结构。
  • 费用优化：您可以将 Spot 虚拟机用于容错研究，与标准按需费率相比，最多可节省 90% 的费用。
  • 自助获取：您可以直接通过标准预留和按需请求获取容量，而无需通过客户支持团队管理的工作流。

通用 GPU 系列和技术规格

查看通用 GPU 机器系列的工作负载和硬件规格。对于高吞吐量服务，请使用 A3 Edge 系列。

A3 系列（具有 1、2 或 4 个 GPU 的 A3 High 和 A3 Edge）

A3 High（1、2 或 4 个 GPU）

如果您运行的推理或标准训练工作负载需要高性能，但不需要完整的 8 GPU 同步集群，请使用挂接了 1、2 或 4 个 GPU 的 A3 High 机器系列。

A3 High 机器类型配备 NVIDIA H100 SXM GPU，非常适合大型模型推理和模型微调。如需了解机器类型限制，请参阅 A3 High 限制。

机器类型 vCPU 数量 实例内存 (GB) 已挂接的本地 SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps) NVIDIA H100 GPU 数量 GPU 内存 (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3000 1 100 4 320
a3-highgpu-8g 208 1,872 6000 5 1000 8 640

以下说明适用于上表：

  • vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
  • 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
  • GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

A3 Edge

如果您在没有协调集群结构的情况下跨多个主机运行高吞吐量分布式推理工作负载，请使用 A3 Edge 系列来简化通过标准虚拟专用网络的部署。

A3 Edge 机器类型配备 NVIDIA H100 SXM GPU，专为部署而设计，在部分区域提供。如需了解机器类型限制，请参阅 A3 Edge 限制。

机器类型 vCPU 数量 实例内存 (GB) 已挂接的本地 SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps) NVIDIA H100 GPU 数量 GPU 内存 (GB HBM3)
a3-edgegpu-8g 208 1,872 6000 5 600（asia-south1 和 northamerica-northeast2）或 400（所有其他 A3 Edge 区域） 8 640

A2 系列（标准版和 Ultra 版）

如果您需要执行高性能单节点模型部署或小规模模型微调，请使用 A2 机器系列访问专用 NVIDIA A100 GPU 资源。

A2 Ultra

机器类型 vCPU 数量 实例内存 (GB) 已挂接的本地 SSD (GiB) 最大网络带宽 (Gbps) NVIDIA A100 80GB GPU 数量 GPU 内存 (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1500 50 4 320
a2-ultragpu-8g 96 1,360 3000 100 8 640

以下说明适用于上表：

  • vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
  • 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
  • GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

A2 标准

机器类型 vCPU 数量 实例内存 (GB) 支持本地 SSD 最大网络带宽 (Gbps) NVIDIA A100 40GB GPU 数量 GPU 内存 (GB HBM2)
a2-highgpu-1g 12 85 是 24 1 40
a2-highgpu-2g 24 170 是 32 2 80
a2-highgpu-4g 48 340 是 50 4 160
a2-highgpu-8g 96 680 是 100 8 320
a2-megagpu-16g 96 1,360 是 100 16 640

以下说明适用于上表：

  • vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
  • 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
  • GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

G4 系列

如果您的团队需要经济实惠的入门级推理或标准图形渲染工作负载，请使用配备 NVIDIA RTX PRO 6000 GPU 的 G4 机器系列。

G4 机器类型使用 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU (nvidia-rtx-pro-6000)，适用于 NVIDIA Omniverse 模拟工作负载、图形密集型应用、视频转码和虚拟桌面。与 A 系列机器类型相比，G4 机器类型还提供了一种低成本解决方案来执行单主机推理和模型调优。

您还可以在创建 G4 实例时添加 Titanium SSD 磁盘。如需了解可挂接的磁盘数量，请参阅需要您选择本地 SSD 磁盘数量的机器类型。 如需了解机器类型限制，请参阅 G4 限制。

机器类型 vCPU 数量 实例内存 (GB) 支持的最大 Titanium SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps) NVIDIA RTX PRO 6000 GPU 数量 GPU 内存 (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3000 1 100 2 192
g4-standard-192 192 720 6000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

*GPU 内存是 GPU 设备上提供的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理加速工作负载（例如机器学习和图形密集型工作负载）的更高带宽需求。

G2 系列

如果您要部署主流实时推理应用或检索增强生成 (RAG) 流水线，请使用 G2 机器系列，通过 NVIDIA L4 GPU 平衡性能和成本效益。

机器类型 vCPU 数量 默认实例内存 (GB) 自定义实例内存范围 (GB) 支持的最大本地 SSD (GiB) 最大网络带宽 (Gbps) NVIDIA L4 GPU 数量 GPU 内存 (GB GDDR6)
g2-standard-4 4 16 16 - 32 375 10 1 24
g2-standard-8 8 32 32 - 54 375 16 1 24
g2-standard-12 12 48 48 - 54 375 16 1 24
g2-standard-16 16 64 54 - 64 375 32 1 24
g2-standard-24 24 96 96 - 108 750 32 2 48
g2-standard-32 32 128 96 - 128 375 32 1 24
g2-standard-48 48 192 192 - 216 1500 50 4 96
g2-standard-96 96 384 384 - 432 3000 100 8 192

以下说明适用于上表：

  • vCPU 数量：每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
  • 最大网络带宽：最大出站流量带宽不能超过给定的数字。实际的出站带宽取决于目的地 IP 地址和其他因素。 如需详细了解网络带宽，请参阅网络带宽。
  • GPU 内存：GPU 内存是 GPU 设备上的内存，可用于临时存储数据。它与实例的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。

N1 系列（NVIDIA T4 或 V100）

如果您的首要任务是进行对成本敏感的实验或运行低并发、入门级推理，请使用 N1 机器系列挂接 NVIDIA T4 或 V100 GPU。

NVIDIA T4

加速器类型 NVIDIA T4 GPU 数量 GPU 内存 (GB GDDR6) vCPU 数量 实例内存 (GB) 支持本地 SSD
nvidia-tesla-t4 或 nvidia-tesla-t4-vws 1 16 1 - 48 1 - 312 是
nvidia-tesla-t4 或 nvidia-tesla-t4-vws 2 32 1 - 48 1 - 312 是
nvidia-tesla-t4 或 nvidia-tesla-t4-vws 4 64 1 - 96 1 - 624 是

NVIDIA V100

加速器类型 NVIDIA V100 GPU 数量 GPU 内存 (GB HBM2) vCPU 数量 实例内存 (GB) 支持本地 SSD
nvidia-tesla-v100 1 16 1 - 12 1 - 78 是（us-east1-c除外）
nvidia-tesla-v100 2 32 1 - 24 1 - 156 是（us-east1-c除外）
nvidia-tesla-v100 4 64 1 - 48 1 - 312 是（us-east1-c除外）
nvidia-tesla-v100 8 128 1 - 96 1 - 624 是（us-east1-c除外）

容量获取

通用 GPU 加速器使用标准自助预配。您可以通过标准预留、按需请求或 Spot 虚拟机获取容量。由于按需容量可能会出现缺货情况，因此请尽可能使用 Spot 虚拟机或灵活启动。

后续步骤