AI Hypercomputer 提供垂直集成的基础设施，针对要求苛刻的人工智能 (AI) 和机器学习 (ML) 工作负载进行了优化。高性能 NVIDIA GPU 根据系统处理其生命周期事件和维护的方式进行分类：通用 GPU 和集群化 GPU。
如需确定适合您的工作负载的最佳基础架构类别，请参阅选择加速器基础架构。
通用 GPU
通用 GPU 作为独立的计算单元进行管理，使用标准 Compute Engine 和 Google Kubernetes Engine (GKE) API 直接与 Google Cloud的控制平面集成。
通用 GPU 包括以下机器系列：
- 配备 1、2 或 4 个 (NVIDIA H100) GPU 的 A3 High：针对不需要 8 GPU 同步集群的标准训练和推理工作负载进行了优化。
- A3 Edge (NVIDIA H100)：针对使用标准 VPC 网络在多个主机上分布式运行的高吞吐量推理进行了优化。
- A2 (NVIDIA A100)：针对高性能单节点服务和大规模微调进行了优化。
- G4 (NVIDIA RTX PRO 6000)：针对经济实惠的入门级推理和图形工作负载进行了优化。
- G2 (NVIDIA L4)：针对主流推理和 RAG 进行了优化。
- N1（NVIDIA T4 或 V100）：针对入门级推理和研究任务进行了优化，这些任务更注重成本，而非高性能互连。
集群化 GPU
集群化 GPU 通过 Cluster Director 进行管理，作为一个由数千个互连加速器组成的紧密耦合系统。
集群化 GPU 包括以下机器系列：
- A5X (NVIDIA Vera Rubin)：专为基础模型的艾级训练、推理模型的推理以及裸金属上的高性能计算而设计，搭载 NVIDIA Vera Rubin 超级芯片。
- A4X Max (NVIDIA GB300)：专为裸金属艾级训练和高性能计算而设计，采用 NVIDIA GB300 Grace Blackwell Ultra 超级芯片。
- A4X (NVIDIA GB200) 和 A4 (NVIDIA B200)：专为基础模型训练和艾级基础模型训练而设计。
- A3 Ultra (NVIDIA H200)、A3 Mega (NVIDIA H100) 和 A3 High（配备 8 个 NVIDIA H100 GPU）：针对涉及海量数据表的大规模分布式训练和多主机推理进行了优化。
GPU 性能注意事项
如需评估和优化工作负载的性能，您可以跟踪硬件级指标，例如 CUDA 核心和 Tensor Core 利用率。如需监控资源并评估通用环境和集群环境的性能，请参阅以下内容：
- 监控信息中心：跟踪单个独立实例或编排的集群舰队的实时 GPU 利用率和内存用量。
- 有效吞吐量指标配方：衡量加速器执行有效计算的时间与系统开销时间的百分比，强烈建议在集群硬件上进行大规模分布式训练时使用。
后续步骤
- 如需评估您的基础设施要求，请参阅选择加速器基础设施。
- 如需查看启动集群时要执行的流程和要做的选择，请参阅规划和创建 AI 基础设施。