使用本文档，根据您的生命周期阶段（例如小规模原型设计、实时推理和大规模分布式训练），为您的 AI 和机器学习 (ML) 工作负载确定最佳加速器基础设施。AI Hypercomputer 将加速器产品分为两类：通用 GPU 和集群化 GPU。
GPU 基础设施
AI Hypercomputer 提供两类不同的 GPU。每个类别都有一个独特的管理模型，用于确定系统如何处理生命周期事件、管理维护以及优化工作负载的网络：
通用 GPU 管理模型
通用 GPU 管理模型专为优先考虑资源独立性和高可用性的工作负载而设计。此模型使用标准 Google Cloud 管理平面，为已经使用 Compute Engine 或 GKE 的团队提供熟悉的体验。
维护：异步。各个实例会单独更新。在多节点服务舰队中，一个节点上的维护事件不会影响其他节点的可用性，从而使流量可以重定向到健康节点，而不会导致整个作业停滞。
主要用例：推荐用于主流任务，例如实时推理、模型部署、小规模原型设计以及不需要超级计算规模的开发环境。
通用 GPU 机器系列
以下机器系列是通用 GPU：
- 具有 1、2 或 4 个 GPU 的 A3 High
- A3 Edge
- A2
- G4
- G2
- N1+T4
- N1+V100
如需了解每种通用 GPU 机器的技术信息，请参阅 GPU 机器类型。
集群化 GPU 管理模型
集群化 GPU 管理模型是专为大规模分布式训练而设计的超级计算级环境。通过使用集群化 GPU 堆栈，资源可以作为一个紧密耦合的系统进行管理。
维护：协调。此模型可协调维护事件，以支持紧密耦合的工作负载。对于分布式训练，您可以使用同步维护，即同时在所有节点上应用更新。这种方法可防止节点重启导致作业停滞，并最大限度地提高有效吞吐量。此模型还提供 90 天维护通知。
主要应用场景：专为训练具有数万亿个参数的百亿亿级基础模型或运行复杂的高性能计算 (HPC) 模拟（例如药物发现和蛋白质折叠）而设计。
集群化 GPU 机器系列
以下机器系列是集群化 GPU：
- A5X
- A4X Max
- A4X
- A4
- A3 Ultra
- A3 Mega
- 具有 8 个 GPU 的 A3 High
如需了解每种集群化 GPU 机器的技术信息，请参阅 GPU 机器类型。
功能矩阵
比较通用 GPU 和集群化 GPU 管理模式的技术和运维特征：
| 特征 | 通用 GPU 管理模型 | 集群化 GPU 管理模型 |
|---|---|---|
| 主要应用场景 | 推理、模型部署、原型设计和开发 | 大规模分布式训练和 HPC |
| 维护 | 异步：独立的节点更新允许重定向流量，而不会导致作业停滞 | 协调：支持集群范围内的协调（同步）更新，以保持节点同步并最大限度地提高有效吞吐量 |
| 目标硬件 | A3 High（1、2 或 4 个 GPU）、A3 Edge、G4、G2、A2、N1+T4 和 N1+V100 | A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High（8 个 GPU） |
| 网络 | 通过 gVNIC 接口的标准 VPC 网络（A3 Edge 除外，它通过多个 VPC 使用 GPUDirect-TCPX） | 专用低延迟网络（RDMA、RoCE、TCPX 或 NVIDIA NVLink） |
| 管理堆栈 | 标准 Google Cloud 平面（Compute Engine 或 GKE） | 专用管理堆栈（例如 Cluster Director） |
| 可靠性 | 标准节点自动修复和 Pod 级正常运行时间 | 专用资源和恢复套件 |
决策矩阵
使用此矩阵可确定哪些硬件系列符合您的特定工作负载意图：
| 如果您的工作负载涉及… | 推荐的 GPU 基础设施 | 推荐的机器系列 |
|---|---|---|
| 原型设计和开发 | 通用 GPU | A3 High（1、2 或 4 个 GPU）、A3 Edge、A2、G4、G2、N1+T4、N1+V100 |
| 实时推理（< 1,000 亿个参数） | 通用 GPU | A3 High（1、2 或 4 个 GPU）、A3 Edge、A2、G4、G2、N1+T4、N1+V100 |
| 跨多个 GPU 进行推理 | 集群化 GPU | A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU） |
| 大规模训练和推理 | 集群化 GPU | A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU） |
| 大规模训练（> 5,000 亿个参数）和解耦推理 | 集群化 GPU | A5X、A4X Max、A4X、A4 |
如需查看将模型架构直接映射到硬件的详细决策树，请参阅选择加速器。
确定这些主要标准后，选择一个编排平台。 具体选择取决于您的团队是更倾向于自动化管理，还是更倾向于对操作系统和驱动程序进行精细控制。
后续步骤
- 如需选择编排器和部署选项，请参阅选择编排器和部署选项。
- 如需部署推理工作负载或运行大规模训练，请参阅 AI Hypercomputer 教程。
- 如需优化系统效率，请参阅 Goodput 优化 recipe。