现代机器学习框架通常使用 NVIDIA Collective Communications Library (NCCL) 来实现 GPU 间通信原语。
Google 的增强版 NCCL 称为 NCCL/gIB,可在Google Cloud的 A5X、A4X Max、A4X、A4 和 A3 Ultra 实例上使用。在 Google 基础设施上,NCCL/gIB 通常比上游 NCCL 性能更高。由于 NCCL 性能可能会影响整体工作负载性能,因此我们建议您使用 NCCL/gIB。
NCCL/gIB 架构
NCCL/gIB 软件栈由两个协同工作的独立组件组成:
- NCCL Core(来自 NVIDIA 的
libnccl.so):提供机器学习框架调用的标准 GPU 到 GPU 通信操作,例如AllReduce、AllGather和Broadcast。 Google 的 NCCL/gIB 插件:通过Google Cloud 网络优化和遥测动态扩展 NCCL 核心:
gIB 网络插件 (
libnccl-net.so):通过在 RoCE v2 上使用 GPUDirect RDMA,在多个网络路径之间平衡流量,从而在集合操作期间提供高吞吐量和低延迟。自定义调谐器插件 (
libnccl-tuner.so):为 Google Cloud虚拟机拓扑选择推荐的集合算法、协议和通道设置。CoMMA 性能分析器插件(
libnccl-profiler.so和libGPUViz.so):收集效果指标和诊断数据,以检测停滞的进程和缓慢的节点。环境插件 (
libnccl-env-gcp.so):当您使用 NCCL 2.28.7 或更高版本时,在 Google Cloud 虚拟机中应用平台特定的 NCCL 环境变量。
下图展示了机器学习框架如何与 NVIDIA GPU、NCCL Core 和 Google 的 NCCL/gIB 插件进行交互:

由于 Google 的插件是动态加载的,因此您可以独立升级 NCCL Core,以使用更高版本的 CUDA 或满足框架要求,只要您的 NCCL Core 版本在支持的范围内即可。如需了解支持的版本,请参阅 x86 版本说明和 ARM64 版本说明中的版本兼容性表。
使用 NCCL/gIB 的优势
虽然可以在 Google Cloud 虚拟机上使用上游 NVIDIA Collective Communications Library,而不会出现稳定性问题,但 NCCL/gIB 针对 Google Cloud 进行了更好的优化,并且对于某些通信模式,即使使用相同的 NCCL 参数,性能差异也可能非常显著。
例如,下图显示了 NCCL/gIB 与上游 NCCL 在 AllReduce 性能方面的比较。在某些消息大小下,NCCL/gIB 的性能比上游 NCCL 高出多达 12 倍。

使用 A3 Ultra (H200) 且无后台流量时的 32 节点 NCCL AllReduce 性能。
同样,在有后台流量的情况下,NCCL/gIB 与上游 NCCL 在 AllGather 性能方面的比较中,NCCL/gIB 在较大消息大小下的性能比上游 NCCL 高出约 50%,如图所示。

在具有噪声背景的共享网络上,使用 A3 Ultra (H200) 的 32 节点 NCCL AllGather 性能。
此外,CoMMA 性能分析器插件还可为 Google 提供经过改进的自定义遥测数据,使我们能够在出现工作负载级问题时更好地为您提供帮助。
安装 NCCL/gIB
在运行 NCCL 测试之前,您必须在运行时环境中安装 NCCL/gIB。
使用 NCCL/gIB
如需在集群上运行 NCCL/gIB 测试,请从以下列表中选择最符合您要求的页面:
- 在 NVIDIA NGC 容器中使用 gIB NCCL 插件
- 在 Compute Engine 实例上运行 NCCL 测试
- 在采用 Cluster Toolkit 的 GKE 集群上运行 NCCL
- 在 A4X Max GKE 集群上运行 NCCL
- 在 A4X GKE 集群上运行 NCCL
- 在 A4 或 A3 Ultra GKE 集群上运行 NCCL
- 在 Slurm 集群上运行 NCCL 测试
- 在 Cluster Director 中运行 NCCL 测试
如需了解如何在 A5X GKE 集群上运行 NCCL/gIB,请与您的 Google Cloud 代表联系。
如需了解如何在运行测试后解决集群问题,请参阅收集和了解 NCCL/gIB 日志以进行问题排查。