現代機器學習框架經常使用 NVIDIA Collective Communications Library (NCCL) 做為 GPU 對 GPU 通訊的基元。
Google 的 NCCL 強化版稱為 NCCL/gIB,適用於Google Cloud的 A5X、A4X Max、A4X、A4 和 A3 Ultra 執行個體。在 Google 基礎架構上,NCCL/gIB 的效能通常優於上游 NCCL。NCCL 效能可能會影響整體工作負載效能,因此建議您使用 NCCL/gIB。
NCCL/gIB 架構
NCCL/gIB 軟體堆疊由兩個獨立元件組成,兩者會搭配運作:
- NCCL Core (NVIDIA 的
libnccl.so):提供標準的 GPU 對 GPU 通訊作業,例如機器學習框架呼叫的AllReduce、AllGather和Broadcast。 Google 的 NCCL/gIB 外掛程式:透過Google Cloud 網路最佳化和遙測功能,動態擴充 NCCL Core:
gIB 網路外掛程式 (
libnccl-net.so):透過 RoCE v2 使用 GPUDirect RDMA,平衡多個網路路徑的流量,在集體作業期間提供高處理量和低延遲。自訂調整器外掛程式 (
libnccl-tuner.so):為 Google CloudVM 拓撲選取建議的集體演算法、通訊協定和通道設定。CoMMA 分析器外掛程式 (
libnccl-profiler.so和libGPUViz.so):收集成效指標和診斷資料,偵測停滯的程序和緩慢的節點。環境外掛程式 (
libnccl-env-gcp.so):使用 NCCL 2.28.7 以上版本時,在 Google Cloud VM 之間套用平台專屬的 NCCL 環境變數。
下圖顯示機器學習架構如何與 NVIDIA GPU、NCCL Core 和 Google 的 NCCL/gIB 外掛程式互動:

Google 的外掛程式會動態載入,因此只要 NCCL Core 版本在支援範圍內,您就能獨立升級 NCCL Core,使用較新的 CUDA 版本或符合架構需求。如要瞭解支援的版本,請參閱 x86 版本資訊和 ARM64 版本資訊中的版本相容性表格。
使用 NCCL/gIB 的好處
雖然您可以在 Google Cloud VM 上使用上游 NVIDIA Collective Communications Library,不會有穩定性問題,但 NCCL/gIB 針對 Google Cloud 進行了更佳的最佳化,即使使用相同的 NCCL 參數,某些通訊模式的效能差異也可能非常顯著。
舉例來說,下圖比較 NCCL/gIB 與上游 NCCL 的 AllReduce 效能。在特定訊息大小下,NCCL/gIB 的效能比上游 NCCL 高出 12 倍。

使用 A3 Ultra (H200) 的 32 節點 NCCL AllReduce 效能,沒有背景流量。
同樣地,在有背景流量的情況下,比較 NCCL/gIB 與上游 NCCL 的 AllGather 效能,NCCL/gIB 在較大訊息大小上的效能比上游 NCCL 高出約 50%,如這張圖表所示。

在背景雜訊較多的共用網狀架構上,使用 A3 Ultra (H200) 的 32 節點 NCCL AllGather 效能。
此外,CoMMA 分析器外掛程式可為 Google 提供更完善的自訂遙測功能,讓我們在發生工作負載層級問題時,能更有效地協助您。
安裝 NCCL/gIB
執行 NCCL 測試前,請務必在執行階段環境中安裝 NCCL/gIB。
使用 NCCL/gIB
如要在叢集上執行 NCCL/gIB 測試,請從下列清單中選擇最符合您需求的頁面:
- 在 NVIDIA NGC 容器中使用 gIB NCCL 外掛程式
- 在 Compute Engine 執行個體上執行 NCCL 測試
- 在採用 Cluster Toolkit 的 GKE 叢集上執行 NCCL
- 在採用 A4X Max 的 GKE 叢集上執行 NCCL
- 在採用 A4X 的 GKE 叢集上執行 NCCL
- 在採用 A4 或 A3 Ultra 的 GKE 叢集上執行 NCCL
- 在 Slurm 叢集上執行 NCCL 測試
- 在 Cluster Director 中執行 NCCL 測試
如要瞭解如何在採用 A5X 的 GKE 叢集上執行 NCCL/gIB,請洽詢 Google Cloud 代表。
如要瞭解如何在執行測試後解決叢集問題,請參閱「收集並瞭解 NCCL/GiB 記錄,以便疑難排解」。