運用 NCCL/gIB 最佳化調整叢集網路

現代機器學習框架經常使用 NVIDIA Collective Communications Library (NCCL) 做為 GPU 對 GPU 通訊的基元。

Google 的 NCCL 強化版稱為 NCCL/gIB,適用於Google Cloud的 A5X、A4X Max、A4X、A4 和 A3 Ultra 執行個體。在 Google 基礎架構上,NCCL/gIB 的效能通常優於上游 NCCL。NCCL 效能可能會影響整體工作負載效能,因此建議您使用 NCCL/gIB。

NCCL/gIB 架構

NCCL/gIB 軟體堆疊由兩個獨立元件組成,兩者會搭配運作:

  • NCCL Core (NVIDIA 的 libnccl.so):提供標準的 GPU 對 GPU 通訊作業,例如機器學習框架呼叫的 AllReduce、AllGather 和 Broadcast。
  • Google 的 NCCL/gIB 外掛程式:透過Google Cloud 網路最佳化和遙測功能,動態擴充 NCCL Core:

    • gIB 網路外掛程式 (libnccl-net.so):透過 RoCE v2 使用 GPUDirect RDMA,平衡多個網路路徑的流量,在集體作業期間提供高處理量和低延遲。

    • 自訂調整器外掛程式 (libnccl-tuner.so):為 Google CloudVM 拓撲選取建議的集體演算法、通訊協定和通道設定。

    • CoMMA 分析器外掛程式 (libnccl-profiler.so 和 libGPUViz.so):收集成效指標和診斷資料,偵測停滯的程序和緩慢的節點。

    • 環境外掛程式 (libnccl-env-gcp.so):使用 NCCL 2.28.7 以上版本時,在 Google Cloud VM 之間套用平台專屬的 NCCL 環境變數。

下圖顯示機器學習架構如何與 NVIDIA GPU、NCCL Core 和 Google 的 NCCL/gIB 外掛程式互動:

機器學習工作負載由機器學習架構管理,該架構會連結至 NVIDIA GPU 和 NCCL,而 NCCL 則連結至各種 Google 工具和外掛程式。

Google 的外掛程式會動態載入,因此只要 NCCL Core 版本在支援範圍內,您就能獨立升級 NCCL Core,使用較新的 CUDA 版本或符合架構需求。如要瞭解支援的版本,請參閱 x86 版本資訊和 ARM64 版本資訊中的版本相容性表格。

使用 NCCL/gIB 的好處

雖然您可以在 Google Cloud VM 上使用上游 NVIDIA Collective Communications Library,不會有穩定性問題,但 NCCL/gIB 針對 Google Cloud 進行了更佳的最佳化,即使使用相同的 NCCL 參數,某些通訊模式的效能差異也可能非常顯著。

舉例來說,下圖比較 NCCL/gIB 與上游 NCCL 的 AllReduce 效能。在特定訊息大小下,NCCL/gIB 的效能比上游 NCCL 高出 12 倍。

圖表顯示 NCCL/gIB 在 AllReduce 任務中的效能優於上游 NCCL。

使用 A3 Ultra (H200) 的 32 節點 NCCL AllReduce 效能,沒有背景流量。

同樣地,在有背景流量的情況下,比較 NCCL/gIB 與上游 NCCL 的 AllGather 效能,NCCL/gIB 在較大訊息大小上的效能比上游 NCCL 高出約 50%,如這張圖表所示。

圖表顯示 NCCL/gIB 在 AllGather 工作中的效能優於上游 NCCL。

在背景雜訊較多的共用網狀架構上,使用 A3 Ultra (H200) 的 32 節點 NCCL AllGather 效能。

此外,CoMMA 分析器外掛程式可為 Google 提供更完善的自訂遙測功能,讓我們在發生工作負載層級問題時,能更有效地協助您。

安裝 NCCL/gIB

執行 NCCL 測試前,請務必在執行階段環境中安裝 NCCL/gIB。

使用 NCCL/gIB

如要在叢集上執行 NCCL/gIB 測試,請從下列清單中選擇最符合您需求的頁面:

如要瞭解如何在採用 A5X 的 GKE 叢集上執行 NCCL/gIB,請洽詢 Google Cloud 代表。

如要瞭解如何在執行測試後解決叢集問題,請參閱「收集並瞭解 NCCL/GiB 記錄,以便疑難排解」。