I moderni framework di machine learning spesso utilizzano la NVIDIA Collective Communications Library (NCCL) per le primitive di comunicazione GPU-GPU.
La versione migliorata di NCCL di Google si chiama NCCL/gIB ed è disponibile sulle istanze A5X, A4X Max, A4X, A4 e A3 Ultra diGoogle Cloud. NCCL/gIB è spesso più performante di NCCL upstream sull'infrastruttura Google. Poiché le prestazioni di NCCL possono influire sulle prestazioni complessive del workload, ti consigliamo di utilizzare NCCL/gIB.
Architettura NCCL/gIB
Lo stack software NCCL/gIB è costituito da due componenti separati che funzionano insieme:
- NCCL Core (
libnccl.sodi NVIDIA): fornisce le operazioni di comunicazione GPU-GPU standard, comeAllReduce,AllGathereBroadcast, chiamate dai framework di machine learning. Plug-in NCCL/gIB di Google: estendono NCCL Core in modo dinamico con ottimizzazioni di rete e telemetria diGoogle Cloud :
Plug-in di rete gIB (
libnccl-net.so): bilancia il traffico su più percorsi di rete utilizzando GPUDirect RDMA su RoCE v2 per offrire un throughput elevato e una latenza bassa durante le operazioni collettive.Plug-in di ottimizzazione personalizzato (
libnccl-tuner.so): seleziona gli algoritmi, i protocolli e le impostazioni dei canali collettivi consigliati per le topologie di VM Google Cloud.Plug-in del profiler CoMMA (
libnccl-profiler.soelibGPUViz.so): raccoglie metriche sul rendimento e dati diagnostici per rilevare processi bloccati e nodi lenti.Plug-in dell'ambiente (
libnccl-env-gcp.so): applica le variabili di ambiente NCCL specifiche della piattaforma alle VM Google Cloud quando utilizzi NCCL 2.28.7 o versioni successive.
Il seguente diagramma mostra come il framework di machine learning interagisce con le GPU NVIDIA, NCCL Core e i plug-in NCCL/gIB di Google:

Poiché i plug-in di Google vengono caricati in modo dinamico, puoi eseguire l'upgrade di NCCL Core in modo indipendente per utilizzare una versione CUDA successiva o soddisfare i requisiti del framework, purché la versione di NCCL Core rientri nell'intervallo supportato. Per le versioni supportate, consulta le tabelle di compatibilità delle versioni nelle note di rilascio di x86 e nelle note di rilascio di ARM64.
Vantaggi dell'utilizzo di NCCL/gIB
Sebbene sia possibile utilizzare la NVIDIA Collective Communications Library upstream sulle VM Google Cloud senza problemi di stabilità, NCCL/gIB è ottimizzata meglio per Google Cloud e la disparità di prestazioni può essere molto significativa per determinati pattern di comunicazione, anche con gli stessi parametri NCCL.
Ad esempio, il grafico seguente mostra un confronto tra NCCL/gIB e NCCL upstream sulle prestazioni di AllReduce. NCCL/gIB supera l'NCCL upstream fino a 12 volte per determinate dimensioni dei messaggi.

Prestazioni NCCL AllReduce a 32 nodi utilizzando A3 Ultra (H200) senza traffico in background.
Analogamente, in un confronto tra NCCL/gIB e NCCL upstream sulle prestazioni di AllGather con traffico in background, NCCL/gIB supera NCCL upstream di circa il 50% con dimensioni dei messaggi più grandi, come mostrato in questo grafico.

Prestazioni di NCCL AllGather a 32 nodi utilizzando A3 Ultra (H200) su una rete condivisa con uno sfondo rumoroso.
Inoltre, il plugin del profiler CoMMA fornisce a Google una telemetria personalizzata migliorata, consentendoci di assisterti meglio in caso di problemi a livello di workload.
Installa NCCL/gIB
Prima di eseguire i test NCCL, devi installare NCCL/gIB nel tuo ambiente di runtime.
Utilizza NCCL/gIB
Per eseguire i test NCCL/gIB sul tuo cluster, scegli la pagina dall'elenco seguente che meglio soddisfa i tuoi requisiti:
- Utilizza i plug-in gIB NCCL nei container NVIDIA NGC
- Esegui i test NCCL sulle istanze Compute Engine
- Esegui NCCL su cluster GKE che utilizzano Cluster Toolkit
- Esegui NCCL su cluster GKE che utilizzano A4X Max
- Esegui NCCL su cluster GKE che utilizzano A4X
- Esegui NCCL su cluster GKE che utilizzano A4 o A3 Ultra
- Esegui test NCCL sui cluster Slurm
- Esegui i test NCCL in Cluster Director
Per istruzioni su come eseguire NCCL/gIB su cluster GKE che utilizzano A5X, contatta il tuo rappresentante Google Cloud .
Per scoprire come risolvere eventuali problemi con il cluster dopo aver eseguito i test, consulta Raccogli e comprendi i log NCCL/gIB per la risoluzione dei problemi.