Ottimizza il networking del cluster utilizzando NCCL/gIB

I moderni framework di machine learning spesso utilizzano la NVIDIA Collective Communications Library (NCCL) per le primitive di comunicazione GPU-GPU.

La versione migliorata di NCCL di Google si chiama NCCL/gIB ed è disponibile sulle istanze A5X, A4X Max, A4X, A4 e A3 Ultra diGoogle Cloud. NCCL/gIB è spesso più performante di NCCL upstream sull'infrastruttura Google. Poiché le prestazioni di NCCL possono influire sulle prestazioni complessive del workload, ti consigliamo di utilizzare NCCL/gIB.

Architettura NCCL/gIB

Lo stack software NCCL/gIB è costituito da due componenti separati che funzionano insieme:

  • NCCL Core (libnccl.so di NVIDIA): fornisce le operazioni di comunicazione GPU-GPU standard, come AllReduce, AllGather e Broadcast, chiamate dai framework di machine learning.
  • Plug-in NCCL/gIB di Google: estendono NCCL Core in modo dinamico con ottimizzazioni di rete e telemetria diGoogle Cloud :

    • Plug-in di rete gIB (libnccl-net.so): bilancia il traffico su più percorsi di rete utilizzando GPUDirect RDMA su RoCE v2 per offrire un throughput elevato e una latenza bassa durante le operazioni collettive.

    • Plug-in di ottimizzazione personalizzato (libnccl-tuner.so): seleziona gli algoritmi, i protocolli e le impostazioni dei canali collettivi consigliati per le topologie di VM Google Cloud.

    • Plug-in del profiler CoMMA (libnccl-profiler.so e libGPUViz.so): raccoglie metriche sul rendimento e dati diagnostici per rilevare processi bloccati e nodi lenti.

    • Plug-in dell'ambiente (libnccl-env-gcp.so): applica le variabili di ambiente NCCL specifiche della piattaforma alle VM Google Cloud quando utilizzi NCCL 2.28.7 o versioni successive.

Il seguente diagramma mostra come il framework di machine learning interagisce con le GPU NVIDIA, NCCL Core e i plug-in NCCL/gIB di Google:

Il workload ML è gestito da un framework ML che si connette sia alle GPU NVIDIA sia a NCCL, mentre NCCL si connette a vari strumenti e plug-in Google.

Poiché i plug-in di Google vengono caricati in modo dinamico, puoi eseguire l'upgrade di NCCL Core in modo indipendente per utilizzare una versione CUDA successiva o soddisfare i requisiti del framework, purché la versione di NCCL Core rientri nell'intervallo supportato. Per le versioni supportate, consulta le tabelle di compatibilità delle versioni nelle note di rilascio di x86 e nelle note di rilascio di ARM64.

Vantaggi dell'utilizzo di NCCL/gIB

Sebbene sia possibile utilizzare la NVIDIA Collective Communications Library upstream sulle VM Google Cloud senza problemi di stabilità, NCCL/gIB è ottimizzata meglio per Google Cloud e la disparità di prestazioni può essere molto significativa per determinati pattern di comunicazione, anche con gli stessi parametri NCCL.

Ad esempio, il grafico seguente mostra un confronto tra NCCL/gIB e NCCL upstream sulle prestazioni di AllReduce. NCCL/gIB supera l'NCCL upstream fino a 12 volte per determinate dimensioni dei messaggi.

Un grafico che mostra che NCCL/gIB supera NCCL upstream nelle attività AllReduce.

Prestazioni NCCL AllReduce a 32 nodi utilizzando A3 Ultra (H200) senza traffico in background.

Analogamente, in un confronto tra NCCL/gIB e NCCL upstream sulle prestazioni di AllGather con traffico in background, NCCL/gIB supera NCCL upstream di circa il 50% con dimensioni dei messaggi più grandi, come mostrato in questo grafico.

Un grafico che mostra che NCCL/gIB supera NCCL upstream nelle attività AllGather.

Prestazioni di NCCL AllGather a 32 nodi utilizzando A3 Ultra (H200) su una rete condivisa con uno sfondo rumoroso.

Inoltre, il plugin del profiler CoMMA fornisce a Google una telemetria personalizzata migliorata, consentendoci di assisterti meglio in caso di problemi a livello di workload.

Installa NCCL/gIB

Prima di eseguire i test NCCL, devi installare NCCL/gIB nel tuo ambiente di runtime.

Utilizza NCCL/gIB

Per eseguire i test NCCL/gIB sul tuo cluster, scegli la pagina dall'elenco seguente che meglio soddisfa i tuoi requisiti:

Per istruzioni su come eseguire NCCL/gIB su cluster GKE che utilizzano A5X, contatta il tuo rappresentante Google Cloud .

Per scoprire come risolvere eventuali problemi con il cluster dopo aver eseguito i test, consulta Raccogli e comprendi i log NCCL/gIB per la risoluzione dei problemi.