Optimisez la mise en réseau du cluster à l'aide de NCCL/gIB

Les frameworks de machine learning modernes utilisent fréquemment la bibliothèque NCCL (NVIDIA Collective Communications Library) comme primitives de communication entre les GPU.

La version améliorée de NCCL par Google s'appelle NCCL/gIB et est disponible sur les instances A5X, A4X Max, A4X, A4 et A3 Ultra deGoogle Cloud. NCCL/gIB est souvent plus performant que NCCL en amont sur l'infrastructure Google. Étant donné que les performances de NCCL peuvent affecter les performances globales de la charge de travail, nous vous recommandons d'utiliser NCCL/gIB.

Architecture NCCL/gIB

La pile logicielle NCCL/gIB se compose de deux composants distincts qui fonctionnent ensemble :

  • NCCL Core (libnccl.so de NVIDIA) : fournit les opérations de communication GPU à GPU standards, telles que AllReduce, AllGather et Broadcast, que les frameworks de machine learning appellent.
  • Plug-ins NCCL/gIB de Google : étendez NCCL Core de manière dynamique avec les optimisations et la télémétrie du réseauGoogle Cloud  :

    • Plug-in réseau gIB (libnccl-net.so) : équilibre le trafic sur plusieurs chemins réseau à l'aide de GPUDirect RDMA sur RoCE v2 pour offrir un débit élevé et une faible latence lors des opérations collectives.

    • Plug-in de réglage personnalisé (libnccl-tuner.so) : sélectionne les algorithmes, protocoles et paramètres de canal collectifs recommandés pour les topologies de VM Google Cloud.

    • Plug-in de profileur CoMMA (libnccl-profiler.so et libGPUViz.so) : collecte des métriques de performances et des données de diagnostic pour détecter les processus bloqués et les nœuds lents.

    • Plug-in d'environnement (libnccl-env-gcp.so) : applique des variables d'environnement NCCL spécifiques à la plate-forme sur les VM Google Cloud lorsque vous utilisez NCCL 2.28.7 ou une version ultérieure.

Le schéma suivant montre comment votre framework de machine learning interagit avec les GPU NVIDIA, NCCL Core et les plug-ins NCCL/gIB de Google :

La charge de travail de ML est gérée par un framework de ML qui se connecte à la fois aux GPU NVIDIA et à NCCL, tandis que NCCL se connecte à divers outils et plug-ins Google.

Étant donné que les plug-ins de Google se chargent de manière dynamique, vous pouvez mettre à niveau NCCL Core indépendamment pour utiliser une version CUDA ultérieure ou répondre aux exigences du framework, à condition que votre version de NCCL Core se trouve dans la plage compatible. Pour connaître les versions compatibles, consultez les tableaux de compatibilité des versions dans les notes de version x86 et les notes de version ARM64.

Avantages de l'utilisation de NCCL/gIB

Bien qu'il soit possible d'utiliser la bibliothèque NVIDIA Collective Communications Library en amont sur les VM Google Cloud sans problème de stabilité, NCCL/gIB est mieux optimisé pour Google Cloud , et l'écart de performances peut être très important pour certains modèles de communication, même avec les mêmes paramètres NCCL.

Par exemple, le graphique suivant compare les performances de NCCL/gIB avec celles de NCCL en amont sur AllReduce. NCCL/gIB surpasse NCCL en amont jusqu'à 12 fois pour certaines tailles de messages.

Graphique montrant que NCCL/gIB surpasse NCCL en amont pour les tâches AllReduce.

Performances de NCCL AllReduce sur 32 nœuds avec A3 Ultra (H200) sans trafic en arrière-plan.

De même, dans une comparaison de NCCL/gIB avec NCCL en amont sur les performances AllGather avec du trafic en arrière-plan, NCCL/gIB surpasse NCCL en amont d'environ 50 % pour les messages de plus grande taille, comme le montre ce graphique.

Graphique montrant que NCCL/gIB surpasse NCCL en amont pour les tâches AllGather.

Performances de NCCL AllGather sur 32 nœuds avec A3 Ultra (H200) sur une structure partagée avec un arrière-plan bruyant.

De plus, le plug-in de profileur CoMMA fournit à Google une télémétrie personnalisée améliorée, ce qui nous permet de mieux vous aider en cas de problème au niveau de la charge de travail.

Installer NCCL/gIB

Avant d'exécuter des tests NCCL, vous devez installer NCCL/gIB dans votre environnement d'exécution.

Utiliser NCCL/gIB

Pour exécuter des tests NCCL/gIB sur votre cluster, choisissez la page de la liste suivante qui répond le mieux à vos besoins :

Pour savoir comment exécuter NCCL/gIB sur des clusters GKE qui utilisent A5X, contactez votre représentant Google Cloud .

Pour savoir comment résoudre les problèmes liés à votre cluster après avoir exécuté vos tests, consultez Collecter et comprendre les journaux NCCL/gIB pour le dépannage.