Moderne ML-Frameworks nutzen oft die NVIDIA Collective Communications Library (NCCL) für Primitive für die GPU-zu-GPU-Kommunikation.
Die erweiterte Version von NCCL von Google heißt NCCL/gIB und ist auf den A5X-, A4X Max-, A4X-, A4- und A3 Ultra-Instanzen vonGoogle Cloudverfügbar. NCCL/gIB ist in der Google-Infrastruktur oft leistungsfähiger als Upstream-NCCL. Da die NCCL-Leistung die Gesamtleistung der Arbeitslast beeinträchtigen kann, empfehlen wir die Verwendung von NCCL/gIB.
NCCL/gIB-Architektur
Der NCCL/gIB-Software-Stack besteht aus zwei separaten Komponenten, die zusammenarbeiten:
- NCCL Core (
libnccl.sovon NVIDIA): Bietet die Standard-GPU-zu-GPU-Kommunikationsvorgänge wieAllReduce,AllGatherundBroadcast, die von Machine-Learning-Frameworks aufgerufen werden. NCCL/gIB-Plug-ins von Google: Erweitern NCCL Core dynamisch um Netzwerkoptimierungen und Telemetrie vonGoogle Cloud :
gIB-Netzwerk-Plug-in (
libnccl-net.so): Verteilt den Traffic auf mehrere Netzwerkpfade mithilfe von GPUDirect RDMA über RoCE v2, um einen hohen Durchsatz und eine niedrige Latenz bei kollektiven Vorgängen zu erzielen.Benutzerdefiniertes Tuner-Plug-in (
libnccl-tuner.so): Wählt empfohlene kollektive Algorithmen, Protokolle und Kanaleinstellungen für Google Cloud-VM-Topologien aus.CoMMA-Profiler-Plug-in (
libnccl-profiler.soundlibGPUViz.so): Erfasst Leistungsmesswerte und Diagnosedaten, um blockierte Prozesse und langsame Knoten zu erkennen.Umgebungs-Plug-in (
libnccl-env-gcp.so): Wendet plattformspezifische NCCL-Umgebungsvariablen auf Google Cloud VMs an, wenn Sie NCCL 2.28.7 oder höher verwenden.
Das folgende Diagramm zeigt, wie Ihr Framework für maschinelles Lernen mit NVIDIA-GPUs, NCCL Core und den NCCL/gIB-Plug-ins von Google interagiert:

Da die Plug-ins von Google dynamisch geladen werden, können Sie NCCL Core unabhängig aktualisieren, um eine neuere CUDA-Version zu verwenden oder die Framework-Anforderungen zu erfüllen, sofern Ihre NCCL Core-Version im unterstützten Bereich liegt. Informationen zu unterstützten Versionen finden Sie in den Versionskompatibilitätstabellen in den x86-Versionshinweisen und den ARM64-Versionshinweisen.
Vorteile von NCCL/gIB
Es ist zwar möglich, die Upstream-NVIDIA Collective Communications Library auf Google Cloud -VMs ohne Stabilitätsprobleme zu verwenden, aber NCCL/gIB ist besser für Google Cloud optimiert. Der Leistungsunterschied kann bei bestimmten Kommunikationsmustern sehr groß sein, selbst bei denselben NCCL-Parametern.
In der folgenden Grafik wird beispielsweise die AllReduce-Leistung von NCCL/gIB mit der von Upstream-NCCL verglichen. NCCL/gIB übertrifft Upstream-NCCL bei bestimmten Nachrichtengrößen um das bis zu 12-Fache.

NCCL-AllReduce-Leistung mit 32 Knoten unter Verwendung von A3 Ultra (H200) ohne Hintergrund-Traffic.
Auch bei einem Vergleich der AllGather-Leistung von NCCL/gIB mit der von Upstream-NCCL bei Hintergrundtraffic schneidet NCCL/gIB bei größeren Nachrichten um etwa 50 % besser ab als Upstream-NCCL, wie in diesem Diagramm zu sehen ist.

NCCL-AllGather-Leistung mit 32 Knoten und A3 Ultra (H200) in einer gemeinsam genutzten Fabric mit Hintergrundrauschen.
Darüber hinaus bietet das CoMMA-Profiler-Plug-in Google verbesserte benutzerdefinierte Telemetriedaten, sodass wir Sie bei Problemen auf Arbeitslastebene besser unterstützen können.
NCCL/gIB installieren
Bevor Sie NCCL-Tests ausführen, müssen Sie NCCL/gIB in Ihrer Laufzeitumgebung installieren.
NCCL/gIB verwenden
Wenn Sie NCCL-/gIB-Tests auf Ihrem Cluster ausführen möchten, wählen Sie die Seite aus der folgenden Liste aus, die Ihren Anforderungen am besten entspricht:
- gIB-NCCL-Plug-ins in NVIDIA-NGC-Containern verwenden
- NCCL-Tests auf Compute Engine-Instanzen ausführen
- NCCL auf GKE-Clustern ausführen, die das Cluster Toolkit verwenden
- NCCL auf GKE-Clustern ausführen, die A4X Max verwenden
- NCCL auf GKE-Clustern ausführen, die A4X verwenden
- NCCL auf GKE-Clustern ausführen, die A4 oder A3 Ultra verwenden
- NCCL-Tests auf Slurm-Clustern ausführen
- NCCL-Tests in Cluster Director ausführen
Eine Anleitung zum Ausführen von NCCL/gIB auf GKE-Clustern, die A5X verwenden, erhalten Sie von Ihrem Google Cloud -Ansprechpartner.
Informationen zum Beheben von Problemen mit Ihrem Cluster nach dem Ausführen der Tests finden Sie unter NCCL-/gIB-Logs zur Fehlerbehebung erfassen und verstehen.