Cluster-Netzwerke mithilfe von NCCL/gIB optimieren

Moderne ML-Frameworks nutzen oft die NVIDIA Collective Communications Library (NCCL) für Primitive für die GPU-zu-GPU-Kommunikation.

Die erweiterte Version von NCCL von Google heißt NCCL/gIB und ist auf den A5X-, A4X Max-, A4X-, A4- und A3 Ultra-Instanzen vonGoogle Cloudverfügbar. NCCL/gIB ist in der Google-Infrastruktur oft leistungsfähiger als Upstream-NCCL. Da die NCCL-Leistung die Gesamtleistung der Arbeitslast beeinträchtigen kann, empfehlen wir die Verwendung von NCCL/gIB.

NCCL/gIB-Architektur

Der NCCL/gIB-Software-Stack besteht aus zwei separaten Komponenten, die zusammenarbeiten:

  • NCCL Core (libnccl.so von NVIDIA): Bietet die Standard-GPU-zu-GPU-Kommunikationsvorgänge wie AllReduce, AllGather und Broadcast, die von Machine-Learning-Frameworks aufgerufen werden.
  • NCCL/gIB-Plug-ins von Google: Erweitern NCCL Core dynamisch um Netzwerkoptimierungen und Telemetrie vonGoogle Cloud :

    • gIB-Netzwerk-Plug-in (libnccl-net.so): Verteilt den Traffic auf mehrere Netzwerkpfade mithilfe von GPUDirect RDMA über RoCE v2, um einen hohen Durchsatz und eine niedrige Latenz bei kollektiven Vorgängen zu erzielen.

    • Benutzerdefiniertes Tuner-Plug-in (libnccl-tuner.so): Wählt empfohlene kollektive Algorithmen, Protokolle und Kanaleinstellungen für Google Cloud-VM-Topologien aus.

    • CoMMA-Profiler-Plug-in (libnccl-profiler.so und libGPUViz.so): Erfasst Leistungsmesswerte und Diagnosedaten, um blockierte Prozesse und langsame Knoten zu erkennen.

    • Umgebungs-Plug-in (libnccl-env-gcp.so): Wendet plattformspezifische NCCL-Umgebungsvariablen auf Google Cloud VMs an, wenn Sie NCCL 2.28.7 oder höher verwenden.

Das folgende Diagramm zeigt, wie Ihr Framework für maschinelles Lernen mit NVIDIA-GPUs, NCCL Core und den NCCL/gIB-Plug-ins von Google interagiert:

Die ML-Arbeitslast wird von einem ML-Framework verwaltet, das sowohl mit den NVIDIA-GPUs als auch mit NCCL verbunden ist. NCCL ist wiederum mit verschiedenen Google-Tools und ‑Plug-ins verbunden.

Da die Plug-ins von Google dynamisch geladen werden, können Sie NCCL Core unabhängig aktualisieren, um eine neuere CUDA-Version zu verwenden oder die Framework-Anforderungen zu erfüllen, sofern Ihre NCCL Core-Version im unterstützten Bereich liegt. Informationen zu unterstützten Versionen finden Sie in den Versionskompatibilitätstabellen in den x86-Versionshinweisen und den ARM64-Versionshinweisen.

Vorteile von NCCL/gIB

Es ist zwar möglich, die Upstream-NVIDIA Collective Communications Library auf Google Cloud -VMs ohne Stabilitätsprobleme zu verwenden, aber NCCL/gIB ist besser für Google Cloud optimiert. Der Leistungsunterschied kann bei bestimmten Kommunikationsmustern sehr groß sein, selbst bei denselben NCCL-Parametern.

In der folgenden Grafik wird beispielsweise die AllReduce-Leistung von NCCL/gIB mit der von Upstream-NCCL verglichen. NCCL/gIB übertrifft Upstream-NCCL bei bestimmten Nachrichtengrößen um das bis zu 12-Fache.

Ein Diagramm, das zeigt, dass NCCL/gIB bei AllReduce-Aufgaben besser abschneidet als Upstream-NCCL.

NCCL-AllReduce-Leistung mit 32 Knoten unter Verwendung von A3 Ultra (H200) ohne Hintergrund-Traffic.

Auch bei einem Vergleich der AllGather-Leistung von NCCL/gIB mit der von Upstream-NCCL bei Hintergrundtraffic schneidet NCCL/gIB bei größeren Nachrichten um etwa 50 % besser ab als Upstream-NCCL, wie in diesem Diagramm zu sehen ist.

Ein Diagramm, das zeigt, dass NCCL/gIB bei AllGather-Aufgaben besser abschneidet als Upstream-NCCL.

NCCL-AllGather-Leistung mit 32 Knoten und A3 Ultra (H200) in einer gemeinsam genutzten Fabric mit Hintergrundrauschen.

Darüber hinaus bietet das CoMMA-Profiler-Plug-in Google verbesserte benutzerdefinierte Telemetriedaten, sodass wir Sie bei Problemen auf Arbeitslastebene besser unterstützen können.

NCCL/gIB installieren

Bevor Sie NCCL-Tests ausführen, müssen Sie NCCL/gIB in Ihrer Laufzeitumgebung installieren.

NCCL/gIB verwenden

Wenn Sie NCCL-/gIB-Tests auf Ihrem Cluster ausführen möchten, wählen Sie die Seite aus der folgenden Liste aus, die Ihren Anforderungen am besten entspricht:

Eine Anleitung zum Ausführen von NCCL/gIB auf GKE-Clustern, die A5X verwenden, erhalten Sie von Ihrem Google Cloud -Ansprechpartner.

Informationen zum Beheben von Problemen mit Ihrem Cluster nach dem Ausführen der Tests finden Sie unter NCCL-/gIB-Logs zur Fehlerbehebung erfassen und verstehen.