Installare i plug-in gIB NCCL

Questa pagina descrive come installare NCCL/gIB con i pacchetti software Debian (.deb) o con Red Hat Package Manager (.rpm). Questa installazione ti consente di eseguire workload NCCL su istanze A4X Max, A4X, A4 e A3 Ultra.

(Per A4X Max) Aggiorna le librerie dello spazio utente

Su A4X Max, devi installare le librerie dello spazio utente più recenti prima di eseguire i workload NCCL. Se hai eseguito l'accesso come utente root, ometti sudo dove si verifica per eseguire i comandi direttamente.

Debian 12+/Ubuntu 20.04+ (pacchetto .deb)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

Installa NCCL/gIB

A seconda di dove esegui i workload, installi NCCL/gIB nell'istanza di computing o nell'immagine container.

Il pacchetto nccl-gib è integrato con una libreria NVidia NCCL non modificata (libnccl2.so) e intestazioni. Tutti i contenuti NCCL/gIB vengono installati nella directory /usr/local/gib e le librerie dei plug-in vengono installate anche nella cartella di sistema (in /usr/lib). Alcune dipendenze vengono recuperate anche tramite i repository della distribuzione.

Debian 12+/Ubuntu 20.04+ (pacchetto .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9+ (pacchetto .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

Installa i plug-in NCCL

Se vuoi utilizzare la tua versione personalizzata di NCCL Core anziché la libreria NCCL inclusa in nccl-gib, installa il pacchetto nccl-gib-plugins. Questo pacchetto installa solo i plug-in NCCL/gIB di Google ed è in conflitto con nccl-gib, pertanto l'installazione di un pacchetto rimuove automaticamente l'altro. Se utilizzi la versione di NCCL in bundle con nccl-gib, non è necessario installare nccl-gib-plugins.

Per installare solo i plug-in gIB NCCL, installa il pacchetto nccl-gib-plugins:

Debian 12+/Ubuntu 20.04+ (pacchetto .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9+ (pacchetto .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

Se utilizzi immagini sistema operativo standard, devi anche installare il driver NVIDIA DOCA-OFED più recente. Non è necessario installare questo driver se utilizzi le immagini sistema operativo di Google ottimizzate per l'acceleratore, come Container-Optimized OS o le immagini sistema operativo Ubuntu o Rocky Linux ottimizzate per l'acceleratore.

Per evitare che le istanze di computing eseguano versioni non corrispondenti del pacchetto NCCL/gIB, aggiorna NCCL/gIB prima di eseguire i workload e disattiva gli aggiornamenti automatici dei pacchetti, ad esempio unattended-upgrades su Ubuntu o Debian.

Esegui l'upgrade di NCCL Core sulle installazioni esistenti

Se sulle tue VM è installato un pacchetto nccl-gib precedente e hai bisogno di una versione NCCL Core successiva per supportare CUDA 13 o una versione specifica del framework, controlla innanzitutto le note di rilascio di x86 o le note di rilascio di ARM64 per verificare se il pacchetto nccl-gib più recente include la versione NCCL di cui hai bisogno. Se il pacchetto nccl-gib più recente soddisfa i tuoi requisiti, esegui l'upgrade nccl-gib direttamente su tutti i nodi.

Se il tuo workload richiede una versione specifica di NCCL Core non inclusa in nccl-gib, segui questi passaggi su ogni nodo del cluster in modo che tutti i nodi eseguano esattamente la stessa versione di NCCL:

  1. Installa o esegui l'upgrade dei pacchetti NCCL Core di destinazione dal repository NVIDIA CUDA e passa da nccl-gib a nccl-gib-plugins in modo che i futuri aggiornamenti dei pacchetti non reinstallino la libreria NCCL in bundle. Se la VM utilizza un'immagine sistema operativo standard che non include il repository NVIDIA CUDA, aggiungi prima il repository seguendo la guida all'installazione di NVIDIA NCCL.

    Debian 12+/Ubuntu 20.04+ (pacchetto .deb)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9+ (pacchetto .rpm)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. Se il tuo ambiente contiene ancora file libnccl.so* in bundle in /usr/local/gib/lib64 o /usr/local/gib/lib da un'installazione o un montaggio di container nccl-gib precedente, rimuovi solo i file libnccl.so* in bundle in modo che non abbiano la priorità sulla libreria NCCL Core di cui è stato eseguito l'upgrade:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. Verifica la configurazione dell'ambiente e la versione NCCL attiva:

    • Se LD_LIBRARY_PATH nel tuo ambiente workload include /usr/local/gib/lib64 o /usr/local/nvidia/lib64, verifica che queste directory non contengano un file libnccl.so.2 precedente o anteponi il percorso della libreria di sistema, ad esempio /usr/lib/x86_64-linux-gnu o /usr/lib64, a LD_LIBRARY_PATH.

    • Se la tua versione personalizzata di NCCL Core è precedente alla 2.28.7, esegui il comando source /usr/local/gib/scripts/set_nccl_env.sh prima di eseguire il workload, perché il plug-in dell'ambiente automatico viene caricato solo su NCCL 2.28.7 o versioni successive.

    • Controlla le versioni di NCCL e gIB registrate per verificare che la libreria NCCL Core di cui hai eseguito l'upgrade e il plug-in NET/gIB vengano inizializzati insieme.

Abilita NCCL/gIB

A partire da NCCL/gIB v1.1.2, se hai installato nccl-gib o nccl-gib-plugins, NCCL/gIB dovrebbe essere abilitato automaticamente nei tuoi workload.

Nelle versioni precedenti, per attivare NCCL/gIB nei tuoi workload, assicurati di quanto segue:

  • /usr/local/gib/scripts/set_nccl_env.sh viene generato nel tuo ambiente di runtime. Il file di origine include tutte le variabili di ambiente necessarie per NCCL/gIB e Google prevede di aggiornarle nelle release future di NCCL/gIB.
  • La directory /usr/local/gib/lib64 si trova in LD_LIBRARY_PATH.

Per verificare che NCCL/gIB sia abilitato, controlla che siano presenti le seguenti voci di log di livello NCCL INFO:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

Passaggi successivi