Questa pagina descrive come installare
NCCL/gIB con i pacchetti software
Debian (.deb) o con Red Hat Package Manager (.rpm). Questa installazione
ti consente di eseguire workload NCCL su istanze A4X Max, A4X, A4 e A3 Ultra.
(Per A4X Max) Aggiorna le librerie dello spazio utente
Su A4X Max, devi installare le librerie dello spazio utente più recenti prima di eseguire i workload NCCL. Se hai eseguito l'accesso come utente root, ometti sudo dove si verifica per eseguire i comandi direttamente.
Debian 12+/Ubuntu 20.04+ (pacchetto .deb)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
Installa NCCL/gIB
A seconda di dove esegui i workload, installi NCCL/gIB nell'istanza di computing o nell'immagine container.
Il pacchetto nccl-gib è integrato con una libreria NVidia NCCL non modificata (libnccl2.so) e intestazioni. Tutti i contenuti NCCL/gIB vengono installati nella directory /usr/local/gib e le librerie dei plug-in vengono installate anche nella cartella di sistema (in /usr/lib). Alcune dipendenze vengono recuperate anche tramite i repository della distribuzione.
Debian 12+/Ubuntu 20.04+ (pacchetto .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9+ (pacchetto .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
Installa i plug-in NCCL
Se vuoi utilizzare la tua versione personalizzata di NCCL Core anziché la libreria NCCL inclusa in nccl-gib, installa il pacchetto nccl-gib-plugins. Questo pacchetto installa solo i plug-in NCCL/gIB di Google ed è in conflitto con nccl-gib, pertanto l'installazione di un pacchetto rimuove automaticamente l'altro. Se utilizzi la versione di NCCL in bundle con nccl-gib, non è necessario installare nccl-gib-plugins.
Per installare solo i plug-in gIB NCCL, installa il pacchetto nccl-gib-plugins:
Debian 12+/Ubuntu 20.04+ (pacchetto .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9+ (pacchetto .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
Se utilizzi immagini sistema operativo standard, devi anche installare il driver NVIDIA DOCA-OFED più recente. Non è necessario installare questo driver se utilizzi le immagini sistema operativo di Google ottimizzate per l'acceleratore, come Container-Optimized OS o le immagini sistema operativo Ubuntu o Rocky Linux ottimizzate per l'acceleratore.
Per evitare che le istanze di computing eseguano versioni non corrispondenti del pacchetto NCCL/gIB, aggiorna NCCL/gIB prima di eseguire i workload e disattiva gli aggiornamenti automatici dei pacchetti, ad esempio unattended-upgrades su Ubuntu o Debian.
Esegui l'upgrade di NCCL Core sulle installazioni esistenti
Se sulle tue VM è installato un pacchetto nccl-gib precedente e hai bisogno di una versione
NCCL Core successiva per supportare CUDA 13 o una versione specifica del framework, controlla innanzitutto le
note di rilascio di x86
o le
note di rilascio di ARM64
per verificare se il pacchetto nccl-gib più recente include la versione NCCL di cui hai bisogno.
Se il pacchetto nccl-gib più recente soddisfa i tuoi requisiti, esegui l'upgrade
nccl-gib direttamente su tutti i nodi.
Se il tuo workload richiede una versione specifica di NCCL Core non inclusa in nccl-gib, segui questi passaggi su ogni nodo del cluster in modo che tutti i nodi eseguano esattamente la stessa versione di NCCL:
Installa o esegui l'upgrade dei pacchetti NCCL Core di destinazione dal repository NVIDIA CUDA e passa da
nccl-gibanccl-gib-pluginsin modo che i futuri aggiornamenti dei pacchetti non reinstallino la libreria NCCL in bundle. Se la VM utilizza un'immagine sistema operativo standard che non include il repository NVIDIA CUDA, aggiungi prima il repository seguendo la guida all'installazione di NVIDIA NCCL.Debian 12+/Ubuntu 20.04+ (pacchetto .deb)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9+ (pacchetto .rpm)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
Se il tuo ambiente contiene ancora file
libnccl.so*in bundle in/usr/local/gib/lib64o/usr/local/gib/libda un'installazione o un montaggio di containernccl-gibprecedente, rimuovi solo i filelibnccl.so*in bundle in modo che non abbiano la priorità sulla libreria NCCL Core di cui è stato eseguito l'upgrade:sudo rm -f /usr/local/gib/lib*/libnccl.so*Verifica la configurazione dell'ambiente e la versione NCCL attiva:
Se
LD_LIBRARY_PATHnel tuo ambiente workload include/usr/local/gib/lib64o/usr/local/nvidia/lib64, verifica che queste directory non contengano un filelibnccl.so.2precedente o anteponi il percorso della libreria di sistema, ad esempio/usr/lib/x86_64-linux-gnuo/usr/lib64, aLD_LIBRARY_PATH.Se la tua versione personalizzata di NCCL Core è precedente alla 2.28.7, esegui il comando source
/usr/local/gib/scripts/set_nccl_env.shprima di eseguire il workload, perché il plug-in dell'ambiente automatico viene caricato solo su NCCL 2.28.7 o versioni successive.Controlla le versioni di NCCL e gIB registrate per verificare che la libreria NCCL Core di cui hai eseguito l'upgrade e il plug-in
NET/gIBvengano inizializzati insieme.
Abilita NCCL/gIB
A partire da NCCL/gIB v1.1.2, se hai installato nccl-gib o
nccl-gib-plugins, NCCL/gIB dovrebbe essere abilitato automaticamente nei tuoi workload.
Nelle versioni precedenti, per attivare NCCL/gIB nei tuoi workload, assicurati di quanto segue:
/usr/local/gib/scripts/set_nccl_env.shviene generato nel tuo ambiente di runtime. Il file di origine include tutte le variabili di ambiente necessarie per NCCL/gIB e Google prevede di aggiornarle nelle release future di NCCL/gIB.- La directory
/usr/local/gib/lib64si trova inLD_LIBRARY_PATH.
Per verificare che NCCL/gIB sia abilitato, controlla che siano presenti le seguenti voci di log di livello NCCL INFO:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2