Cette page explique comment installer NCCL/gIB avec des packages logiciels Debian (.deb) ou le gestionnaire de packages Red Hat (.rpm). Cette installation vous permet d'exécuter des charges de travail NCCL sur des instances A4X Max, A4X, A4 et A3 Ultra.
(Pour A4X Max) Mettre à jour les bibliothèques de l'espace utilisateur
Sur A4X Max, vous devez installer les dernières bibliothèques d'espace utilisateur avant d'exécuter vos charges de travail NCCL. Si vous êtes connecté en tant qu'utilisateur racine, omettez sudo lorsqu'il apparaît pour exécuter les commandes directement.
Debian 12 ou version ultérieure/Ubuntu 20.04 ou version ultérieure (package .deb)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
Installer NCCL/gIB
Selon l'endroit où vous exécutez vos charges de travail, vous installez NCCL/gIB dans l'instance de calcul ou dans l'image de conteneur.
Le package nccl-gib est fourni avec une bibliothèque NVidia NCCL non modifiée (libnccl2.so) et des en-têtes. Tout le contenu NCCL/gIB est installé dans le répertoire /usr/local/gib, et les bibliothèques de plug-ins sont également installées dans le dossier système (sous /usr/lib). Certaines dépendances sont également récupérées via les dépôts de la distribution.
Debian 12 ou version ultérieure/Ubuntu 20.04 ou version ultérieure (package .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9 ou version ultérieure (package .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
Installer des plug-ins NCCL
Si vous souhaitez utiliser votre propre version personnalisée de NCCL Core au lieu de la bibliothèque NCCL fournie dans nccl-gib, installez le package nccl-gib-plugins. Ce package n'installe que les plug-ins NCCL/gIB de Google et entre en conflit avec nccl-gib. Par conséquent, l'installation d'un package supprime automatiquement l'autre. Si vous utilisez la version NCCL fournie avec nccl-gib, vous n'avez pas besoin d'installer nccl-gib-plugins.
Pour n'installer que les plug-ins gIB NCCL, installez le package nccl-gib-plugins :
Debian 12 ou version ultérieure/Ubuntu 20.04 ou version ultérieure (package .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9 ou version ultérieure (package .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
Si vous utilisez des images d'OS standards, vous devez également installer le dernier pilote NVIDIA DOCA-OFED. Vous n'avez pas besoin d'installer ce pilote si vous utilisez des images Google optimisées pour les accélérateurs, telles que Container-Optimized OS ou des images de l'OS Ubuntu ou Rocky Linux optimisées pour les accélérateurs.
Pour éviter que les instances de calcul n'exécutent des versions incompatibles du package NCCL/gIB, mettez à jour NCCL/gIB avant d'exécuter vos charges de travail et désactivez les mises à jour automatiques des packages, telles que unattended-upgrades sur Ubuntu ou Debian.
Mettre à niveau NCCL Core sur des installations existantes
Si une version antérieure du package nccl-gib est installée sur vos VM et que vous avez besoin d'une version plus récente de NCCL Core pour prendre en charge CUDA 13 ou une version de framework spécifique, consultez d'abord les notes de version x86 ou les notes de version ARM64 pour voir si le dernier package nccl-gib inclut la version de NCCL dont vous avez besoin.
Si le dernier package nccl-gib répond à vos besoins, mettez à niveau nccl-gib directement sur tous les nœuds.
Si votre charge de travail nécessite une version spécifique de NCCL Core qui n'est pas incluse dans nccl-gib, procédez comme suit sur chaque nœud de votre cluster afin que tous les nœuds exécutent exactement la même version de NCCL :
Installez ou mettez à niveau vos packages NCCL Core cibles à partir du dépôt NVIDIA CUDA et passez de
nccl-gibànccl-gib-pluginspour que les futures mises à jour de packages ne réinstallent pas la bibliothèque NCCL groupée. Si votre VM utilise une image de l'OS standard qui n'inclut pas le dépôt NVIDIA CUDA, ajoutez d'abord le dépôt en suivant le guide d'installation de NVIDIA NCCL.Debian 12 ou version ultérieure/Ubuntu 20.04 ou version ultérieure (package .deb)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9 ou version ultérieure (package .rpm)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
Si votre environnement contient toujours des fichiers
libnccl.so*groupés dans/usr/local/gib/lib64ou/usr/local/gib/libà partir d'une installation ou d'un montage de conteneurnccl-gibantérieur, ne supprimez que ces fichierslibnccl.so*groupés afin qu'ils ne soient pas prioritaires sur votre bibliothèque principale NCCL mise à niveau :sudo rm -f /usr/local/gib/lib*/libnccl.so*Vérifiez la configuration de votre environnement et la version active de NCCL :
Si
LD_LIBRARY_PATHdans votre environnement de charge de travail inclut/usr/local/gib/lib64ou/usr/local/nvidia/lib64, vérifiez que ces répertoires ne contiennent pas de fichierlibnccl.so.2antérieur, ou ajoutez le chemin d'accès à votre bibliothèque système, tel que/usr/lib/x86_64-linux-gnuou/usr/lib64, àLD_LIBRARY_PATH.Si votre version personnalisée de NCCL Core est antérieure à la version 2.28.7, sourcez
/usr/local/gib/scripts/set_nccl_env.shavant d'exécuter votre charge de travail, car le plug-in d'environnement automatique ne se charge que sur NCCL 2.28.7 ou version ultérieure.Vérifiez les versions de NCCL et de gIB enregistrées pour confirmer que la bibliothèque NCCL Core mise à niveau et le plug-in
NET/gIBs'initialisent ensemble.
Activer NCCL/gIB
À partir de NCCL/gIB v1.1.2, si vous avez installé nccl-gib ou nccl-gib-plugins, NCCL/gIB devrait être automatiquement activé dans vos charges de travail.
Dans les versions précédentes, pour activer NCCL/gIB dans vos charges de travail, assurez-vous de respecter les conditions suivantes :
/usr/local/gib/scripts/set_nccl_env.shest sourcé dans votre environnement d'exécution. Le fichier source inclut toutes les variables d'environnement nécessaires pour NCCL/gIB, et Google prévoit de les mettre à jour dans les prochaines versions de NCCL/gIB.- Le répertoire
/usr/local/gib/lib64se trouve dans votreLD_LIBRARY_PATH.
Pour vérifier que NCCL/gIB est activé, vérifiez que les entrées de journal de niveau NCCL INFO suivantes sont présentes :
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2