En esta página, se describe cómo instalar
NCCL/gIB con paquetes de software de Debian (.deb) o Red Hat Package Manager (.rpm). Esta instalación
te permite ejecutar cargas de trabajo de NCCL en instancias A4X Max, A4X, A4 y A3 Ultra.
(Para A4X Max) Actualiza las bibliotecas del espacio de usuario
En A4X Max, debes instalar las bibliotecas de espacio de usuario más recientes antes de ejecutar tus
cargas de trabajo de NCCL. Si accediste como usuario raíz, omite sudo donde aparezca para ejecutar los comandos directamente.
Debian 12+/Ubuntu 20.04+ (paquete .deb)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
Instala NCCL/gIB
Según dónde ejecutes tus cargas de trabajo, instala NCCL/gIB en la instancia de procesamiento o en la imagen de contenedor.
El paquete nccl-gib se incluye con una biblioteca de NCCL de NVidia sin modificar
(libnccl2.so) y encabezados. Todo el contenido de NCCL/gIB se instala en el directorio
/usr/local/gib, y las bibliotecas de complementos también se instalan en
la carpeta del sistema (en /usr/lib). Algunas dependencias también se recuperan a través de los
repositorios de la distribución.
Debian 12+/Ubuntu 20.04+ (paquete .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9 o versiones posteriores (paquete .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
Instala complementos de NCCL
Si quieres usar tu propia versión personalizada de NCCL Core en lugar de la biblioteca de NCCL
incluida en nccl-gib, instala el paquete nccl-gib-plugins. Este
paquete instala solo los complementos de NCCL/gIB de Google y entra en conflicto con nccl-gib,
por lo que, si instalas un paquete, se quitará automáticamente el otro. Si usas la versión de NCCL
incluida en nccl-gib, no necesitas instalar
nccl-gib-plugins.
Para instalar solo los complementos de NCCL de gIB, instala el paquete nccl-gib-plugins:
Debian 12+/Ubuntu 20.04+ (paquete .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9 o versiones posteriores (paquete .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
Si usas imágenes de SO estándar, también debes instalar el controlador NVIDIA DOCA-OFED más reciente. No necesitas instalar este controlador si usas las imágenes optimizadas para aceleradores de Google, como Container-Optimized OS o imágenes de SO de Ubuntu o Rocky Linux optimizadas para aceleradores.
Para evitar que las instancias de procesamiento ejecuten versiones que no coinciden del paquete de NCCL/gIB,
actualiza NCCL/gIB antes de ejecutar tus cargas de trabajo y, luego, inhabilita las actualizaciones automáticas
de paquetes, como unattended-upgrades en Ubuntu o Debian.
Actualiza NCCL Core en instalaciones existentes
Si tus VMs tienen instalado un paquete nccl-gib anterior y necesitas una versión posterior
de NCCL Core para admitir CUDA 13 o una versión de framework específica, primero consulta las
notas de la versión de x86
o las
notas de la versión de ARM64
para ver si el paquete nccl-gib más reciente incluye la versión de NCCL que necesitas.
Si el paquete nccl-gib más reciente cumple con tus requisitos, actualiza
nccl-gib directamente en todos los nodos.
Si tu carga de trabajo requiere una versión específica de NCCL Core que no está incluida en
nccl-gib, realiza los siguientes pasos en cada nodo del clúster para
que todos los nodos ejecuten exactamente la misma versión de NCCL:
Instala o actualiza los paquetes principales de NCCL de destino desde el repositorio de NVIDIA CUDA y cambia de
nccl-gibanccl-gib-pluginspara que las actualizaciones futuras de los paquetes no reinstalen la biblioteca de NCCL empaquetada. Si tu VM usa una imagen de SO estándar que no incluye el repositorio de NVIDIA CUDA, agrega el repositorio primero siguiendo la guía de instalación de NVIDIA NCCL.Debian 12+/Ubuntu 20.04+ (paquete .deb)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9 o versiones posteriores (paquete .rpm)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
Si tu entorno aún tiene archivos
libnccl.so*empaquetados en/usr/local/gib/lib64o/usr/local/gib/libde una instalación o activación de contenedor denccl-gibanteriores, quita solo esos archivoslibnccl.so*empaquetados para que no tengan prioridad sobre la biblioteca principal de NCCL actualizada:sudo rm -f /usr/local/gib/lib*/libnccl.so*Verifica la configuración de tu entorno y la versión activa de NCCL:
Si
LD_LIBRARY_PATHen tu entorno de carga de trabajo incluye/usr/local/gib/lib64o/usr/local/nvidia/lib64, verifica que esos directorios no contengan un archivolibnccl.so.2anterior o antepón la ruta de acceso de la biblioteca del sistema, como/usr/lib/x86_64-linux-gnuo/usr/lib64, aLD_LIBRARY_PATH.Si tu versión personalizada de NCCL Core es anterior a la 2.28.7, obtén
/usr/local/gib/scripts/set_nccl_env.shantes de ejecutar tu carga de trabajo, porque el complemento de entorno automático solo se carga en NCCL 2.28.7 o versiones posteriores.Verifica las versiones registradas de NCCL y gIB para confirmar que la biblioteca principal de NCCL actualizada y el complemento
NET/gIBse inicialicen juntos.
Habilita NCCL/gIB
A partir de NCCL/gIB v1.1.2, si instalaste nccl-gib o
nccl-gib-plugins, NCCL/gIB debería habilitarse automáticamente en tus cargas de trabajo.
En las versiones anteriores, para habilitar NCCL/gIB en tus cargas de trabajo, asegúrate de lo siguiente:
/usr/local/gib/scripts/set_nccl_env.shse obtiene en tu entorno de ejecución. El archivo de origen incluye todas las variables de entorno necesarias para NCCL/gIB, y Google espera actualizarlas en las próximas versiones de NCCL/gIB.- El directorio
/usr/local/gib/lib64se encuentra en tuLD_LIBRARY_PATH.
Para verificar que NCCL/gIB esté habilitado, comprueba que estén presentes las siguientes entradas de registro de nivel INFO de NCCL:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2