Instala complementos de NCCL de gIB

En esta página, se describe cómo instalar NCCL/gIB con paquetes de software de Debian (.deb) o Red Hat Package Manager (.rpm). Esta instalación te permite ejecutar cargas de trabajo de NCCL en instancias A4X Max, A4X, A4 y A3 Ultra.

(Para A4X Max) Actualiza las bibliotecas del espacio de usuario

En A4X Max, debes instalar las bibliotecas de espacio de usuario más recientes antes de ejecutar tus cargas de trabajo de NCCL. Si accediste como usuario raíz, omite sudo donde aparezca para ejecutar los comandos directamente.

Debian 12+/Ubuntu 20.04+ (paquete .deb)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

Instala NCCL/gIB

Según dónde ejecutes tus cargas de trabajo, instala NCCL/gIB en la instancia de procesamiento o en la imagen de contenedor.

El paquete nccl-gib se incluye con una biblioteca de NCCL de NVidia sin modificar (libnccl2.so) y encabezados. Todo el contenido de NCCL/gIB se instala en el directorio /usr/local/gib, y las bibliotecas de complementos también se instalan en la carpeta del sistema (en /usr/lib). Algunas dependencias también se recuperan a través de los repositorios de la distribución.

Debian 12+/Ubuntu 20.04+ (paquete .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9 o versiones posteriores (paquete .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

Instala complementos de NCCL

Si quieres usar tu propia versión personalizada de NCCL Core en lugar de la biblioteca de NCCL incluida en nccl-gib, instala el paquete nccl-gib-plugins. Este paquete instala solo los complementos de NCCL/gIB de Google y entra en conflicto con nccl-gib, por lo que, si instalas un paquete, se quitará automáticamente el otro. Si usas la versión de NCCL incluida en nccl-gib, no necesitas instalar nccl-gib-plugins.

Para instalar solo los complementos de NCCL de gIB, instala el paquete nccl-gib-plugins:

Debian 12+/Ubuntu 20.04+ (paquete .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9 o versiones posteriores (paquete .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

Si usas imágenes de SO estándar, también debes instalar el controlador NVIDIA DOCA-OFED más reciente. No necesitas instalar este controlador si usas las imágenes optimizadas para aceleradores de Google, como Container-Optimized OS o imágenes de SO de Ubuntu o Rocky Linux optimizadas para aceleradores.

Para evitar que las instancias de procesamiento ejecuten versiones que no coinciden del paquete de NCCL/gIB, actualiza NCCL/gIB antes de ejecutar tus cargas de trabajo y, luego, inhabilita las actualizaciones automáticas de paquetes, como unattended-upgrades en Ubuntu o Debian.

Actualiza NCCL Core en instalaciones existentes

Si tus VMs tienen instalado un paquete nccl-gib anterior y necesitas una versión posterior de NCCL Core para admitir CUDA 13 o una versión de framework específica, primero consulta las notas de la versión de x86 o las notas de la versión de ARM64 para ver si el paquete nccl-gib más reciente incluye la versión de NCCL que necesitas. Si el paquete nccl-gib más reciente cumple con tus requisitos, actualiza nccl-gib directamente en todos los nodos.

Si tu carga de trabajo requiere una versión específica de NCCL Core que no está incluida en nccl-gib, realiza los siguientes pasos en cada nodo del clúster para que todos los nodos ejecuten exactamente la misma versión de NCCL:

  1. Instala o actualiza los paquetes principales de NCCL de destino desde el repositorio de NVIDIA CUDA y cambia de nccl-gib a nccl-gib-plugins para que las actualizaciones futuras de los paquetes no reinstalen la biblioteca de NCCL empaquetada. Si tu VM usa una imagen de SO estándar que no incluye el repositorio de NVIDIA CUDA, agrega el repositorio primero siguiendo la guía de instalación de NVIDIA NCCL.

    Debian 12+/Ubuntu 20.04+ (paquete .deb)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9 o versiones posteriores (paquete .rpm)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. Si tu entorno aún tiene archivos libnccl.so* empaquetados en /usr/local/gib/lib64 o /usr/local/gib/lib de una instalación o activación de contenedor de nccl-gib anteriores, quita solo esos archivos libnccl.so* empaquetados para que no tengan prioridad sobre la biblioteca principal de NCCL actualizada:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. Verifica la configuración de tu entorno y la versión activa de NCCL:

    • Si LD_LIBRARY_PATH en tu entorno de carga de trabajo incluye /usr/local/gib/lib64 o /usr/local/nvidia/lib64, verifica que esos directorios no contengan un archivo libnccl.so.2 anterior o antepón la ruta de acceso de la biblioteca del sistema, como /usr/lib/x86_64-linux-gnu o /usr/lib64, a LD_LIBRARY_PATH.

    • Si tu versión personalizada de NCCL Core es anterior a la 2.28.7, obtén /usr/local/gib/scripts/set_nccl_env.sh antes de ejecutar tu carga de trabajo, porque el complemento de entorno automático solo se carga en NCCL 2.28.7 o versiones posteriores.

    • Verifica las versiones registradas de NCCL y gIB para confirmar que la biblioteca principal de NCCL actualizada y el complemento NET/gIB se inicialicen juntos.

Habilita NCCL/gIB

A partir de NCCL/gIB v1.1.2, si instalaste nccl-gib o nccl-gib-plugins, NCCL/gIB debería habilitarse automáticamente en tus cargas de trabajo.

En las versiones anteriores, para habilitar NCCL/gIB en tus cargas de trabajo, asegúrate de lo siguiente:

  • /usr/local/gib/scripts/set_nccl_env.sh se obtiene en tu entorno de ejecución. El archivo de origen incluye todas las variables de entorno necesarias para NCCL/gIB, y Google espera actualizarlas en las próximas versiones de NCCL/gIB.
  • El directorio /usr/local/gib/lib64 se encuentra en tu LD_LIBRARY_PATH.

Para verificar que NCCL/gIB esté habilitado, comprueba que estén presentes las siguientes entradas de registro de nivel INFO de NCCL:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

¿Qué sigue?