Instalar plug-ins NCCL do gIB

Nesta página, descrevemos como instalar o NCCL/gIB com pacotes de software do Debian (.deb) ou o Red Hat Package Manager (.rpm). Essa instalação permite executar cargas de trabalho do NCCL em instâncias A4X Max, A4X, A4 e A3 Ultra.

(Para A4X Max) Atualizar bibliotecas de espaço do usuário

No A4X Max, é necessário instalar as bibliotecas de espaço do usuário mais recentes antes de executar as cargas de trabalho da NCCL. Se você tiver feito login como usuário raiz, omita sudo onde ele ocorre para executar os comandos diretamente.

Debian 12+/Ubuntu 20.04+ (pacote .deb)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

Instalar NCCL/gIB

Dependendo de onde você executa as cargas de trabalho, instale o NCCL/gIB na instância de computação ou na imagem do contêiner.

O pacote nccl-gib é fornecido com uma biblioteca NVidia NCCL não modificada (libnccl2.so) e cabeçalhos. Todo o conteúdo da NCCL/gIB é instalado no diretório /usr/local/gib, e as bibliotecas de plug-ins também são instaladas na pasta do sistema (em /usr/lib). Algumas dependências também são buscadas nos repositórios da distribuição.

Debian 12+/Ubuntu 20.04+ (pacote .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9+ (pacote .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

Instalar plug-ins NCCL

Se você quiser usar sua própria versão personalizada do NCCL Core em vez da biblioteca NCCL incluída em nccl-gib, instale o pacote nccl-gib-plugins. Esse pacote instala apenas os plug-ins NCCL/gIB do Google e entra em conflito com nccl-gib. Portanto, a instalação de um pacote remove automaticamente o outro. Se você usar a versão do NCCL incluída no nccl-gib, não será necessário instalar nccl-gib-plugins.

Para instalar apenas os plug-ins gIB NCCL, instale o pacote nccl-gib-plugins:

Debian 12+/Ubuntu 20.04+ (pacote .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9+ (pacote .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

Se você usa imagens de SO padrão, também precisa instalar o driver NVIDIA DOCA-OFED mais recente. Não é necessário instalar esse driver se você usar as imagens otimizadas para aceleradores do Google, como o Container-Optimized OS ou as imagens do SO Ubuntu ou Rocky Linux otimizadas para aceleradores.

Para evitar que as instâncias de computação executem versões incompatíveis do pacote NCCL/gIB, atualize o NCCL/gIB antes de executar as cargas de trabalho e desative as atualizações automáticas de pacotes, como unattended-upgrades no Ubuntu ou no Debian.

Fazer upgrade do NCCL Core em instalações atuais

Se as VMs tiverem um pacote nccl-gib anterior instalado e você precisar de uma versão mais recente do NCCL Core para oferecer suporte ao CUDA 13 ou a uma versão específica do framework, verifique primeiro as notas da versão x86 ou as notas da versão ARM64 para ver se o pacote nccl-gib mais recente inclui a versão do NCCL necessária. Se o pacote nccl-gib mais recente atender aos seus requisitos, faça upgrade de nccl-gib diretamente em todos os nós.

Se a carga de trabalho exigir uma versão específica do NCCL Core que não esteja incluída em nccl-gib, execute as etapas a seguir em cada nó do cluster para que todos os nós executem exatamente a mesma versão do NCCL:

  1. Instale ou faça upgrade dos pacotes principais do NCCL de destino no repositório NVIDIA CUDA e mude de nccl-gib para nccl-gib-plugins para que as atualizações futuras de pacotes não reinstalem a biblioteca NCCL incluída. Se a VM usar uma imagem de SO padrão que não inclua o repositório NVIDIA CUDA, adicione o repositório primeiro seguindo o guia de instalação do NVIDIA NCCL.

    Debian 12+/Ubuntu 20.04+ (pacote .deb)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9+ (pacote .rpm)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. Se o ambiente ainda tiver arquivos libnccl.so* agrupados em /usr/local/gib/lib64 ou /usr/local/gib/lib de uma instalação ou montagem de contêiner nccl-gib anterior, remova apenas esses arquivos libnccl.so* agrupados para que eles não tenham prioridade sobre a biblioteca principal do NCCL atualizada:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. Verifique a configuração do ambiente e a versão ativa da NCCL:

    • Se LD_LIBRARY_PATH no ambiente de carga de trabalho incluir /usr/local/gib/lib64 ou /usr/local/nvidia/lib64, verifique se esses diretórios não contêm um arquivo libnccl.so.2 anterior ou adicione o caminho da biblioteca do sistema, como /usr/lib/x86_64-linux-gnu ou /usr/lib64, a LD_LIBRARY_PATH.

    • Se a versão personalizada do NCCL Core for anterior à 2.28.7, use o comando source /usr/local/gib/scripts/set_nccl_env.sh antes de executar a carga de trabalho, porque o plug-in de ambiente automático só é carregado no NCCL 2.28.7 ou mais recente.

    • Verifique as versões registradas da NCCL e do gIB para confirmar se a biblioteca principal da NCCL atualizada e o plug-in NET/gIB são inicializados juntos.

Ativar NCCL/gIB

A partir do NCCL/gIB v1.1.2, se você instalou nccl-gib ou nccl-gib-plugins, o NCCL/gIB será ativado automaticamente nas suas cargas de trabalho.

Nas versões anteriores, para ativar o NCCL/gIB nas cargas de trabalho, verifique o seguinte:

  • /usr/local/gib/scripts/set_nccl_env.sh é originado no ambiente de execução. O arquivo de origem inclui todas as variáveis de ambiente necessárias para NCCL/gIB, e o Google espera atualizá-las em versões futuras do NCCL/gIB.
  • O diretório /usr/local/gib/lib64 está no LD_LIBRARY_PATH.

Para verificar se o NCCL/gIB está ativado, confira se as seguintes entradas de registro de nível NCCL INFO estão presentes:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

A seguir