Nesta página, descrevemos como instalar o
NCCL/gIB com pacotes de software do Debian (.deb) ou o Red Hat Package Manager (.rpm). Essa instalação
permite executar cargas de trabalho do NCCL em instâncias A4X Max, A4X, A4 e A3 Ultra.
(Para A4X Max) Atualizar bibliotecas de espaço do usuário
No A4X Max, é necessário instalar as bibliotecas de espaço do usuário mais recentes antes de executar as
cargas de trabalho da NCCL. Se você tiver feito login como usuário raiz, omita sudo onde ele
ocorre para executar os comandos diretamente.
Debian 12+/Ubuntu 20.04+ (pacote .deb)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
Instalar NCCL/gIB
Dependendo de onde você executa as cargas de trabalho, instale o NCCL/gIB na instância de computação ou na imagem do contêiner.
O pacote nccl-gib é fornecido com uma biblioteca NVidia NCCL não modificada
(libnccl2.so) e cabeçalhos. Todo o conteúdo da NCCL/gIB é instalado no diretório /usr/local/gib, e as bibliotecas de plug-ins também são instaladas na pasta do sistema (em /usr/lib). Algumas dependências também são buscadas nos repositórios da distribuição.
Debian 12+/Ubuntu 20.04+ (pacote .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9+ (pacote .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
Instalar plug-ins NCCL
Se você quiser usar sua própria versão personalizada do NCCL Core em vez da biblioteca NCCL
incluída em nccl-gib, instale o pacote nccl-gib-plugins. Esse
pacote instala apenas os plug-ins NCCL/gIB do Google e entra em conflito com nccl-gib.
Portanto, a instalação de um pacote remove automaticamente o outro. Se você usar a versão do NCCL
incluída no nccl-gib, não será necessário instalar
nccl-gib-plugins.
Para instalar apenas os plug-ins gIB NCCL, instale o pacote nccl-gib-plugins:
Debian 12+/Ubuntu 20.04+ (pacote .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9+ (pacote .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
Se você usa imagens de SO padrão, também precisa instalar o driver NVIDIA DOCA-OFED mais recente. Não é necessário instalar esse driver se você usar as imagens otimizadas para aceleradores do Google, como o Container-Optimized OS ou as imagens do SO Ubuntu ou Rocky Linux otimizadas para aceleradores.
Para evitar que as instâncias de computação executem versões incompatíveis do pacote
NCCL/gIB, atualize o NCCL/gIB antes de executar as cargas de trabalho e desative as atualizações automáticas
de pacotes, como unattended-upgrades no Ubuntu ou no Debian.
Fazer upgrade do NCCL Core em instalações atuais
Se as VMs tiverem um pacote nccl-gib anterior instalado e você precisar de uma versão mais recente do NCCL Core para oferecer suporte ao CUDA 13 ou a uma versão específica do framework, verifique primeiro as notas da versão x86 ou as notas da versão ARM64 para ver se o pacote nccl-gib mais recente inclui a versão do NCCL necessária.
Se o pacote nccl-gib mais recente atender aos seus requisitos, faça upgrade de nccl-gib diretamente em todos os nós.
Se a carga de trabalho exigir uma versão específica do NCCL Core que não esteja incluída em nccl-gib, execute as etapas a seguir em cada nó do cluster para que todos os nós executem exatamente a mesma versão do NCCL:
Instale ou faça upgrade dos pacotes principais do NCCL de destino no repositório NVIDIA CUDA e mude de
nccl-gibparanccl-gib-pluginspara que as atualizações futuras de pacotes não reinstalem a biblioteca NCCL incluída. Se a VM usar uma imagem de SO padrão que não inclua o repositório NVIDIA CUDA, adicione o repositório primeiro seguindo o guia de instalação do NVIDIA NCCL.Debian 12+/Ubuntu 20.04+ (pacote .deb)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9+ (pacote .rpm)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
Se o ambiente ainda tiver arquivos
libnccl.so*agrupados em/usr/local/gib/lib64ou/usr/local/gib/libde uma instalação ou montagem de contêinernccl-gibanterior, remova apenas esses arquivoslibnccl.so*agrupados para que eles não tenham prioridade sobre a biblioteca principal do NCCL atualizada:sudo rm -f /usr/local/gib/lib*/libnccl.so*Verifique a configuração do ambiente e a versão ativa da NCCL:
Se
LD_LIBRARY_PATHno ambiente de carga de trabalho incluir/usr/local/gib/lib64ou/usr/local/nvidia/lib64, verifique se esses diretórios não contêm um arquivolibnccl.so.2anterior ou adicione o caminho da biblioteca do sistema, como/usr/lib/x86_64-linux-gnuou/usr/lib64, aLD_LIBRARY_PATH.Se a versão personalizada do NCCL Core for anterior à 2.28.7, use o comando source
/usr/local/gib/scripts/set_nccl_env.shantes de executar a carga de trabalho, porque o plug-in de ambiente automático só é carregado no NCCL 2.28.7 ou mais recente.Verifique as versões registradas da NCCL e do gIB para confirmar se a biblioteca principal da NCCL atualizada e o plug-in
NET/gIBsão inicializados juntos.
Ativar NCCL/gIB
A partir do NCCL/gIB v1.1.2, se você instalou nccl-gib ou
nccl-gib-plugins, o NCCL/gIB será ativado automaticamente nas suas cargas de trabalho.
Nas versões anteriores, para ativar o NCCL/gIB nas cargas de trabalho, verifique o seguinte:
/usr/local/gib/scripts/set_nccl_env.shé originado no ambiente de execução. O arquivo de origem inclui todas as variáveis de ambiente necessárias para NCCL/gIB, e o Google espera atualizá-las em versões futuras do NCCL/gIB.- O diretório
/usr/local/gib/lib64está noLD_LIBRARY_PATH.
Para verificar se o NCCL/gIB está ativado, confira se as seguintes entradas de registro de nível NCCL INFO estão presentes:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2