gIB NCCL 플러그인 설치

이 페이지에서는 Debian 소프트웨어 패키지(.deb) 또는 Red Hat Package Manager(.rpm)를 사용하여 NCCL/gIB를 설치하는 방법을 설명합니다. 이 설치를 통해 A4X Max, A4X, A4, A3 Ultra 인스턴스에서 NCCL 워크로드를 실행할 수 있습니다.

(A4X Max의 경우) 사용자 공간 라이브러리 업데이트

A4X Max에서는 NCCL 워크로드를 실행하기 전에 최신 사용자 공간 라이브러리를 설치해야 합니다. 루트 사용자로 로그인한 경우 sudo를 생략하여 명령어를 직접 실행합니다.

Debian 12 이상/Ubuntu 20.04 이상(.deb 패키지)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

NCCL/gIB 설치

워크로드를 실행하는 위치에 따라 컴퓨팅 인스턴스 또는 컨테이너 이미지에 NCCL/gIB를 설치합니다.

nccl-gib 패키지는 수정되지 않은 NVidia NCCL 라이브러리(libnccl2.so) 및 헤더와 함께 번들로 제공됩니다. 모든 NCCL/gIB 콘텐츠는 /usr/local/gib 디렉터리에 설치되고 플러그인 라이브러리도 시스템 폴더(/usr/lib 아래)에 설치됩니다. 일부 종속 항목은 배포 저장소를 통해서도 가져옵니다.

Debian 12 이상/Ubuntu 20.04 이상(.deb 패키지)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9 이상(.rpm 패키지)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

NCCL 플러그인 설치

nccl-gib에 번들로 제공되는 NCCL 라이브러리 대신 자체 커스텀 버전의 NCCL Core를 사용하려면 nccl-gib-plugins 패키지를 설치합니다. 이 패키지는 Google의 NCCL/gIB 플러그인만 설치하며 nccl-gib와 충돌하므로 한 패키지를 설치하면 다른 패키지가 자동으로 삭제됩니다. nccl-gib와 함께 번들로 제공되는 NCCL 버전을 사용하는 경우 nccl-gib-plugins를 설치할 필요가 없습니다.

gIB NCCL 플러그인만 설치하려면 nccl-gib-plugins 패키지를 설치합니다.

Debian 12 이상/Ubuntu 20.04 이상(.deb 패키지)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9 이상(.rpm 패키지)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

표준 OS 이미지를 사용하는 경우 최신 NVIDIA DOCA-OFED 드라이버도 설치해야 합니다. Container-Optimized OS 또는 가속기 최적화 Ubuntu 또는 Rocky Linux OS 이미지와 같은 Google의 가속기 최적화 이미지를 사용하는 경우 이 드라이버를 설치할 필요가 없습니다.

컴퓨팅 인스턴스에서 일치하지 않는 버전의 NCCL/gIB 패키지를 실행하지 않도록 하려면 워크로드를 실행하기 전에 NCCL/gIB를 업데이트하고 Ubuntu 또는 Debian의 unattended-upgrades와 같은 자동 패키지 업데이트를 사용 중지합니다.

기존 설치에서 NCCL Core 업그레이드

VM에 이전 nccl-gib 패키지가 설치되어 있고 CUDA 13 또는 특정 프레임워크 버전을 지원하기 위해 이후 NCCL Core 버전이 필요한 경우 먼저 x86 출시 노트 또는 ARM64 출시 노트를 확인하여 최신 nccl-gib 패키지에 필요한 NCCL 버전이 포함되어 있는지 확인합니다. 최신 nccl-gib 패키지가 요구사항을 충족하는 경우 모든 노드에서 nccl-gib를 직접 업그레이드합니다.

워크로드에 nccl-gib에 번들로 제공되지 않는 특정 NCCL Core 버전이 필요한 경우 클러스터의 모든 노드에서 다음 단계를 수행하여 모든 노드가 정확히 동일한 NCCL 버전을 실행하도록 합니다.

  1. NVIDIA CUDA 저장소에서 대상 NCCL Core 패키지를 설치하거나 업그레이드하고 nccl-gib에서 nccl-gib-plugins로 전환하여 향후 패키지 업데이트에서 번들 NCCL 라이브러리를 다시 설치하지 않도록 합니다. VM에서 NVIDIA CUDA 저장소가 포함되지 않은 표준 OS 이미지를 사용하는 경우 먼저 NVIDIA NCCL 설치 가이드에 따라 저장소를 추가합니다.

    Debian 12 이상/Ubuntu 20.04 이상(.deb 패키지)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9 이상(.rpm 패키지)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. 환경에 이전 nccl-gib 설치 또는 컨테이너 마운트의 번들 libnccl.so* 파일이 /usr/local/gib/lib64 또는 /usr/local/gib/lib에 여전히 있는 경우 업그레이드된 NCCL Core 라이브러리보다 우선 적용되지 않도록 번들 libnccl.so* 파일만 삭제합니다.

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. 환경 구성과 활성 NCCL 버전을 확인합니다.

    • 워크로드 환경의 LD_LIBRARY_PATH에 /usr/local/gib/lib64 또는 /usr/local/nvidia/lib64가 포함된 경우 해당 디렉터리에 이전 libnccl.so.2 파일이 포함되어 있지 않은지 확인하거나 시스템 라이브러리 경로(예: /usr/lib/x86_64-linux-gnu 또는 /usr/lib64)를 LD_LIBRARY_PATH 앞에 추가합니다.

    • 커스텀 NCCL Core 버전이 2.28.7 이전인 경우 워크로드를 실행하기 전에 /usr/local/gib/scripts/set_nccl_env.sh를 소스화합니다. 자동 환경 플러그인은 NCCL 2.28.7 이상에서만 로드되기 때문입니다.

    • 로깅된 NCCL 및 gIB 버전을 확인하여 업그레이드된 NCCL Core 라이브러리와 NET/gIB 플러그인이 함께 초기화되는지 확인합니다.

NCCL/gIB 사용 설정

NCCL/gIB v1.1.2부터 nccl-gib 또는 nccl-gib-plugins를 설치한 경우 워크로드에서 NCCL/gIB가 자동으로 사용 설정됩니다.

이전 버전에서 워크로드에 NCCL/gIB를 사용 설정하려면 다음을 확인하세요.

  • /usr/local/gib/scripts/set_nccl_env.sh는 런타임 환경에서 소싱됩니다. 소스 파일에는 NCCL/gIB에 필요한 모든 환경 변수가 포함되어 있으며 Google은 향후 NCCL/gIB 출시에서 이를 업데이트할 예정입니다.
  • /usr/local/gib/lib64 디렉터리는 LD_LIBRARY_PATH에 있습니다.

NCCL/gIB가 사용 설정되어 있는지 확인하려면 다음 NCCL INFO 수준 로그 항목이 있는지 확인합니다.

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

다음 단계