Menginstal plugin gIB NCCL

Halaman ini menjelaskan cara menginstal NCCL/gIB dengan Paket Software Debian (.deb) atau Red Hat Package Manager (.rpm). Penginstalan ini memungkinkan Anda menjalankan workload NCCL di instance A4X Max, A4X, A4, dan A3 Ultra.

(Untuk A4X Max) Mengupdate library userspace

Di A4X Max, Anda harus menginstal library userspace terbaru sebelum menjalankan workload NCCL. Jika Anda login sebagai pengguna root, hapus sudo jika muncul untuk menjalankan perintah secara langsung.

Debian 12+/Ubuntu 20.04+ (paket .deb)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

Menginstal NCCL/gIB

Bergantung pada tempat Anda menjalankan workload, Anda menginstal NCCL/gIB di instance komputasi atau image container.

Paket nccl-gib dipaketkan dengan library NCCL NVidia (libnccl2.so) dan header yang tidak diubah. Semua konten NCCL/gIB diinstal ke direktori /usr/local/gib, dan library plugin juga diinstal ke folder sistem (di bagian /usr/lib). Beberapa dependensi juga diambil melalui repositori distribusi.

Debian 12+/Ubuntu 20.04+ (paket .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9+ (paket .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

Menginstal plugin NCCL

Jika Anda ingin menggunakan NCCL Core versi kustom Anda sendiri, bukan library NCCL yang dipaketkan dalam nccl-gib, instal paket nccl-gib-plugins. Paket ini hanya menginstal plugin NCCL/gIB Google dan bertentangan dengan nccl-gib, sehingga menginstal satu paket akan otomatis menghapus paket lainnya. Jika Anda menggunakan versi NCCL yang dipaketkan dengan nccl-gib, Anda tidak perlu menginstal nccl-gib-plugins.

Untuk menginstal plugin gIB NCCL saja, instal paket nccl-gib-plugins:

Debian 12+/Ubuntu 20.04+ (paket .deb)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9+ (paket .rpm)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

Jika menggunakan image OS standar, Anda juga harus menginstal driver NVIDIA DOCA-OFED terbaru. Anda tidak perlu menginstal driver ini jika menggunakan image OS yang dioptimalkan untuk akselerator Google, seperti Container-Optimized OS atau image OS Ubuntu atau Rocky Linux yang dioptimalkan untuk akselerator.

Untuk mencegah instance komputasi menjalankan versi paket NCCL/gIB yang tidak cocok, update NCCL/gIB sebelum Anda menjalankan workload dan nonaktifkan update paket otomatis, seperti unattended-upgrades di Ubuntu atau Debian.

Mengupgrade NCCL Core pada penginstalan yang ada

Jika VM Anda telah menginstal paket nccl-gib yang lebih lama dan Anda memerlukan versi NCCL Core yang lebih baru untuk mendukung CUDA 13 atau versi framework tertentu, periksa terlebih dahulu catatan rilis x86 atau catatan rilis ARM64 untuk melihat apakah paket nccl-gib terbaru menyertakan versi NCCL yang Anda perlukan. Jika paket nccl-gib terbaru memenuhi persyaratan Anda, upgrade nccl-gib secara langsung di semua node.

Jika workload Anda memerlukan versi NCCL Core tertentu yang tidak dipaketkan dalam nccl-gib, lakukan langkah-langkah berikut pada setiap node di cluster Anda agar semua node menjalankan versi NCCL yang sama persis:

  1. Instal atau upgrade paket NCCL Core target Anda dari repositori NVIDIA CUDA dan beralih dari nccl-gib ke nccl-gib-plugins agar update paket di masa mendatang tidak menginstal ulang library NCCL yang dipaketkan. Jika VM Anda menggunakan OS image standar yang tidak menyertakan repositori NVIDIA CUDA, tambahkan repositori terlebih dahulu dengan mengikuti Panduan Pemasangan NVIDIA NCCL.

    Debian 12+/Ubuntu 20.04+ (paket .deb)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9+ (paket .rpm)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. Jika lingkungan Anda masih memiliki file libnccl.so* yang dipaketkan di /usr/local/gib/lib64 atau /usr/local/gib/lib dari penginstalan nccl-gib atau pemasangan container sebelumnya, hapus hanya file libnccl.so* yang dipaketkan tersebut agar tidak diprioritaskan daripada library NCCL Core yang diupgrade:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. Verifikasi konfigurasi lingkungan dan versi NCCL aktif Anda:

    • Jika LD_LIBRARY_PATH di lingkungan workload Anda menyertakan /usr/local/gib/lib64 atau /usr/local/nvidia/lib64, pastikan direktori tersebut tidak berisi file libnccl.so.2 yang lebih lama, atau tambahkan jalur library sistem Anda, seperti /usr/lib/x86_64-linux-gnu atau /usr/lib64, ke LD_LIBRARY_PATH.

    • Jika versi NCCL Core kustom Anda lebih lama dari 2.28.7, sumberkan /usr/local/gib/scripts/set_nccl_env.sh sebelum Anda menjalankan workload, karena plugin lingkungan otomatis hanya dimuat di NCCL 2.28.7 atau yang lebih baru.

    • Periksa versi NCCL dan gIB yang dicatat dalam log untuk mengonfirmasi bahwa library NCCL Core yang diupgrade dan plugin NET/gIB melakukan inisialisasi bersama.

Mengaktifkan NCCL/gIB

Mulai dari NCCL/gIB v1.1.2, jika Anda menginstal nccl-gib atau nccl-gib-plugins, NCCL/gIB akan otomatis diaktifkan di workload Anda.

Pada versi sebelumnya, untuk mengaktifkan NCCL/gIB di workload Anda, pastikan hal berikut:

  • /usr/local/gib/scripts/set_nccl_env.sh bersumber di lingkungan runtime Anda. File sumber menyertakan semua variabel lingkungan yang diperlukan untuk NCCL/gIB dan Google akan mengupdatenya dalam rilis NCCL/gIB mendatang.
  • Direktori /usr/local/gib/lib64 berada di LD_LIBRARY_PATH Anda.

Untuk memverifikasi bahwa NCCL/gIB diaktifkan, pastikan entri log level NCCL INFO berikut ada:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

Langkah berikutnya