Halaman ini menjelaskan cara menginstal
NCCL/gIB dengan Paket Software
Debian (.deb) atau Red Hat Package Manager (.rpm). Penginstalan ini
memungkinkan Anda menjalankan workload NCCL di instance A4X Max, A4X, A4, dan A3 Ultra.
(Untuk A4X Max) Mengupdate library userspace
Di A4X Max, Anda harus menginstal library userspace terbaru sebelum menjalankan workload NCCL. Jika Anda login sebagai pengguna root, hapus sudo jika muncul untuk menjalankan perintah secara langsung.
Debian 12+/Ubuntu 20.04+ (paket .deb)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
Menginstal NCCL/gIB
Bergantung pada tempat Anda menjalankan workload, Anda menginstal NCCL/gIB di instance komputasi atau image container.
Paket nccl-gib dipaketkan dengan library NCCL NVidia (libnccl2.so) dan header yang tidak diubah. Semua konten NCCL/gIB diinstal ke direktori /usr/local/gib, dan library plugin juga diinstal ke folder sistem (di bagian /usr/lib). Beberapa dependensi juga diambil melalui repositori distribusi.
Debian 12+/Ubuntu 20.04+ (paket .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9+ (paket .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
Menginstal plugin NCCL
Jika Anda ingin menggunakan NCCL Core versi kustom Anda sendiri, bukan library NCCL yang dipaketkan dalam nccl-gib, instal paket nccl-gib-plugins. Paket ini hanya menginstal plugin NCCL/gIB Google dan bertentangan dengan nccl-gib, sehingga menginstal satu paket akan otomatis menghapus paket lainnya. Jika Anda menggunakan versi NCCL yang dipaketkan dengan nccl-gib, Anda tidak perlu menginstal nccl-gib-plugins.
Untuk menginstal plugin gIB NCCL saja, instal paket nccl-gib-plugins:
Debian 12+/Ubuntu 20.04+ (paket .deb)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9+ (paket .rpm)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
Jika menggunakan image OS standar, Anda juga harus menginstal driver NVIDIA DOCA-OFED terbaru. Anda tidak perlu menginstal driver ini jika menggunakan image OS yang dioptimalkan untuk akselerator Google, seperti Container-Optimized OS atau image OS Ubuntu atau Rocky Linux yang dioptimalkan untuk akselerator.
Untuk mencegah instance komputasi menjalankan versi paket NCCL/gIB yang tidak cocok, update NCCL/gIB sebelum Anda menjalankan workload dan nonaktifkan update paket otomatis, seperti unattended-upgrades di Ubuntu atau Debian.
Mengupgrade NCCL Core pada penginstalan yang ada
Jika VM Anda telah menginstal paket nccl-gib yang lebih lama dan Anda memerlukan versi NCCL Core yang lebih baru untuk mendukung CUDA 13 atau versi framework tertentu, periksa terlebih dahulu catatan rilis x86 atau catatan rilis ARM64 untuk melihat apakah paket nccl-gib terbaru menyertakan versi NCCL yang Anda perlukan.
Jika paket nccl-gib terbaru memenuhi persyaratan Anda, upgrade
nccl-gib secara langsung di semua node.
Jika workload Anda memerlukan versi NCCL Core tertentu yang tidak dipaketkan dalam
nccl-gib, lakukan langkah-langkah berikut pada setiap node di cluster Anda agar
semua node menjalankan versi NCCL yang sama persis:
Instal atau upgrade paket NCCL Core target Anda dari repositori NVIDIA CUDA dan beralih dari
nccl-gibkenccl-gib-pluginsagar update paket di masa mendatang tidak menginstal ulang library NCCL yang dipaketkan. Jika VM Anda menggunakan OS image standar yang tidak menyertakan repositori NVIDIA CUDA, tambahkan repositori terlebih dahulu dengan mengikuti Panduan Pemasangan NVIDIA NCCL.Debian 12+/Ubuntu 20.04+ (paket .deb)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9+ (paket .rpm)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
Jika lingkungan Anda masih memiliki file
libnccl.so*yang dipaketkan di/usr/local/gib/lib64atau/usr/local/gib/libdari penginstalannccl-gibatau pemasangan container sebelumnya, hapus hanya filelibnccl.so*yang dipaketkan tersebut agar tidak diprioritaskan daripada library NCCL Core yang diupgrade:sudo rm -f /usr/local/gib/lib*/libnccl.so*Verifikasi konfigurasi lingkungan dan versi NCCL aktif Anda:
Jika
LD_LIBRARY_PATHdi lingkungan workload Anda menyertakan/usr/local/gib/lib64atau/usr/local/nvidia/lib64, pastikan direktori tersebut tidak berisi filelibnccl.so.2yang lebih lama, atau tambahkan jalur library sistem Anda, seperti/usr/lib/x86_64-linux-gnuatau/usr/lib64, keLD_LIBRARY_PATH.Jika versi NCCL Core kustom Anda lebih lama dari 2.28.7, sumberkan
/usr/local/gib/scripts/set_nccl_env.shsebelum Anda menjalankan workload, karena plugin lingkungan otomatis hanya dimuat di NCCL 2.28.7 atau yang lebih baru.Periksa versi NCCL dan gIB yang dicatat dalam log untuk mengonfirmasi bahwa library NCCL Core yang diupgrade dan plugin
NET/gIBmelakukan inisialisasi bersama.
Mengaktifkan NCCL/gIB
Mulai dari NCCL/gIB v1.1.2, jika Anda menginstal nccl-gib atau
nccl-gib-plugins, NCCL/gIB akan otomatis diaktifkan di workload Anda.
Pada versi sebelumnya, untuk mengaktifkan NCCL/gIB di workload Anda, pastikan hal berikut:
/usr/local/gib/scripts/set_nccl_env.shbersumber di lingkungan runtime Anda. File sumber menyertakan semua variabel lingkungan yang diperlukan untuk NCCL/gIB dan Google akan mengupdatenya dalam rilis NCCL/gIB mendatang.- Direktori
/usr/local/gib/lib64berada diLD_LIBRARY_PATHAnda.
Untuk memverifikasi bahwa NCCL/gIB diaktifkan, pastikan entri log level NCCL INFO berikut ada:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2