本頁面說明如何使用 Debian 軟體套件 (.deb) 或 Red Hat Package Manager (.rpm) 安裝 NCCL/gIB。安裝後,您就能在 A4X Max、A4X、A4 和 A3 Ultra 執行個體上執行 NCCL 工作負載。
(適用於 A4X Max) 更新使用者空間程式庫
在 A4X Max 上,您必須先安裝最新的使用者空間程式庫,才能執行 NCCL 工作負載。如果您是以超級使用者身分登入,請省略出現的 sudo,直接執行指令。
Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
安裝 NCCL/gIB
視執行工作負載的位置而定,您會在運算執行個體或容器映像檔中安裝 NCCL/gIB。
nccl-gib 套件隨附未經修改的 NVidia NCCL 程式庫 (libnccl2.so) 和標頭。所有 NCCL/gIB 內容都會安裝到 /usr/local/gib 目錄,外掛程式庫也會安裝到系統資料夾 (位於 /usr/lib 下方)。部分依附元件也會透過發行版本的存放區擷取。
Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9+ (.rpm 套件)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
安裝 NCCL 外掛程式
如要使用自訂版本的 NCCL Core,而非 nccl-gib 隨附的 NCCL 程式庫,請安裝 nccl-gib-plugins 套件。這個套件只會安裝 Google 的 NCCL/gIB 外掛程式,且與 nccl-gib 衝突,因此安裝其中一個套件會自動移除另一個套件。如果您使用與 nccl-gib 搭配的 NCCL 版本,則不需要安裝 nccl-gib-plugins。
如要只安裝 gIB NCCL 外掛程式,請安裝 nccl-gib-plugins 套件:
Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9+ (.rpm 套件)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
如果使用標準 OS 映像檔,則必須一併安裝最新的 NVIDIA DOCA-OFED 驅動程式。如果您使用 Google 的加速器最佳化映像檔,例如 Container-Optimized OS 或加速器最佳化 Ubuntu 或 Rocky Linux OS 映像檔,則不需要安裝這個驅動程式。
為避免運算執行個體執行不相符的 NCCL/gIB 套件版本,請在執行工作負載前更新 NCCL/gIB,並停用自動套件更新,例如 Ubuntu 或 Debian 上的 unattended-upgrades。
升級現有安裝項目的 NCCL Core
如果 VM 已安裝舊版 nccl-gib 套件,且您需要較新的 NCCL Core 版本來支援 CUDA 13 或特定架構版本,請先查看 x86 版本資訊或 ARM64 版本資訊,確認最新版 nccl-gib 套件是否包含您需要的 NCCL 版本。如果最新的 nccl-gib 套件符合您的需求,請直接在所有節點上,升級 nccl-gib。
如果工作負載需要 nccl-gib 未隨附的特定 NCCL Core 版本,請在叢集中的每個節點上執行下列步驟,確保所有節點都執行完全相同的 NCCL 版本:
從 NVIDIA CUDA 存放區安裝或升級目標 NCCL Core 套件,並從
nccl-gib切換至nccl-gib-plugins,這樣日後更新套件時,就不會重新安裝隨附的 NCCL 程式庫。如果 VM 使用的標準 OS 映像檔不含 NVIDIA CUDA 存放區,請先按照 NVIDIA NCCL 安裝指南新增存放區。Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9+ (.rpm 套件)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
如果環境中仍有先前安裝
nccl-gib或掛接容器時,在/usr/local/gib/lib64或/usr/local/gib/lib中綁定的libnccl.so*檔案,請只移除這些綁定的libnccl.so*檔案,以免其優先順序高於升級後的 NCCL Core 程式庫:sudo rm -f /usr/local/gib/lib*/libnccl.so*驗證環境設定和有效的 NCCL 版本:
如果工作負載環境中的
LD_LIBRARY_PATH包含/usr/local/gib/lib64或/usr/local/nvidia/lib64,請確認這些目錄不含舊版libnccl.so.2檔案,或將系統程式庫路徑 (例如/usr/lib/x86_64-linux-gnu或/usr/lib64) 附加至LD_LIBRARY_PATH。如果自訂 NCCL Core 版本早於 2.28.7,請在執行工作負載前,先執行
/usr/local/gib/scripts/set_nccl_env.sh,因為自動環境外掛程式只會在 NCCL 2.28.7 以上版本載入。檢查記錄的 NCCL 和 gIB 版本,確認升級後的 NCCL Core 程式庫和
NET/gIB外掛程式會一起初始化。
啟用 NCCL/gIB
從 NCCL/gIB 1.1.2 版開始,如果您安裝了 nccl-gib 或 nccl-gib-plugins,NCCL/gIB 應會在工作負載中自動啟用。
在舊版中,如要在工作負載中啟用 NCCL/gIB,請確認下列事項:
/usr/local/gib/scripts/set_nccl_env.sh是在執行階段環境中取得。來源檔案包含 NCCL/gIB 的所有必要環境變數,Google 預計在日後的 NCCL/gIB 版本中更新這些變數。/usr/local/gib/lib64目錄位於LD_LIBRARY_PATH中。
如要確認 NCCL/gIB 是否已啟用,請檢查下列 NCCL INFO 層級記錄項目是否存在:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2