安裝 gIB NCCL 外掛程式

本頁面說明如何使用 Debian 軟體套件 (.deb) 或 Red Hat Package Manager (.rpm) 安裝 NCCL/gIB。安裝後,您就能在 A4X Max、A4X、A4 和 A3 Ultra 執行個體上執行 NCCL 工作負載。

(適用於 A4X Max) 更新使用者空間程式庫

在 A4X Max 上,您必須先安裝最新的使用者空間程式庫,才能執行 NCCL 工作負載。如果您是以超級使用者身分登入,請省略出現的 sudo,直接執行指令。

Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

安裝 NCCL/gIB

視執行工作負載的位置而定,您會在運算執行個體或容器映像檔中安裝 NCCL/gIB。

nccl-gib 套件隨附未經修改的 NVidia NCCL 程式庫 (libnccl2.so) 和標頭。所有 NCCL/gIB 內容都會安裝到 /usr/local/gib 目錄,外掛程式庫也會安裝到系統資料夾 (位於 /usr/lib 下方)。部分依附元件也會透過發行版本的存放區擷取。

Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9+ (.rpm 套件)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

安裝 NCCL 外掛程式

如要使用自訂版本的 NCCL Core,而非 nccl-gib 隨附的 NCCL 程式庫,請安裝 nccl-gib-plugins 套件。這個套件只會安裝 Google 的 NCCL/gIB 外掛程式,且與 nccl-gib 衝突,因此安裝其中一個套件會自動移除另一個套件。如果您使用與 nccl-gib 搭配的 NCCL 版本,則不需要安裝 nccl-gib-plugins。

如要只安裝 gIB NCCL 外掛程式,請安裝 nccl-gib-plugins 套件:

Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9+ (.rpm 套件)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

如果使用標準 OS 映像檔,則必須一併安裝最新的 NVIDIA DOCA-OFED 驅動程式。如果您使用 Google 的加速器最佳化映像檔,例如 Container-Optimized OS 或加速器最佳化 Ubuntu 或 Rocky Linux OS 映像檔,則不需要安裝這個驅動程式。

為避免運算執行個體執行不相符的 NCCL/gIB 套件版本,請在執行工作負載前更新 NCCL/gIB,並停用自動套件更新,例如 Ubuntu 或 Debian 上的 unattended-upgrades。

升級現有安裝項目的 NCCL Core

如果 VM 已安裝舊版 nccl-gib 套件,且您需要較新的 NCCL Core 版本來支援 CUDA 13 或特定架構版本,請先查看 x86 版本資訊或 ARM64 版本資訊,確認最新版 nccl-gib 套件是否包含您需要的 NCCL 版本。如果最新的 nccl-gib 套件符合您的需求,請直接在所有節點上,升級 nccl-gib。

如果工作負載需要 nccl-gib 未隨附的特定 NCCL Core 版本,請在叢集中的每個節點上執行下列步驟,確保所有節點都執行完全相同的 NCCL 版本:

  1. 從 NVIDIA CUDA 存放區安裝或升級目標 NCCL Core 套件,並從 nccl-gib 切換至 nccl-gib-plugins,這樣日後更新套件時,就不會重新安裝隨附的 NCCL 程式庫。如果 VM 使用的標準 OS 映像檔不含 NVIDIA CUDA 存放區,請先按照 NVIDIA NCCL 安裝指南新增存放區。

    Debian 12 以上版本/Ubuntu 20.04 以上版本 (.deb 套件)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9+ (.rpm 套件)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. 如果環境中仍有先前安裝 nccl-gib 或掛接容器時,在 /usr/local/gib/lib64 或 /usr/local/gib/lib 中綁定的 libnccl.so* 檔案,請只移除這些綁定的 libnccl.so* 檔案,以免其優先順序高於升級後的 NCCL Core 程式庫:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. 驗證環境設定和有效的 NCCL 版本:

    • 如果工作負載環境中的 LD_LIBRARY_PATH 包含 /usr/local/gib/lib64 或 /usr/local/nvidia/lib64,請確認這些目錄不含舊版 libnccl.so.2 檔案,或將系統程式庫路徑 (例如 /usr/lib/x86_64-linux-gnu 或 /usr/lib64) 附加至 LD_LIBRARY_PATH。

    • 如果自訂 NCCL Core 版本早於 2.28.7,請在執行工作負載前,先執行 /usr/local/gib/scripts/set_nccl_env.sh,因為自動環境外掛程式只會在 NCCL 2.28.7 以上版本載入。

    • 檢查記錄的 NCCL 和 gIB 版本,確認升級後的 NCCL Core 程式庫和 NET/gIB 外掛程式會一起初始化。

啟用 NCCL/gIB

從 NCCL/gIB 1.1.2 版開始,如果您安裝了 nccl-gib 或 nccl-gib-plugins,NCCL/gIB 應會在工作負載中自動啟用。

在舊版中,如要在工作負載中啟用 NCCL/gIB,請確認下列事項:

  • /usr/local/gib/scripts/set_nccl_env.sh 是在執行階段環境中取得。來源檔案包含 NCCL/gIB 的所有必要環境變數,Google 預計在日後的 NCCL/gIB 版本中更新這些變數。
  • /usr/local/gib/lib64 目錄位於 LD_LIBRARY_PATH 中。

如要確認 NCCL/gIB 是否已啟用,請檢查下列 NCCL INFO 層級記錄項目是否存在:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

後續步驟