安装 gIB NCCL 插件

本页面介绍了如何使用 Debian 软件包 (.deb) 或 Red Hat 软件包管理器 (.rpm) 安装 NCCL/gIB。通过此安装,您可以在 A4X Max、A4X、A4 和 A3 Ultra 实例上运行 NCCL 工作负载。

(对于 A4X Max)更新用户空间库

在 A4X Max 上,您必须先安装最新的用户空间库,然后才能运行 NCCL 工作负载。如果您以根用户身份登录,则在出现 sudo 时将其省略,以直接运行命令。

Debian 12+/Ubuntu 20.04+(.deb 软件包)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

安装 NCCL/gIB

根据您运行工作负载的位置,您可以在计算实例或容器映像中安装 NCCL/gIB。

nccl-gib 软件包与未经修改的 NVidia NCCL 库 (libnccl2.so) 和标头捆绑在一起。所有 NCCL/gIB 内容都会安装到 /usr/local/gib 目录中,插件库也会安装到系统文件夹(位于 /usr/lib 下)中。一些依赖项也会通过发行版的代码库提取。

Debian 12+/Ubuntu 20.04+(.deb 软件包)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux/CentOS/RHEL 9+(.rpm 软件包)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

安装 NCCL 插件

如果您想使用自己的自定义 NCCL Core 版本,而不是 nccl-gib 中捆绑的 NCCL 库,请安装 nccl-gib-plugins 软件包。此软件包仅安装 Google 的 NCCL/gIB 插件,并与 nccl-gib 冲突,因此安装一个软件包会自动移除另一个软件包。如果您使用与 nccl-gib 捆绑的 NCCL 版本,则无需安装 nccl-gib-plugins。

如需仅安装 gIB NCCL 插件,请安装 nccl-gib-plugins 软件包:

Debian 12+/Ubuntu 20.04+(.deb 软件包)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux/CentOS/RHEL 9+(.rpm 软件包)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

如果您使用标准操作系统映像,则还必须安装最新的 NVIDIA DOCA-OFED 驱动程序。如果您使用 Google 的加速器优化操作系统映像(例如 Container-Optimized OS 或加速器优化 Ubuntu 或 Rocky Linux 操作系统映像),则无需安装此驱动程序。

为防止计算实例运行不匹配版本的 NCCL/gIB 软件包,请在运行工作负载之前更新 NCCL/gIB,并停用自动软件包更新,例如 Ubuntu 或 Debian 上的 unattended-upgrades。

在现有安装上升级 NCCL Core

如果您的虚拟机安装了较低版本的 nccl-gib 软件包,而您需要更高版本的 NCCL Core 来支持 CUDA 13 或特定框架版本,请先查看 x86 版本说明或 ARM64 版本说明,了解最新的 nccl-gib 软件包是否包含您需要的 NCCL 版本。如果最新的 nccl-gib 软件包满足您的要求,请直接在所有节点上升级 nccl-gib。

如果您的工作负载需要 nccl-gib 中未捆绑的特定 NCCL Core 版本,请在集群中的每个节点上执行以下步骤,以便所有节点都运行完全相同的 NCCL 版本:

  1. 从 NVIDIA CUDA 代码库安装或升级目标 NCCL Core 软件包,并从 nccl-gib 切换到 nccl-gib-plugins,以便未来的软件包更新不会重新安装捆绑的 NCCL 库。如果您的虚拟机使用的是不包含 NVIDIA CUDA 代码库的标准操作系统映像,请先按照 NVIDIA NCCL 安装指南添加该代码库。

    Debian 12+/Ubuntu 20.04+(.deb 软件包)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux/CentOS/RHEL 9+(.rpm 软件包)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. 如果您的环境仍有来自早期 nccl-gib 安装或容器装载的 /usr/local/gib/lib64 或 /usr/local/gib/lib 中的捆绑 libnccl.so* 文件,请仅移除这些捆绑的 libnccl.so* 文件,以便它们不会优先于升级后的 NCCL 核心库:

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. 验证您的环境配置和活跃 NCCL 版本:

    • 如果工作负载环境中的 LD_LIBRARY_PATH 包含 /usr/local/gib/lib64 或 /usr/local/nvidia/lib64,请验证这些目录是否不包含更早的 libnccl.so.2 文件,或将系统库路径(例如 /usr/lib/x86_64-linux-gnu 或 /usr/lib64)附加到 LD_LIBRARY_PATH。

    • 如果您的自定义 NCCL Core 版本低于 2.28.7,请在运行工作负载之前加载 /usr/local/gib/scripts/set_nccl_env.sh,因为自动环境插件仅在 NCCL 2.28.7 或更高版本上加载。

    • 检查记录的 NCCL 和 gIB 版本,确认升级后的 NCCL 核心库和 NET/gIB 插件一起初始化。

启用 NCCL/gIB

从 NCCL/gIB v1.1.2 开始,如果您安装了 nccl-gib 或 nccl-gib-plugins,则应在工作负载中自动启用 NCCL/gIB。

在以前的版本中,如需在工作负载中启用 NCCL/gIB,请确保满足以下条件:

  • /usr/local/gib/scripts/set_nccl_env.sh 来源于您的运行时环境。源文件包含 NCCL/gIB 的所有必要环境变量,Google 预计会在未来的 NCCL/gIB 版本中更新这些变量。
  • /usr/local/gib/lib64 目录位于 LD_LIBRARY_PATH 中。

如需验证 NCCL/gIB 是否已启用,请检查是否存在以下 NCCL INFO 级日志条目:

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

后续步骤