本页面介绍了如何使用 Debian 软件包 (.deb) 或 Red Hat 软件包管理器 (.rpm) 安装 NCCL/gIB。通过此安装,您可以在 A4X Max、A4X、A4 和 A3 Ultra 实例上运行 NCCL 工作负载。
(对于 A4X Max)更新用户空间库
在 A4X Max 上,您必须先安装最新的用户空间库,然后才能运行 NCCL 工作负载。如果您以根用户身份登录,则在出现 sudo 时将其省略,以直接运行命令。
Debian 12+/Ubuntu 20.04+(.deb 软件包)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
安装 NCCL/gIB
根据您运行工作负载的位置,您可以在计算实例或容器映像中安装 NCCL/gIB。
nccl-gib 软件包与未经修改的 NVidia NCCL 库 (libnccl2.so) 和标头捆绑在一起。所有 NCCL/gIB 内容都会安装到 /usr/local/gib 目录中,插件库也会安装到系统文件夹(位于 /usr/lib 下)中。一些依赖项也会通过发行版的代码库提取。
Debian 12+/Ubuntu 20.04+(.deb 软件包)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux/CentOS/RHEL 9+(.rpm 软件包)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
安装 NCCL 插件
如果您想使用自己的自定义 NCCL Core 版本,而不是 nccl-gib 中捆绑的 NCCL 库,请安装 nccl-gib-plugins 软件包。此软件包仅安装 Google 的 NCCL/gIB 插件,并与 nccl-gib 冲突,因此安装一个软件包会自动移除另一个软件包。如果您使用与 nccl-gib 捆绑的 NCCL 版本,则无需安装 nccl-gib-plugins。
如需仅安装 gIB NCCL 插件,请安装 nccl-gib-plugins 软件包:
Debian 12+/Ubuntu 20.04+(.deb 软件包)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux/CentOS/RHEL 9+(.rpm 软件包)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
如果您使用标准操作系统映像,则还必须安装最新的 NVIDIA DOCA-OFED 驱动程序。如果您使用 Google 的加速器优化操作系统映像(例如 Container-Optimized OS 或加速器优化 Ubuntu 或 Rocky Linux 操作系统映像),则无需安装此驱动程序。
为防止计算实例运行不匹配版本的 NCCL/gIB 软件包,请在运行工作负载之前更新 NCCL/gIB,并停用自动软件包更新,例如 Ubuntu 或 Debian 上的 unattended-upgrades。
在现有安装上升级 NCCL Core
如果您的虚拟机安装了较低版本的 nccl-gib 软件包,而您需要更高版本的 NCCL Core 来支持 CUDA 13 或特定框架版本,请先查看 x86 版本说明或 ARM64 版本说明,了解最新的 nccl-gib 软件包是否包含您需要的 NCCL 版本。如果最新的 nccl-gib 软件包满足您的要求,请直接在所有节点上升级 nccl-gib。
如果您的工作负载需要 nccl-gib 中未捆绑的特定 NCCL Core 版本,请在集群中的每个节点上执行以下步骤,以便所有节点都运行完全相同的 NCCL 版本:
从 NVIDIA CUDA 代码库安装或升级目标 NCCL Core 软件包,并从
nccl-gib切换到nccl-gib-plugins,以便未来的软件包更新不会重新安装捆绑的 NCCL 库。如果您的虚拟机使用的是不包含 NVIDIA CUDA 代码库的标准操作系统映像,请先按照 NVIDIA NCCL 安装指南添加该代码库。Debian 12+/Ubuntu 20.04+(.deb 软件包)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux/CentOS/RHEL 9+(.rpm 软件包)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
如果您的环境仍有来自早期
nccl-gib安装或容器装载的/usr/local/gib/lib64或/usr/local/gib/lib中的捆绑libnccl.so*文件,请仅移除这些捆绑的libnccl.so*文件,以便它们不会优先于升级后的 NCCL 核心库:sudo rm -f /usr/local/gib/lib*/libnccl.so*验证您的环境配置和活跃 NCCL 版本:
如果工作负载环境中的
LD_LIBRARY_PATH包含/usr/local/gib/lib64或/usr/local/nvidia/lib64,请验证这些目录是否不包含更早的libnccl.so.2文件,或将系统库路径(例如/usr/lib/x86_64-linux-gnu或/usr/lib64)附加到LD_LIBRARY_PATH。如果您的自定义 NCCL Core 版本低于 2.28.7,请在运行工作负载之前加载
/usr/local/gib/scripts/set_nccl_env.sh,因为自动环境插件仅在 NCCL 2.28.7 或更高版本上加载。检查记录的 NCCL 和 gIB 版本,确认升级后的 NCCL 核心库和
NET/gIB插件一起初始化。
启用 NCCL/gIB
从 NCCL/gIB v1.1.2 开始,如果您安装了 nccl-gib 或 nccl-gib-plugins,则应在工作负载中自动启用 NCCL/gIB。
在以前的版本中,如需在工作负载中启用 NCCL/gIB,请确保满足以下条件:
/usr/local/gib/scripts/set_nccl_env.sh来源于您的运行时环境。源文件包含 NCCL/gIB 的所有必要环境变量,Google 预计会在未来的 NCCL/gIB 版本中更新这些变量。/usr/local/gib/lib64目录位于LD_LIBRARY_PATH中。
如需验证 NCCL/gIB 是否已启用,请检查是否存在以下 NCCL INFO 级日志条目:
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2