このページでは、Debian ソフトウェア パッケージ(.deb)または Red Hat Package Manager(.rpm)を使用して NCCL/gIB をインストールする方法について説明します。このインストールにより、A4X Max、A4X、A4、A3 Ultra インスタンスで NCCL ワークロードを実行できます。
(A4X Max の場合)ユーザー空間ライブラリを更新する
A4X Max では、NCCL ワークロードを実行する前に、最新のユーザー空間ライブラリをインストールする必要があります。root ユーザーとしてログインしている場合は、sudo を省略してコマンドを直接実行します。
Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)
sudo apt update sudo apt install curl # Fetch DOCA OFED userspace libraries export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/" export BASE_URL="https://linux.mellanox.com/public/repo/doca" curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list sudo apt update sudo apt install doca-ofed-userspace # Upgrade to latest NCCL for best compatibility sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev
NCCL/gIB をインストールする
ワークロードを実行する場所に応じて、コンピューティング インスタンスまたはコンテナ イメージに NCCL/gIB をインストールします。
nccl-gib パッケージには、変更されていない NVidia NCCL ライブラリ(libnccl2.so)とヘッダーがバンドルされています。すべての NCCL/gIB コンテンツは /usr/local/gib ディレクトリにインストールされ、プラグイン ライブラリもシステム フォルダ(/usr/lib の下)にインストールされます。一部の依存関係は、ディストリビューションのリポジトリからも取得されます。
Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib
RockyLinux / CentOS / RHEL 9 以降(.rpm パッケージ)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib
NCCL プラグインをインストールする
nccl-gib にバンドルされている NCCL ライブラリではなく、独自のカスタム バージョンの NCCL Core を使用する場合は、nccl-gib-plugins パッケージをインストールします。このパッケージは Google の NCCL / gIB プラグインのみをインストールし、nccl-gib と競合するため、一方のパッケージをインストールすると、もう一方のパッケージが自動的に削除されます。nccl-gib にバンドルされている NCCL バージョンを使用する場合は、nccl-gib-plugins をインストールする必要はありません。
gIB NCCL プラグインのみをインストールするには、nccl-gib-plugins パッケージをインストールします。
Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)
# If on an image not from Google, trust the Google Cloud signing key curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg # Add gpudirect-gib-apt repo echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list sudo apt update sudo apt install nccl-gib-plugins
RockyLinux / CentOS / RHEL 9 以降(.rpm パッケージ)
# Add gpudirect-gib-rpm repo sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL [gpudirect-gib-rpm] name=NCCL/gIB baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm enabled=1 repo_gpgcheck=0 gpgcheck=0 sudo dnf makecache sudo dnf install nccl-gib-plugins
標準の OS イメージを使用する場合は、最新の NVIDIA DOCA-OFED ドライバもインストールする必要があります。Container-Optimized OS やアクセラレータ最適化 Ubuntu または Rocky Linux OS イメージなど、Google のアクセラレータ最適化イメージを使用する場合は、このドライバをインストールする必要はありません。
コンピューティング インスタンスで NCCL/gIB パッケージの不一致バージョンが実行されないようにするには、ワークロードを実行する前に NCCL/gIB を更新し、Ubuntu または Debian の unattended-upgrades などの自動パッケージ更新を無効にします。
既存のインストールで NCCL Core をアップグレードする
VM に以前の nccl-gib パッケージがインストールされていて、CUDA 13 または特定のフレームワーク バージョンをサポートするために新しい NCCL Core バージョンが必要な場合は、まず x86 リリースノートまたは ARM64 リリースノートを確認して、最新の nccl-gib パッケージに必要な NCCL バージョンが含まれているかどうかを確認します。最新の nccl-gib パッケージが要件を満たしている場合は、すべてのノードで nccl-gib を直接アップグレードします。
ワークロードに nccl-gib にバンドルされていない特定の NCCL Core バージョンが必要な場合は、クラスタ内のすべてのノードで次の手順を行い、すべてのノードで同じ NCCL バージョンが実行されるようにします。
NVIDIA CUDA リポジトリからターゲットの NCCL Core パッケージをインストールまたはアップグレードし、
nccl-gibからnccl-gib-pluginsに切り替えます。これにより、今後のパッケージの更新でバンドルされた NCCL ライブラリが再インストールされなくなります。VM で NVIDIA CUDA リポジトリを含まない標準 OS イメージを使用している場合は、まず NVIDIA NCCL インストール ガイドに沿ってリポジトリを追加します。Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)
sudo apt update sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev # If libnccl2 and libnccl-dev are held at an earlier version: sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev
RockyLinux / CentOS / RHEL 9 以降(.rpm パッケージ)
sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel # If libnccl and libnccl-devel are already installed: sudo dnf upgrade -y libnccl libnccl-devel
以前の
nccl-gibのインストールまたはコンテナ マウントから、バンドルされたlibnccl.so*ファイルが/usr/local/gib/lib64または/usr/local/gib/libにまだ存在する場合は、アップグレードされた NCCL Core ライブラリよりも優先されないように、バンドルされたlibnccl.so*ファイルのみを削除します。sudo rm -f /usr/local/gib/lib*/libnccl.so*環境構成とアクティブな NCCL バージョンを確認します。
ワークロード環境の
LD_LIBRARY_PATHに/usr/local/gib/lib64または/usr/local/nvidia/lib64が含まれている場合は、それらのディレクトリに以前のlibnccl.so.2ファイルが含まれていないことを確認するか、/usr/lib/x86_64-linux-gnuや/usr/lib64などのシステム ライブラリ パスをLD_LIBRARY_PATHの先頭に追加します。カスタム NCCL Core バージョンが 2.28.7 より前の場合は、ワークロードを実行する前に
/usr/local/gib/scripts/set_nccl_env.shをソースします。これは、自動環境プラグインは NCCL 2.28.7 以降でのみ読み込まれるためです。ログに記録された NCCL と gIB のバージョンを確認して、アップグレードされた NCCL Core ライブラリと
NET/gIBプラグインが一緒に初期化されていることを確認します。
NCCL/gIB を有効にする
NCCL/gIB v1.1.2 以降では、nccl-gib または nccl-gib-plugins をインストールした場合、ワークロードで NCCL/gIB が自動的に有効になります。
以前のバージョンでワークロードで NCCL/gIB を有効にするには、次のことを確認してください。
/usr/local/gib/scripts/set_nccl_env.shは、ランタイム環境でソースされます。ソースファイルには、NCCL/gIB に必要なすべての環境変数が含まれています。Google は、今後の NCCL/gIB リリースでこれらの変数を更新する予定です。/usr/local/gib/lib64ディレクトリはLD_LIBRARY_PATHにあります。
NCCL/gIB が有効になっていることを確認するには、次の NCCL INFO レベルのログエントリが存在することを確認します。
# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB
# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2