gIB NCCL プラグインをインストールする

このページでは、Debian ソフトウェア パッケージ(.deb)または Red Hat Package Manager(.rpm)を使用して NCCL/gIB をインストールする方法について説明します。このインストールにより、A4X Max、A4X、A4、A3 Ultra インスタンスで NCCL ワークロードを実行できます。

(A4X Max の場合)ユーザー空間ライブラリを更新する

A4X Max では、NCCL ワークロードを実行する前に、最新のユーザー空間ライブラリをインストールする必要があります。root ユーザーとしてログインしている場合は、sudo を省略してコマンドを直接実行します。

Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)

sudo apt update
sudo apt install curl

# Fetch DOCA OFED userspace libraries
export DOCA_URL="https://linux.mellanox.com/public/repo/doca/latest/ubuntu22.04/arm64-sbsa/"
export BASE_URL="https://linux.mellanox.com/public/repo/doca"
curl "${BASE_URL}/GPG-KEY-Mellanox.pub" | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub
echo "deb [signed-by=/etc/apt/trusted.gpg.d/GPG-KEY-Mellanox.pub] ${DOCA_URL} ./" | sudo tee /etc/apt/sources.list.d/doca.list

sudo apt update
sudo apt install doca-ofed-userspace

# Upgrade to latest NCCL for best compatibility
sudo apt install --only-upgrade --allow-change-held-packages libnccl2 libnccl-dev

NCCL/gIB をインストールする

ワークロードを実行する場所に応じて、コンピューティング インスタンスまたはコンテナ イメージに NCCL/gIB をインストールします。

nccl-gib パッケージには、変更されていない NVidia NCCL ライブラリ(libnccl2.so)とヘッダーがバンドルされています。すべての NCCL/gIB コンテンツは /usr/local/gib ディレクトリにインストールされ、プラグイン ライブラリもシステム フォルダ(/usr/lib の下)にインストールされます。一部の依存関係は、ディストリビューションのリポジトリからも取得されます。

Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib

RockyLinux / CentOS / RHEL 9 以降(.rpm パッケージ)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib

NCCL プラグインをインストールする

nccl-gib にバンドルされている NCCL ライブラリではなく、独自のカスタム バージョンの NCCL Core を使用する場合は、nccl-gib-plugins パッケージをインストールします。このパッケージは Google の NCCL / gIB プラグインのみをインストールし、nccl-gib と競合するため、一方のパッケージをインストールすると、もう一方のパッケージが自動的に削除されます。nccl-gib にバンドルされている NCCL バージョンを使用する場合は、nccl-gib-plugins をインストールする必要はありません。

gIB NCCL プラグインのみをインストールするには、nccl-gib-plugins パッケージをインストールします。

Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)

# If on an image not from Google, trust the Google Cloud signing key
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/cloud.google.gpg

# Add gpudirect-gib-apt repo
echo 'deb https://packages.cloud.google.com/apt gpudirect-gib-apt main' | sudo tee /etc/apt/sources.list.d/nccl-gib.list

sudo apt update
sudo apt install nccl-gib-plugins

RockyLinux / CentOS / RHEL 9 以降(.rpm パッケージ)

# Add gpudirect-gib-rpm repo
sudo tee -a /etc/yum.repos.d/nccl-gib.repo << EOL
[gpudirect-gib-rpm]
name=NCCL/gIB
baseurl=https://packages.cloud.google.com/yum/repos/gpudirect-gib-rpm
enabled=1
repo_gpgcheck=0
gpgcheck=0

sudo dnf makecache
sudo dnf install nccl-gib-plugins

標準の OS イメージを使用する場合は、最新の NVIDIA DOCA-OFED ドライバもインストールする必要があります。Container-Optimized OS やアクセラレータ最適化 Ubuntu または Rocky Linux OS イメージなど、Google のアクセラレータ最適化イメージを使用する場合は、このドライバをインストールする必要はありません。

コンピューティング インスタンスで NCCL/gIB パッケージの不一致バージョンが実行されないようにするには、ワークロードを実行する前に NCCL/gIB を更新し、Ubuntu または Debian の unattended-upgrades などの自動パッケージ更新を無効にします。

既存のインストールで NCCL Core をアップグレードする

VM に以前の nccl-gib パッケージがインストールされていて、CUDA 13 または特定のフレームワーク バージョンをサポートするために新しい NCCL Core バージョンが必要な場合は、まず x86 リリースノートまたは ARM64 リリースノートを確認して、最新の nccl-gib パッケージに必要な NCCL バージョンが含まれているかどうかを確認します。最新の nccl-gib パッケージが要件を満たしている場合は、すべてのノードで nccl-gib を直接アップグレードします。

ワークロードに nccl-gib にバンドルされていない特定の NCCL Core バージョンが必要な場合は、クラスタ内のすべてのノードで次の手順を行い、すべてのノードで同じ NCCL バージョンが実行されるようにします。

  1. NVIDIA CUDA リポジトリからターゲットの NCCL Core パッケージをインストールまたはアップグレードし、nccl-gib から nccl-gib-plugins に切り替えます。これにより、今後のパッケージの更新でバンドルされた NCCL ライブラリが再インストールされなくなります。VM で NVIDIA CUDA リポジトリを含まない標準 OS イメージを使用している場合は、まず NVIDIA NCCL インストール ガイドに沿ってリポジトリを追加します。

    Debian 12 以降 / Ubuntu 20.04 以降(.deb パッケージ)

    sudo apt update
    sudo apt install -y nccl-gib-plugins libnccl2 libnccl-dev
    
    # If libnccl2 and libnccl-dev are held at an earlier version:
    sudo apt install --only-upgrade --allow-change-held-packages -y libnccl2 libnccl-dev

    RockyLinux / CentOS / RHEL 9 以降(.rpm パッケージ)

    sudo dnf install --allowerasing -y nccl-gib-plugins libnccl libnccl-devel
    
    # If libnccl and libnccl-devel are already installed:
    sudo dnf upgrade -y libnccl libnccl-devel
  2. 以前の nccl-gib のインストールまたはコンテナ マウントから、バンドルされた libnccl.so* ファイルが /usr/local/gib/lib64 または /usr/local/gib/lib にまだ存在する場合は、アップグレードされた NCCL Core ライブラリよりも優先されないように、バンドルされた libnccl.so* ファイルのみを削除します。

    sudo rm -f /usr/local/gib/lib*/libnccl.so*
    
  3. 環境構成とアクティブな NCCL バージョンを確認します。

    • ワークロード環境の LD_LIBRARY_PATH に /usr/local/gib/lib64 または /usr/local/nvidia/lib64 が含まれている場合は、それらのディレクトリに以前の libnccl.so.2 ファイルが含まれていないことを確認するか、/usr/lib/x86_64-linux-gnu や /usr/lib64 などのシステム ライブラリ パスを LD_LIBRARY_PATH の先頭に追加します。

    • カスタム NCCL Core バージョンが 2.28.7 より前の場合は、ワークロードを実行する前に /usr/local/gib/scripts/set_nccl_env.sh をソースします。これは、自動環境プラグインは NCCL 2.28.7 以降でのみ読み込まれるためです。

    • ログに記録された NCCL と gIB のバージョンを確認して、アップグレードされた NCCL Core ライブラリと NET/gIB プラグインが一緒に初期化されていることを確認します。

NCCL/gIB を有効にする

NCCL/gIB v1.1.2 以降では、nccl-gib または nccl-gib-plugins をインストールした場合、ワークロードで NCCL/gIB が自動的に有効になります。

以前のバージョンでワークロードで NCCL/gIB を有効にするには、次のことを確認してください。

  • /usr/local/gib/scripts/set_nccl_env.sh は、ランタイム環境でソースされます。ソースファイルには、NCCL/gIB に必要なすべての環境変数が含まれています。Google は、今後の NCCL/gIB リリースでこれらの変数を更新する予定です。
  • /usr/local/gib/lib64 ディレクトリは LD_LIBRARY_PATH にあります。

NCCL/gIB が有効になっていることを確認するには、次の NCCL INFO レベルのログエントリが存在することを確認します。

# A sample log entry from NCCL core
vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin
vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.1.2

次のステップ