NCCL/gIB を使用してクラスタ ネットワーキングを最適化する

最新の ML フレームワークでは多くの場合、GPU 間通信プリミティブに NVIDIA Collective Communications Library(NCCL)を使用しています。

Google の詳細版 NCCL は NCCL/gIB と呼ばれ、Google Cloudの A5X、A4X Max、A4X、A4、A3 Ultra インスタンスで使用できます。NCCL/gIB は、Google インフラストラクチャ上のアップストリーム NCCL よりもパフォーマンスが高いことがよくあります。NCCL のパフォーマンスはワークロード全体のパフォーマンスに影響する可能性があるため、NCCL/gIB を使用することをおすすめします。

NCCL / gIB アーキテクチャ

NCCL/gIB ソフトウェア スタックは、連携して動作する 2 つのコンポーネントで構成されています。

  • NCCL Core(NVIDIA の libnccl.so): 機械学習フレームワークが呼び出す標準の GPU 間通信オペレーション(AllReduce、AllGather、Broadcast など)を提供します。
  • Google の NCCL/gIB プラグイン:Google Cloud ネットワークの最適化とテレメトリーを使用して NCCL Core を動的に拡張します。

    • gIB ネットワーク プラグイン(libnccl-net.so): RoCE v2 経由で GPUDirect RDMA を使用して、複数のネットワーク パス間でトラフィックを分散し、集団オペレーション中に高スループットと低レイテンシを実現します。

    • カスタム チューナー プラグイン(libnccl-tuner.so): Google CloudVM トポロジに推奨される集合アルゴリズム、プロトコル、チャネル設定を選択します。

    • CoMMA プロファイラ プラグイン(libnccl-profiler.so と libGPUViz.so): パフォーマンス指標と診断データを収集して、停止したプロセスと低速なノードを検出します。

    • 環境プラグイン(libnccl-env-gcp.so): NCCL 2.28.7 以降を使用する場合、 Google Cloud VM 全体にプラットフォーム固有の NCCL 環境変数を適用します。

次の図は、ML フレームワークが NVIDIA GPU、NCCL Core、Google の NCCL/gIB プラグインとどのように連携するかを示しています。

ML ワークロードは、NVIDIA GPU と NCCL の両方に接続する ML フレームワークによって管理され、NCCL はさまざまな Google ツールとプラグインに接続します。

Google のプラグインは動的に読み込まれるため、NCCL Core のバージョンがサポート対象の範囲内であれば、NCCL Core を個別にアップグレードして、新しい CUDA バージョンを使用したり、フレームワークの要件を満たすことができます。サポートされているバージョンについては、x86 リリースノートと ARM64 リリースノートのバージョン互換性表をご覧ください。

NCCL/gIB を使用するメリット

Google Cloud VM でアップストリームの NVIDIA Collective Communications Library を使用しても安定性の問題は発生しませんが、NCCL/gIB は Google Cloud 向けに最適化されています。同じ NCCL パラメータを使用しても、特定の通信パターンではパフォーマンスの差が非常に大きくなる可能性があります。

たとえば、次のグラフは、AllReduce のパフォーマンスにおける NCCL/gIB とアップストリーム NCCL の比較を示しています。NCCL/gIB は、特定のメッセージ サイズでアップストリーム NCCL を最大 12 倍上回ります。

NCCL/gIB が AllReduce タスクでアップストリーム NCCL を上回ることを示すグラフ。

バックグラウンド トラフィックなしで A3 Ultra(H200)を使用した 32 ノードの NCCL AllReduce のパフォーマンス。

同様に、バックグラウンド トラフィックがある場合の AllGather のパフォーマンスについて NCCL/gIB とアップストリーム NCCL を比較すると、このグラフに示すように、メッセージ サイズが大きい場合、NCCL/gIB はアップストリーム NCCL を約 50% 上回っています。

NCCL/gIB が AllGather タスクでアップストリーム NCCL を上回ることを示すグラフ。

ノイズの多いバックグラウンドを持つ共有ファブリックで A3 Ultra(H200)を使用した 32 ノードの NCCL AllGather のパフォーマンス。

さらに、CoMMA プロファイラ プラグインにより、Google に提供されるカスタム テレメトリーが改善され、ワークロード レベルの問題が発生した場合に、より適切なサポートを提供できるようになります。

NCCL/gIB をインストールする

NCCL テストを実行する前に、ランタイム環境に NCCL/gIB をインストールする必要があります。

NCCL/gIB を使用する

クラスタで NCCL / gIB テストを実行するには、次のリストから要件に最適なページを選択します。

A5X を使用する GKE クラスタで NCCL/gIB を実行する方法については、 Google Cloud 担当者にお問い合わせください。

テストの実行後にクラスタの問題に対処する方法については、トラブルシューティングのために NCCL/gIB ログを収集して理解するをご覧ください。