構成するネットワーク サービスは、選択したデプロイ オプション（VM またはクラスタ）とインフラストラクチャによって異なります。
このドキュメントは、AI Hypercomputer デプロイのネットワーク サービスを理解したいと考えているアーキテクト、ネットワーク エンジニア、デベロッパーを対象としています。このドキュメントでは、クラウド ネットワーキングと分散コンピューティングのコンセプトに関する基本的な知識があることを前提としています。デプロイ オプションの詳細については、デプロイ オプションの概要をご覧ください。
ネットワーク アーキテクチャ、プロトコル、ハードウェア トポロジの詳細については、GPU ネットワーキングの概要をご覧ください。
Cluster Toolkit を使用した AI に最適化された GKE デプロイのネットワーキング
Cluster Toolkit を使用して AI に最適化された GKE クラスタを作成すると、ブループリントによってネットワークが次のように構成されます。
- このブループリントでは、メインの GKE クラスタにデフォルトの VPC ネットワークを使用します。
- 2 つの追加 VPC を作成します。1 つは 2 つ目のホスト ネットワーク インターフェース カード（NIC）用、もう 1 つは GPU 間リモート ダイレクト メモリ アクセス（RDMA）トラフィック用です。
- このブループリントは、GPU トラフィックに使用される VPC に、事前構成された Google 管理のネットワーク プロファイルを適用します。このプロファイルは、高速で低レイテンシの RDMA パフォーマンスを実現するようにネットワークを自動的に構成します。
- ブループリントは、アクセラレータ VM 上の各 RDMA NIC に対して 1 つずつ、8 つの専用サブネットを RDMA VPC 内に自動作成します。
- クラスタ内のノード間のすべての TCP、UDP、ICMP トラフィックを許可するファイアウォール ルールを構成します。
GKE デプロイのネットワーキング
GKE 設定のネットワーク構成は、ワークロード タイプとインフラストラクチャによって異なります。
- 一般的な GPU または分散されていないワークロードの場合は、GPUDirect RDMA を使用せずに GKE クラスタを作成します。この構成では、すべての通信に単一の VPC ネットワークを使用します。
- クラスタ化された GPU または分散ワークロードの場合は、GPUDirect RDMA を有効にして GKE クラスタを作成します。この構成では、汎用トラフィックを高帯域幅の GPU 間通信から分離するマルチ VPC 環境を使用します。
Slurm クラスタ デプロイ向けのネットワーキング
Cluster Toolkit を使用して、A4 シリーズや A3 Ultra シリーズなどのカスタマイズ可能なブループリントを介して AI / ML ワークロードをデプロイします。
クラスタ化された GPU Slurm デプロイのブループリントによって構成されるネットワーク コンポーネントは次のとおりです。
- このブループリントは、Slurm コントロール プレーン用のプライマリ VPC、一般的なホストレベルのトラフィック用のセカンダリ VPC、GPU 間通信用の専用の高性能 VPC の 3 つの異なる VPC を作成します。
- GPU データプレーンの場合、ブループリントは、RoCE 用に最適化された、Google が管理する事前構成済みのネットワーク プロファイルを適用します。
- このブループリントは、Filestore サービスに必要な専用の IP アドレス範囲を設定します。これにより、クラスタの共有
/homeディレクトリが提供されます。 - クラスタノードのカスタム VM イメージをビルドするプロセスでのみ使用される、一時的な分離されたイメージビルド VPC を作成します。
Compute Engine インスタンスのネットワーキング
Compute Engine を使用して、スタンドアロン VM、一括コンピューティング インスタンス、マネージド インスタンス グループ（MIG）を作成できます。具体的なネットワーク要件は、マシンタイプのインフラストラクチャ モデルによって異なります。
- クラスタ化された GPU: これらのマシンシリーズ（A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 GPU））では、一般に、一般的なホスト間トラフィックを高帯域幅の GPU 間通信から分離するために、マルチ VPC ネットワーク構成が必要です。単一のサブブロック内の A5X、A4X Max、A4X のデプロイでは、マルチノード NVLink ファブリックが GPU 間通信を処理するため、RDMA VPC ネットワークは省略可能です。
- 一般的な GPU: これらのマシンシリーズ（G2、G4、A2、N1（T4 または V100））は、すべての通信に gVNIC インターフェースを介した単一 VPC アーキテクチャを使用します。A3 Edge は例外で、4 つのデータ VPC と GPUDirect-TCPX が必要です。
マシンタイプの NIC とネットワーク構成の詳細については、ネットワーキングと GPU マシンをご覧ください。
次のステップ
- 安全で復元力のあるネットワーキング環境を作成するためのベスト プラクティスについては、ネットワーキングのベスト プラクティスをご覧ください。
- AI Hypercomputer のストレージ オプションについては、AI / ML ワークロードのストレージ サービスについてをご覧ください。
- クラスタ デプロイにオンボーディングするには、AI インフラストラクチャを計画して作成するをご覧ください。