クラスタ化された GPU は、大規模な分散トレーニング、マルチホスト推論、複雑なハイ パフォーマンス コンピューティング（HPC）タスクを優先する AI と ML のワークロード向けに最適化されています。
クラスタ化された GPU を使用すると、チームは専用のネットワーキング ファブリックと同期されたメンテナンスを使用して、数千の相互接続されたアクセラレータを単一の密結合システムとしてデプロイしてスケーリングできます。極端なコンピューティング、メモリ、高速ネットワーキングの同期を必要とするワークロードに最適です。一般的なユースケースには、数兆個のパラメータを使用した基盤モデルの事前トレーニング、フロンティア モデルのモデル提供、創薬のシミュレーションなどがあります。
クラスタ化された GPU の主な特性
- 同期メンテナンス: Google Cloud はクラスタ内のすべてのノードを同時に更新し、単一ノードの再起動によってジョブが停止するのを防ぎます。
- 自動ヘルス モニタリング: システムは、遅延をプロアクティブに特定し、ハードウェア障害やサイレント データ破損をモニタリングします。
- 事前対応型のノード置換: システムは、健全なマシン上のパフォーマンスの低い VM をスペアプールから強制排除して再スケジュールします。
- レール整列型トポロジ: レール整列型トポロジは、GPU 間トラフィックを標準のホスト通信から分離し、大規模なマルチノード コーディネーションでジッターのないパフォーマンスを確保します。
- 高度なプロトコル: これらのマシンシリーズは、GPUDirect RDMA（RoCE ベース）などの高帯域幅インターコネクトをサポートしています。
クラスタ化された GPU ファミリーと技術仕様
次の表で、プレミアム クラスタ GPU マシンシリーズのワークロードとハードウェア仕様を確認します。エクサスケール トレーニングには、A4X または A3 Ultra シリーズを使用します。
A4X Max と A4X シリーズ
大規模なエクサスケール基盤モデルをトレーニングする場合や、非常に複雑なベアメタル ハイ パフォーマンス コンピューティング（HPC）シミュレーションを実行する場合は、A4X Max または A4X マシンシリーズを使用します。これらのシリーズには、極端なコンピューティングとメモリの需要に対応する NVIDIA GB300 Grace Blackwell Ultra Superchip が搭載されています。
A4X Max（ベアメタル）
A4X Max マシンタイプは、NVIDIA GB300 Grace Blackwell Ultra Superchip（nvidia-gb300）を使用しており、基盤モデルのトレーニングとサービングに最適です。A4X Max マシンタイプは、ベアメタル インスタンスとして使用できます。
A4X Max は、NVIDIA GB300 NVL72 に基づくエクサスケール プラットフォームです。各マシンには、Arm Neoverse V2 コアの NVIDIA Grace CPU を搭載した 2 つのソケットがあります。これらの CPU は、高速チップ間（NVLink-C2C）通信対応の 4 つの NVIDIA B300 Blackwell GPU に接続されています。
| アタッチされた NVIDIA GB300 Grace Blackwell Ultra Superchip | |||||||
|---|---|---|---|---|---|---|---|
| マシンタイプ | vCPU 数1 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps）2 | GPU 数 | GPU メモリ3 （GB HBM3e） |
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
A4X
A4X マシンタイプは、NVIDIA GB200 Grace Blackwell Superchip（nvidia-gb200）を使用しており、基盤モデルのトレーニングとサービングに最適です。
A4X は、NVIDIA GB200 NVL72 に基づくエクサスケール プラットフォームです。各マシンには、Arm Neoverse V2 コアの NVIDIA Grace CPU を搭載した 2 つのソケットがあります。これらの CPU は、高速チップ間（NVLink-C2C）通信対応の 4 つの NVIDIA B200 Blackwell GPU に接続されています。
| アタッチされた NVIDIA GB200 Grace Blackwell Superchip | |||||||
|---|---|---|---|---|---|---|---|
| マシンタイプ | vCPU 数1 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps）2 | GPU 数 | GPU メモリ3 （GB HBM3e） |
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
A4 シリーズ
大規模な並列処理スケールを必要とする最先端の基盤モデルをトレーニングすることが目標の場合は、A4 マシンシリーズを使用して処理時間を最適化し、ハードウェア スループットを最大化します。
A4 マシンタイプには NVIDIA B200 Blackwell GPU（nvidia-b200）がアタッチされており、基盤モデルのトレーニングとサービングに最適です。
| アタッチされた NVIDIA B200 Blackwell GPU | |||||||
|---|---|---|---|---|---|---|---|
| マシンタイプ | vCPU 数1 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps）2 | GPU 数 | GPU メモリ3 （GB HBM3e） |
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
A3 シリーズ（8 個の GPU を搭載した Ultra、Mega、High）
大規模な分散トレーニングを実行する必要がある場合や、大規模なデータセット テーブルを使用して複数のホストでフロンティア モデルをサービングする必要がある場合は、A3 マシンシリーズを使用してホスト間のネットワーク レイテンシを最小限に抑えます。
A3 Ultra
| アタッチされた NVIDIA H200 GPU | |||||||
|---|---|---|---|---|---|---|---|
| マシンタイプ | vCPU 数1 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps）2 | GPU 数 | GPU メモリ3 （GB HBM3e） |
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
A3 Mega
| アタッチされた NVIDIA H100 GPU | |||||||
|---|---|---|---|---|---|---|---|
| マシンタイプ | vCPU 数1 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps）2 | GPU 数 | GPU メモリ3 （GB HBM3） |
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| アタッチされた NVIDIA H100 GPU | |||||||
|---|---|---|---|---|---|---|---|
| マシンタイプ | vCPU 数1 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps）2 | GPU 数 | GPU メモリ3 （GB HBM3） |
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
容量の取得
クラスタ化された GPU のコンピューティング容量を取得するには、高性能アクセラレータの需給を管理するための調整が必要です。これらのリソースは専用のネットワーキング ファブリック内に物理的に配置されているため、マネージド ワークフローを介してリクエストする必要があります。
容量を予約するには、アカウント チームを通じて予約するか、将来の予約と Dynamic Workload Scheduler を使用します。
次のステップ
- 容量を取得する方法については、使用オプションをご覧ください。
- インフラストラクチャ要件を評価するには、インフラストラクチャを選択するをご覧ください。
- ネットワーク トポロジを計画するには、クラスタ環境の GPU ネットワーキング要件をご覧ください。
- コンピューティング リソースを予約するには、容量を予約するをご覧ください。