AI Hypercomputer は、要求の厳しい AI と機械学習（ML）のワークロード向けに最適化された垂直統合型のインフラストラクチャを提供します。高性能 NVIDIA GPU は、システムがライフサイクル イベントとメンテナンスを処理する方法（一般的な GPU とクラスタ化された GPU）によって分類されます。
ワークロードに最適なインフラストラクチャ カテゴリを特定するには、アクセラレータ インフラストラクチャを選択するをご覧ください。
一般的な GPU
一般的な GPU は、標準の Compute Engine API と Google Kubernetes Engine（GKE）API を使用して Google Cloudのコントロール プレーンと直接統合することで、独立したコンピューティング単位数として管理されます。
一般的な GPU には、次のマシンシリーズが含まれます。
- 1、2、または 4 個の（NVIDIA H100）GPU を搭載した A3 High: 8 GPU 同期クラスタを必要としない標準的なトレーニング ワークロードと推論ワークロード用に最適化されています。
- A3 Edge（NVIDIA H100）: 標準の VPC ネットワーキングを使用して、高スループットで複数のホストに分散される推論用に最適化されています。
- A2（NVIDIA A100）: 高パフォーマンスの単一ノード サービングと小規模なファインチューニング用に最適化されています。
- G4（NVIDIA RTX PRO 6000）: 費用対効果の高いエントリーレベルの推論ワークロードとグラフィック ワークロード向けに最適化されています。
- G2（NVIDIA L4）: 主流の推論と RAG 向けに最適化されています。
- N1（NVIDIA T4 または V100）: 高パフォーマンスの相互接続よりもコストを優先する、エントリーレベルの推論タスクや研究タスクに最適化されています。
クラスタ化された GPU
クラスタ化された GPU は、Cluster Director を使用して、相互接続された数千のアクセラレータからなる単一の密結合システムとして管理されます。
クラスタ化された GPU には、次のマシンシリーズが含まれます。
- A5X（NVIDIA Vera Rubin）: NVIDIA Vera Rubin スーパーチップを搭載し、基盤モデルのエクサスケール トレーニング、推論モデルの推論、ベアメタルでのハイ パフォーマンス コンピューティング向けに設計されています。
- A4X Max（NVIDIA GB300）: ベアメタル エクサスケール トレーニングとハイ パフォーマンス コンピューティング向けに設計されており、NVIDIA GB300 Grace Blackwell Ultra スーパーチップを搭載しています。
- A4X（NVIDIA GB200）と A4（NVIDIA B200）: 基盤モデルのトレーニングとエクサスケール基盤モデルのトレーニング用に設計されています。
- A3 Ultra（NVIDIA H200）、A3 Mega（NVIDIA H100）、8 個の（NVIDIA H100）GPU を搭載した A3 High: 大規模なデータテーブルを含む大規模な分散トレーニングとマルチホスト推論に最適化されています。
GPU パフォーマンスに関する考慮事項
ワークロードのパフォーマンスを評価して最適化するには、CUDA コアや Tensor Core の使用率などのハードウェア レベルの指標を追跡します。リソースをモニタリングし、General 環境と Clustered 環境の両方でパフォーマンスを評価するには、以下をご覧ください。
- モニタリング ダッシュボード: 個々のスタンドアロン インスタンスまたはオーケストレートされたクラスタ フリートの GPU 使用率とメモリ使用量をリアルタイムで追跡します。
- グッドプット指標レシピ: アクセラレータが有用な計算を実行する時間の割合をシステム オーバーヘッドと比較して測定します。これは、クラスタ化されたハードウェアでの大規模な分散トレーニングに強くおすすめします。
次のステップ
- インフラストラクチャの要件を評価するには、アクセラレータ インフラストラクチャを選択するをご覧ください。
- クラスタの起動時に行うプロセスと選択内容を確認するには、AI インフラストラクチャを計画して作成するをご覧ください。