用語

AI Hypercomputer には、以下の条項が適用されます。

アクセラレータ
GPU や TPU などの特殊なハードウェア デバイス。機械学習(ML)ワークロードなどの特定のタスクを汎用プロセッサよりも効率的に実行するように設計されています。

ブロック
ノンブロッキングの高速ネットワークで相互接続されたサブブロックの集合体。ブロック内のすべてのホストマシンに高帯域幅を提供します。

クラスタ
高速ネットワーク ファブリックで相互接続されたブロックの集合。各クラスタはグローバルに一意です。A4X、A4、A3 Ultra、A3 Mega、A3 High(8 GPU)マシンの場合、クラスタはアクセラレータ容量のブロックに共通のノンブロッキング ネットワーク ファブリックを提供します。クラスタ内では、ノード間通信(東西トラフィック)はブロックのコレクション全体で非ブロッキングです。

クラスタ化された GPU
GPU 用のマシン ファミリーのカテゴリ。A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High(8 GPU)が含まれます。クラスタ化された GPU を使用すると、チームは、専用のネットワーキング ファブリックと同期メンテナンスを使用して、相互接続された数千のアクセラレータを単一の密結合システムとしてデプロイしてスケーリングできます。極端なコンピューティング、メモリ、高速ネットワーク同期を必要とするワークロードに最適です。一般的なユースケースには、数兆個のパラメータを持つ基盤モデルの事前トレーニング、フロンティア モデルのモデル提供、創薬のシミュレーションなどがあります。

緊急メンテナンス
緊急メンテナンスと呼ばれることもあります。重大なハードウェア、ソフトウェア、セキュリティの問題によって発生した、計画外のメンテナンス イベント。サポートされているアクセラレータ マシンタイプの場合、緊急メンテナンスでは、即時の停止ではなく事前通知が行われます。この通知により、システムが VM を終了する前に、ワークロードを正常にドレインし、必要に応じて修復をトリガーする時間を確保できます。

一般的な GPU
GPU マシン ファミリーのカテゴリ。G2、G4、A2、N1+T4、A3 Edge などがあります。汎用 GPU を使用すると、チームは NVIDIA アクセラレータを完全に自律的にデプロイしてスケーリングできます。これにより、調整されたスーパーコンピューティング クラスタのアーキテクチャの複雑さを回避できます。高可用性、セルフサービス プロビジョニング、独立したスケーリングを優先するワークロードに最適です。一般的なユースケースには、リアルタイム推論、RAG、プロトタイピング、小規模から中規模のモデル トレーニングなどがあります。

ネットワーク ファブリック
クラスタ内のすべてのブロックと Google Cloud サービスに高帯域幅で低レイテンシを提供する高速ネットワーク インフラストラクチャ。ファブリックは、Jupiter ネットワークのアーキテクチャを使用します。パフォーマンスを最適化するために、ファブリックはソフトウェア定義ネットワーキングと光スイッチを使用します。

ノードまたはホスト
データセンター内の単一の物理サーバーマシン。各ホストには、アクセラレータなどの関連付けられたコンピューティング リソースがあります。これらのコンピューティング リソースの数と構成は、マシン ファミリーによって異なります。Compute Engine インスタンスは物理ホスト上にプロビジョニングされます。

NVLink ドメイン(サブブロックとも呼ばれます)は、A5X、A4X Max、A4X マシンの容量のコア単位です。NVLink ドメインは、マルチノード NVLink システムで接続された 18 個の A5X、A4X Max、または A4X インスタンス(72 個の GPU)で構成されます。

サブブロック
1 つの物理ブロック上にあるホストと関連する接続ハードウェアのグループ。A5X、A4X Max、A4X マシンのコンテキストでは、サブブロックは NVLink ドメインとも呼ばれます。

スーパーブロック
データセンター内の相互接続されたマシンの物理的なグループ。マシンをスーパーブロック内に配置することで、密結合されたトレーニング ワークロードの実行に必要な、極めて高いネットワーク スループットとミリ秒未満のレイテンシを実現できます。

詳細

次のドキュメントでは、対応するトピックに関連する用語について詳しく説明しています。