詳細
以下のドキュメントでは、関連するトピックに関連する用語について詳しく説明しています。
用語
AI Hypercomputer には、以下の条項が適用されます。
アクセラレータ
GPU や TPU などの特殊なハードウェア デバイス。汎用プロセッサよりも効率的に ML ワークロードなどの特定のタスクを実行するように設計されています。
ブロック
ノンブロッキングの高速ネットワークで相互接続されたサブブロックの集合。ブロック内のすべてのホストマシンに高帯域幅を提供します。
クラスタ 高速ネットワーク ファブリックで相互接続されたブロックの集合。各クラスタはグローバルに一意です。
A4X、A4、A3 Ultra、A3 Mega、A3 High（8 個の GPU）マシンの場合、クラスタはアクセラレータ容量のブロックに共通のノンブロッキング ネットワーク ファブリックを提供します。クラスタ内では、ノード間
通信（東西
トラフィック）はブロックのコレクション全体でノンブロッキングです。
クラスタ化 GPU A4X、A4、A3 Ultra、A3 Mega、A3 High（8 個の GPU）などの GPU のマシン ファミリーのカテゴリ。クラスタ化 GPU を使用すると、特殊なネットワーキング ファブリックと同期されたメンテナンスを使用して、相互接続された数千のアクセラレータを単一の緊密に結合されたシステムとしてデプロイしてスケーリングできます。
極端なコンピューティング、メモリ、高速ネットワーキングの同期を必要とするワークロードに最適です。一般的なユースケースとしては、数兆のパラメータを持つ基盤モデルの事前トレーニング、フロンティア モデルの提供、創薬のシミュレーションなどがあります。
緊急メンテナンス
緊急メンテナンスと呼ばれることもあります。 ハードウェア、ソフトウェア、セキュリティに関する重大な問題が原因で発生する予定外のメンテナンス イベント。
サポートされているアクセラレータ マシンタイプの場合、緊急メンテナンスでは、即時の中断ではなく事前通知が行われます。この通知により、システムが VM を終了する前に、ワークロードを正常にドレインし、必要に応じて修復をトリガーできます。
汎用 GPU G2、G4、A2、N1+T4、A3 Edge などの GPU マシン ファミリーのカテゴリ。
汎用 GPU を使用すると、チームは完全な運用上の自律性で NVIDIA アクセラレータをデプロイしてスケーリングできます。これにより、協調型スーパーコンピューティング クラスタのアーキテクチャの複雑さを回避できます。高可用性、セルフサービス プロビジョニング、独立したスケーリングを優先するワークロードに最適です。一般的なユースケースとしては、リアルタイム推論、RAG、プロトタイピング、小規模から中規模のモデル トレーニングなどがあります。
ネットワーク ファブリック クラスタ内のすべてのブロック
と Google Cloud サービスに高帯域幅と低レイテンシを提供する高速ネットワーク
インフラストラクチャ。ファブリックは
Jupiter
ネットワークのアーキテクチャを使用します。パフォーマンスを最適化するため、ファブリックはソフトウェア定義ネットワークと光スイッチを使用します。
ノードまたはホスト
データセンター内の単一の物理サーバーマシン。各ホストには、アクセラレータなどのコンピューティング リソースが関連付けられています。これらのコンピューティング リソースの数と構成は、マシン ファミリーによって異なります。
Compute Engine インスタンスは物理ホスト上にプロビジョニングされます。
NVLink ドメイン
NVLink ドメイン（サブブロックとも呼ばれます）は、A4X Max マシンと A4X マシンの容量のコアユニットです。NVLink ドメインは、マルチノード NVLink システムで接続された 18 個の A4X Max インスタンスまたは A4X インスタンス（72 個の GPU）で構成されます。
サブブロック
単一の物理ブロック上にあるホストと関連する接続ハードウェアのグループ。A4X Max マシンと A4X マシンのコンテキストでは、サブブロックは NVLink ドメインとも呼ばれます。
スーパーブロック
データセンター内の相互接続されたマシンの物理的なグループ。マシンをスーパーブロック内に配置することで、緊密に結合されたトレーニング ワークロードの実行に必要な極端なネットワーク スループットとミリ秒未満のレイテンシを実現できます。