A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 GPU）マシンシリーズなどのクラスタ化された GPU は、大規模な AI と ML のクラスタを実行できるように設計されており、次のクラスタ管理機能を提供します。
- クラスタ化された GPU インフラストラクチャのコロケーション
- クラスタ トポロジを考慮した配置
- クラスタの運用モード
- クラスタのメンテナンスのスケジュール設定と制御
- クラスタ モニタリングと診断ツール
サポートされているマシンシリーズ
このページで説明するクラスタ管理機能は、マルチノードの大規模なワークロード用に最適化されたクラスタ化された GPU マシンシリーズで使用できます。
これらの機能は、一般的な GPU マシンシリーズには適用されません。一般的な GPU マシンシリーズは、標準の VPC ネットワーキングを使用する独立したコンピューティング リソースで構成されており、メンテナンス運用モードや高密度のコロケーションはサポートされていません。
次の表は、AI Hypercomputer でサポートされているマシンシリーズをまとめたものです。
| カテゴリ | マシンシリーズ | クラスタ管理をサポート |
|---|---|---|
| クラスタ化された GPU | A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High | はい |
| 一般的な GPU | A3 Edge、A2、G2、G4、N1 | × |
各マシンシリーズの詳細については、GPU アクセラレータについてをご覧ください。
ほとんどのクラスタ管理機能は、予約にバインドされた容量（予約にバインドされたプロビジョニング モデルを使用するインフラストラクチャ）でのみサポートされます。このモデルは、クラスタ化された GPU マシンタイプのみをサポートします。他のプロビジョニング モデルを使用する容量の場合、次のクラスタ管理機能のみを使用できます。
クラスタ化された GPU インフラストラクチャのコロケーション
A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 GPU）などのクラスタ化された GPU を使用する場合は、Compute Engine がプロビジョニングするホストマシンをできるだけ近づけてリクエストできます。これらのマシンには次の機能があります。
Compute Engine は、マシンをリソースのブロックとしてプロビジョニングします。
動的 ML ネットワーク ファブリックがマシンを相互接続します。
このリソース構成により、ネットワーク ホップが最小限に抑えられ、ネットワーク レイテンシが最小限になるように最適化されます。Compute Engine が高密度に割り当てるアクセラレータ最適化マシンのブロックをデプロイするには、次のオプションを使用します。
次のいずれかを行う場合は、リソースを相互に高密度に割り当てる必要があります。
同じ AI Hypercomputer の将来の予約またはカレンダー モードの将来の予約を使用するリソースを作成します。
サイズ変更リクエストを使用するマネージド インスタンス グループ（MIG）をデプロイし、同じリクエストでリソースを作成します。
リソースが、最大距離値を指定する同じコンパクト プレースメント ポリシーまたはワークロード ポリシーを使用するように指定します。具体的には、リソースはポリシーの最大距離値で指定された距離内に配置される必要があります。
次のいずれかを行うと、ベスト エフォートの可用性に基づいて、リソースが相互に高密度に割り当てられます。
Flex Start VM の同じリクエストでリソースを作成する。
リソースが、最大距離を指定しない同じコンパクト プレースメント ポリシーまたはワークロード ポリシーを使用するように指定します。
クラスタ トポロジを考慮した配置
クラスタ化された GPU を作成すると、ノードレベルとクラスタレベルでトポロジ情報を取得できます。この情報は、次の操作に役立ちます。
ネットワーク レイテンシをさらに最小限に抑えるように、アプリケーションまたはワークロードの設計を調整する。
相互に頻繁に通信するインスタンスのネットワーク レイテンシとパフォーマンスの問題を理解し、トラブルシューティングする。この問題は、インスタンスが予期せず離れた場所に配置されている場合に発生することがあります。
具体的には、トポロジ機能のサポートは次のとおりです。
トポロジ情報は、予約にバインドされた容量で最適に機能します。これは、予約のトポロジを表示するために必要です。
トポロジ機能は、コンパクト プレースメント ポリシーをサポートするマシンタイプのみをサポートします。
Spot VM の場合、トポロジ情報は、マシンがコンパクト プレースメント ポリシーを使用している場合にのみ表示されます。
詳細については、コンピューティング インスタンスのトポロジを表示するをご覧ください。
クラスタ運用モード
クラスタ化された GPU を使用してコンピューティング インスタンスまたはクラスタを作成するために容量を予約する場合、予約するマシンタイプによって、インスタンスのクラスタ運用モードが決まります。このモードでは、ホストエラーまたは障害のあるホストの報告後にインスタンスがどのように動作するかを指定します。インスタンスで使用可能な動作モードは、マネージド モードです。このモードでは、Compute Engine は障害のあるマシンを自動的に置き換えますが、予約済み容量の一部を保持して、インスタンスの再起動に必要なリソースを提供します。または、全容量モード。予約済みの容量全体にアクセスできますが、障害と計画メンテナンスの管理はお客様の責任となります。
詳細については、予約のオペレーション モードをご覧ください。
クラスタのメンテナンスのスケジュール設定と制御
リソース ブロックでトポロジを考慮したスケジューリングを使用して、クラスタ化された GPU のメンテナンスを制御します。この機能により、アップグレードが同期され、ワークロードのホストイベントに対する復元力を高め、中断を最小限に抑えることができます。このアプローチは、ワークロードのグッドプットの向上に役立ちます。
メンテナンス イベントを完全に制御するために、次の機能を使用できます。
メンテナンスのスケジュール設定のタイプ
コンピューティング インスタンスまたはクラスタ化された GPU のクラスタを作成するために容量を予約する際に、インスタンスが実行されるインフラストラクチャを Compute Engine がどのように維持するかを定義できます。インスタンスに使用するマシンタイプに基づいて、インスタンス間でメンテナンスを同期するか（グループ化）、異なるメンテナンス スケジュールを使用するか（個別）を選択できます。
詳細については、メンテナンス スケジュールのタイプをご覧ください。
ホストイベントを管理する
クラスタ化された GPU を作成してワークロードを開始したら、アラートを設定し、インスタンスまたは予約済みブロックのメンテナンスがスケジュール設定、開始、完了されたときに通知を受け取ることができます。また、スケジュール設定された時刻より前に、インスタンスまたは予約済みブロックのメンテナンスを表示して、必要に応じて手動で開始することもできます。これらのオプションを使用すると、ワークロードのダウンタイムを事前に制御して最小限に抑えることができます。
詳しくは以下をご覧ください。
クラスタ モニタリングと診断ツール
モニタリングとトラブルシューティングのために、クラスタ化された GPU には次のサービスが含まれています。
VM の健全性低下の予測。今後 5 時間以内に低下する可能性のある VM を特定するのに役立ちます。
障害のあるホストの報告。個々のホストマシンに関する問題を報告できます。
Cloud Monitoring 指標のサポート。ネットワークと GPU のパフォーマンスをモニタリングできます。