AI Hypercomputer には、コンピューティング リソースを取得するための消費オプションがいくつかあります。これらのオプションは、ワークロードの期間、フォールト トレランス、インフラストラクチャ モデルなどのニーズに対応します。これらのオプションの詳細を確認し、ユースケースに最適なオプションを選択してください。
手動評価の代わりに、Google Cloud コンソールで Gemini にプロンプトを入力して、ワークロードと予算の消費オプションを比較できます。詳細については、Compute Advisor を使用して AI インフラストラクチャを設計するをご覧ください。
使用オプションの概要
主な特性で使用オプションを比較するには、次の表を使用します。
| 使用オプション | プロビジョニング モデル | 最適な用途 | 容量保証 | 存続期間 | プリエンプティブル | 割り当て | 割引 | アロケーション モデル |
|---|---|---|---|---|---|---|---|---|
| Flex Start | Flex Start | 容量が利用可能になるまで待機できる、最大 7 日間の短期間のワークロード。 | ベスト エフォート | 最長 7 日間 | × | プリエンプティブル割り当て | サポートされているシリーズが最大 53% 割引 | MIG のサイズ変更リクエストの場合は高密度、スタンドアロン VM の場合はベスト エフォート。 |
| Spot VM | スポット | フォールト トレラントな、短時間の一般的な GPU ワークロード。 | ベスト エフォート | プリエンプティブル | はい | プリエンプティブル割り当て | 大幅な割引（最大 91%） | 標準 |
| 標準の予約 | 標準 | 容量の確実性が非常に高いレベルで求められる、重要な一般的な GPU ワークロード。 | 非常に高い | 無制限 | × | 割り当ては消費されません | 確約利用割引（CUD）による割引料金 | 標準 |
| 容量ブロックの将来の予約 | 予約で制限 | クラスタ化された GPU での大規模で長時間実行されるトレーニング。 | 非常に高い | 予約期間内は無制限。 | × | 割り当ては提供前に増加します | CUD で最大 53% 割引 | Dense |
| カレンダー モードの将来の予約 | 予約で制限 | 予約容量を必要とする最大 90 日間のクラスタ化された GPU ワークロード。 | 非常に高い | 最長 90 日間 | × | 割り当ては消費されません | 割引（最大 53%） | Dense |
| オンデマンド VM | 標準 | 特定の期間がない一般的な GPU ワークロード。 | ベスト エフォート | 無制限 | × | オンデマンド割り当て | なし（従量課金制） | 標準 |
インフラストラクチャのデプロイに使用する消費オプションは、一般 GPU とクラスタ化された GPU のどちらを使用するかによって異なります。
一般的な GPU: 小規模な推論、開発、小規模なトレーニング ワークロード向けに設計されています。このタイプの GPU は、非同期メンテナンスにより運用の柔軟性を実現します。使用可能なオプションを確認するには、一般的な GPU の使用オプションをご覧ください。
クラスタ化された GPU: 大規模で密結合されたトレーニング ワークロードと、大規模な推論、RL、推論モデルのワークロード向けに設計されています。これらのワークロードでは、ネットワーク レイテンシを最小限に抑えるために、高い容量保証と高密度のリソース割り当てが必要です。使用可能なオプションについては、クラスタ化された GPU の使用オプションをご覧ください。
一般的な GPU の使用オプション
一般的な GPU の容量を取得するには、次の使用オプションを使用します。
Flex Start を使用する
リソースの密な割り当てを必要とする短期間のワークロードを実行するには、Flex Start を使用して最大 7 日間のコンピューティング リソースをリクエストできます。リソースが使用可能になると、Compute Engine はリクエストされた数の VM を作成します。スタンドアロンの Flex Start VM は停止できますが、マネージド インスタンス グループ（MIG）がサイズ変更リクエストで作成した Flex Start VM は停止できません。Flex Start VM は、ユーザーが削除するか、Compute Engine が実行期間の終了時に VM を削除するまで存在します。
適しているワークロード
- 小規模モデルの事前トレーニング
- モデルのファインチューニング
- ハイ パフォーマンス コンピューティング（HPC）シミュレーション
- バッチ推論
主な特徴
- プロビジョニング モデル: Flex Start。
- 広範なハードウェア サポート: A5X、A4X Max、A4X を除く、クラスタ化された GPU マシンタイプをリクエストします。
- レイテンシの最適化: スタンドアロン VM にコンパクト プレースメント ポリシーを適用して、ネットワーク レイテンシを最小限に抑えます。
- 費用対効果: A4、A3、A2、G4 マシンシリーズの vCPU、メモリ、GPU、ローカル SSD ディスクで最大 53% の割引が適用されます。サポートされている他のシリーズには、標準のオンデマンド料金が適用されます。詳細については、Flex Start の料金をご覧ください。
Spot を使用する
フォールト トレラントなワークロードを実行するには、可用性に基づいてコンピューティング リソースをすぐに取得できます。リソースを可能な限り低価格で取得できます。ただし、Compute Engine はいつでも VM をプリエンプトして容量を再利用できます。
適しているワークロード
- バッチ処理とデータ分析
- ハイ パフォーマンス コンピューティング（HPC）とメディア エンコード
主な特徴
- プロビジョニング モデル: Spot。
- 広範なハードウェア サポート: A5X、A4X Max、A4X を除く、クラスタ化された GPU マシンタイプをリクエストします。
- レイテンシの最適化: スタンドアロン VM にコンパクト プレースメント ポリシーを適用して、ネットワーク レイテンシを最小限に抑えます。
- 費用対効果: vCPU、メモリ、GPU、ローカル SSD ディスクで最大 91% の割引が適用されます。
オンデマンドを使用
ヒント: 一般的な GPU 容量を取得できる可能性を高めるには、Flex Start または Spot を使用します。これらの使用オプションでは、オンデマンド料金と比較して割引価格で GPU が提供されます。また、GPU などの需要の高いリソースを取得する可能性を高めるように設計されています。
特定の期間を指定せずにワークロードを実行するには、可用性に基づいてコンピューティング リソースをすぐに取得できます。VM は、停止または削除するまで実行されます。
適しているワークロード
- 推論とモデル提供
- プロトタイピングと試験運用
主な特徴
- プロビジョニング モデル: 標準。
- 即時可用性: 容量のスケジューリングや承認を待たずに、VM インスタンスをすぐに作成します。
- 標準料金: 長期契約なしで、標準のオンデマンド料金でリソースの料金を支払います。
- 幅広いハードウェア サポート: 一般的な GPU パスでサポートされている GPU マシンシリーズで使用できます。
標準予約を使用する
容量の確実性を非常に高くする必要がある重要な一般的な GPU ワークロードを実行するには、標準予約を使用します。
適しているワークロード
- 重要な本番環境ワークロード
- 容量の確実性を必要とするワークロード
主な特徴
- プロビジョニング モデル: 標準。
- 容量の保証: リソースが利用可能であることを非常に高い確実性で保証します。
- 料金: 標準料金が適用されますが、CUD を適用して費用を削減できます。
クラスタ化された GPU の使用オプション
クラスタ化された GPU の容量を取得するには、次の使用オプションを使用します。
容量ブロックに将来の予約を使用する
リソースの密な割り当てを必要とする大規模な長時間実行分散ワークロードを実行するには、将来の日時で密に割り当てられたコンピューティング リソースをリクエストできます。この期間中、予約したリソースに排他的にアクセスできます。また、リソースを使用して VM またはクラスタを作成できます。予約期間の終了時に、Compute Engine は次の処理を行います。
- Compute Engine は、予約と、関連付けられている空のストレージ プールを削除します。
- VM に指定した終了アクションに基づいて、Compute Engine は予約を使用している VM を停止または削除します。
適しているワークロード
- 基盤モデルの事前トレーニング
- 複数のホストにまたがる基盤モデルの推論
主な特徴
- プロビジョニング モデル: 予約にバインド。
- プレミアム マシンのサポート: A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 GPU）マシンタイプを予約します。
- Hyperdisk 予約: Hyperdisk ストレージ プールまたは Hyperdisk Exapool をコンピューティング容量とともに予約して、ワークロードに十分なストレージ リソースを確保できます。Google は、ストレージ パフォーマンスを最適化するために、Hyperdisk プールをコンピューティング ノードと同じ場所に配置します。
- コミットメントの要件: 1 年以上の予約にリソースベースのコミットメントを関連付けて、コンピューティング リソースと Hyperdisk プールの割引を受けます。
- 動的な変更: 期間の開始後に Vertex AI ジョブの使用に関するハードウェア緊急メンテナンス通知を有効にします。
カレンダー モードで将来の予約を使用する
リソースの密な割り当てを必要とする短時間実行の分散ワークロードを実行するには、最大 90 日間のコンピューティング リソースをリクエストできます。この期間中、予約したリソースに排他的にアクセスできます。リソースを使用して VM またはクラスタを作成できます。予約期間の終了時に、Compute Engine は次の処理を行います。
- Compute Engine は予約を削除します。
- VM に指定した終了アクションに基づいて、Compute Engine は予約を使用している VM を停止または削除します。
適しているワークロード
- 事前トレーニングとファインチューニング
- 大規模なシミュレーションと推論
主な特徴
- プロビジョニング モデル: 予約にバインド。
- マシンシリーズのサポート: A4、A3 Ultra、A3 Mega、A3 High（8 GPU）マシンタイプを予約します。
- スケーラビリティの上限: 最大 80 台の VM を最長 90 日間予約できます。
- 最適化されたプロビジョニング: 予約にバインドされたモデルを使用して、GPU を取得できる可能性を高めます。
Flex Start を使用する
最大 7 日間、リソースを密に割り当てる必要がある場合は、クラスタ化されたマネージド インスタンス グループ（MIG）のサイズ変更リクエストに Flex Start を使用します。
適しているワークロード
Flex Start VM は、次のような、いつでも開始できるワークロードの実行に最適です。
- 小規模モデルの事前トレーニング
- モデルのファインチューニング
- ハイ パフォーマンス コンピューティング（HPC）シミュレーション
- バッチ推論
主な特徴
- プロビジョニング モデル: Flex Start。
- リソース割り当て: MIG のサイズ変更リクエスト用に高密度で割り当てられます。
- 費用対効果: A4、A3、A2、G4 マシンシリーズの vCPU、メモリ、GPU、アタッチされたローカル SSD ディスクに最大 53% の割引が適用されます。サポートされている他のマシンシリーズには、標準のオンデマンド料金が適用されます。
Spot を使用する
Spot VM を使用して、高密度に割り当てられたフォールト トレラントなワークロードを大幅な割引料金で実行できます。ただし、Compute Engine が VM をプリエンプトして容量を再利用する可能性があることを理解しておく必要があります。
適しているワークロード
- フォールト トレラントな分散トレーニング
- バッチ処理
主な特徴
- プロビジョニング モデル: Spot。
- プリエンプション: Compute Engine は、いつでもインスタンスをプリエンプトできます。
- 費用対効果: vCPU、メモリ、GPU、アタッチされたローカル SSD ディスクで最大 91% の割引が適用されます。
次のステップ
- クラスタの起動時に行うプロセスと選択肢を確認するには、AI インフラストラクチャを計画して作成するをご覧ください。
- 予約を作成して使用するには、予約を作成して使用するをご覧ください。
- Spot VM の詳細については、Spot VM の詳細をご覧ください。
- オンデマンド VM インスタンスを作成するには、オンデマンド VM インスタンスを作成するをご覧ください。