このドキュメントでは、さまざまな AI、機械学習（ML）、ハイ パフォーマンス コンピューティング（HPC）ワークロードに最適なアクセラレータ、使用オプション、デプロイツールに関する推奨事項について説明します。このドキュメントは、ワークロードに最適なデプロイを特定するのに役立ちます。
AI、ML、HPC ワークロードのインフラストラクチャの柱に関する情報と推奨事項については、次のドキュメントをご覧ください。
ワークロードの概要
AI Hypercomputer アーキテクチャは、次のユースケースをサポートしています。
| ワークロード | 説明 | 推奨事項 |
|---|---|---|
| 基盤モデルの事前トレーニング | これには、大規模なデータセットを使用して言語モデルを構築することが含まれます。基盤モデルの事前トレーニングの結果、一般的なタスクの実行に優れた新しいモデルが作成されます。 モデルは、サイズに基づいて次のように分類されます。
|
事前トレーニング モデルに関する推奨事項をご覧ください。 |
| ファインチューニング | これには、トレーニング済みのモデルを、特殊なデータセットやその他の手法を使用して特定のタスクを実行するように適応させることが含まれます。ファインチューニングは通常、大規模なモデルに対して行われます。 | モデルのファインチューニングに関する推奨事項をご覧ください。 |
| 推論（サービング） | これには、トレーニング済みまたはファインチューニング済みのモデルを取得し、ユーザーまたはアプリケーションが使用できるようにすることが含まれます。 推論ワークロードは、モデルのサイズに基づいて次のように分類されます。
|
推論に関する推奨事項をご覧ください。 |
| 小規模または中規模モデル向けの ML | これには、通常、より専門的なタスク向けに、サイズと複雑さが小さい ML モデルのトレーニングとサービングが含まれます。 | 小規模または中規模モデルの ML の推奨事項をご覧ください。 |
| HPC | これは、コンピューティング リソースを集約することで、単一のワークステーション、サーバー、コンピュータで行うよりも高いパフォーマンスを実現する手法です。HPC は、学術研究、科学、設計、シミュレーション、ビジネス インテリジェンスの問題を解決するために使用されます。 | HPC の推奨事項を確認する |
事前トレーニング モデルに関する推奨事項
基盤モデルを事前トレーニングするために、アクセラレータの大規模なクラスタが大量のデータを継続的に読み取ります。これらのアクセラレータは、フォワード パスとバックワード パスを介して重みを調整し、データから学習します。これらのトレーニング ジョブは、一度に数週間、場合によっては数か月間実行されます。
以降のセクションでは、基盤モデルの事前トレーニングに使用することをおすすめするアクセラレータと使用量オプションについて説明します。
推奨されるアクセラレータ
Google Cloudで基盤モデルを事前トレーニングするには、A5X（NVIDIA Vera Rubin）、A4X Max（NVIDIA GB300）、A4X（NVIDIA GB200）、A4（NVIDIA B200）、A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB）のアクセラレータ最適化マシンタイプを使用し、オーケストレーターを使用してクラスタをデプロイすることをおすすめします。
これらのアクセラレータ クラスタをデプロイするには、Cluster Director または Cluster Toolkit を使用することをおすすめします。詳細については、次の表で、選択したマシンタイプのクラスタ デプロイ ガイドをご覧ください。
| ワークロード | 推奨事項 | クラスタ デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 基盤モデルの事前トレーニング |
|
GKE | Cluster Toolkit を使用して AI に最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルのトレーニング | A3 Ultra（NVIDIA H200 141 GB） | GKE | Cluster Toolkit を使用して AI に最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルのトレーニング |
|
GKE | 標準モードのクラスタで GPU ネットワーク帯域幅を最大化する |
| Slurm | |||
推奨される使用オプション
アクセラレータの大規模なクラスタを確実に取得するには、予約を使用することをおすすめします。具体的には、予約済みリソースの費用を最小限に抑えるため、確約利用割引を受けるのに十分な長さの予約期間をリクエストすることをおすすめします。使用オプションの詳細については、使用オプションを選択するをご覧ください。
モデルのファインチューニングに関する推奨事項
大規模な基盤モデルをファインチューニングするために、アクセラレータの小規模なクラスタが適度な量のデータを読み取ります。これらのアクセラレータは、特定のタスクを実行するようにモデルを調整します。これらのファインチューニング ジョブは数日から数週間実行されます。
以降のセクションでは、モデルのファインチューニング時に使用する推奨アクセラレータと使用量オプションについて説明します。
推奨されるアクセラレータ
Google Cloudでモデルをファインチューニングするには、A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、または A3 High（NVIDIA H100 80 GB）のアクセラレータ最適化マシンタイプを使用し、オーケストレーターを使用してクラスタをデプロイすることをおすすめします。
これらのアクセラレータ クラスタをデプロイするには、Cluster Director または Cluster Toolkit を使用することをおすすめします。詳細については、次の表で、選択したマシンタイプのクラスタ デプロイ ガイドをご覧ください。
| ワークロード | 推奨事項 | クラスタ デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 大規模なモデルのファインチューニング | A3 Ultra（NVIDIA H200 141 GB） | GKE | Cluster Toolkit を使用して AI に最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模なモデルのファインチューニング |
|
GKE | 標準モードのクラスタで GPU ネットワーク帯域幅を最大化する |
| Slurm | |||
推奨される使用オプション
ファインチューニング ワークロードの場合は、カレンダー モードの将来の予約を使用してリソースをプロビジョニングします。使用オプションの詳細については、使用オプションを選択するをご覧ください。
推論に関する推奨事項
以降のセクションでは、推論の実行時に使用する推奨アクセラレータと消費オプションについて説明します。
推奨されるアクセラレータ
推論に推奨されるアクセラレータは、マルチホストのフロンティア モデルまたは大規模モデルの推論を行うか、単一ホストのフロンティア モデルの推論を行うかによって異なります。
推奨されるアクセラレータ（マルチホスト）
Google Cloudでマルチホスト フロンティアまたは大規模モデルの推論を実行するには、A5X（NVIDIA Vera Rubin）、A4X Max（NVIDIA GB300）、A4X（NVIDIA GB200）、A4（NVIDIA B200）、A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB）のアクセラレータ最適化マシンタイプを使用し、オーケストレーターを使用してインスタンスをデプロイします。これらのアクセラレータ クラスタをデプロイするには、Cluster Director または Cluster Toolkit を使用することをおすすめします。次の表に、推奨されるマシンタイプごとのクラスタ デプロイ ガイドへのリンクを示します。
| ワークロード | 推奨事項 | クラスタ デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| マルチホストのフロンティア推論 |
|
GKE | Cluster Toolkit を使用して AI に最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルの推論 | A3 Ultra（NVIDIA H200 141 GB） | GKE | Cluster Toolkit を使用して AI に最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルの推論 |
|
GKE | 標準モードのクラスタで GPU ネットワーク帯域幅を最大化する |
| Slurm | |||
推奨されるアクセラレータ（単一ホスト）
次の表に、単一ホストのフロンティア推論の実行に使用することをおすすめするアクセラレータを示します。この表には、推奨されるマシンタイプごとに VM デプロイガイドへのリンクが記載されています。
| ワークロード | 推奨事項 | VM デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 単一ホストの最先端推論と主流推論 |
|
なし | A4 または A3 Ultra インスタンスを作成する |
|
A3 High インスタンスまたは A3 Edge インスタンスを作成する | ||
| A2（NVIDIA A100） | A2 インスタンスを作成する | ||
| G4（NVIDIA RTX PRO 6000） | G4 インスタンスを作成する | ||
| G2（NVIDIA L4） | G2 インスタンスを作成する | ||
| N1（NVIDIA T4 または V100） | N1 インスタンスを作成する | ||
推奨される使用オプション
推論には、長時間実行予約またはカレンダー モードの将来の予約を使用します。使用オプションの詳細については、使用オプションを選択するをご覧ください。
小規模または中規模のモデルに関する推奨事項
小規模から中規模のモデルを扱う ML ワークロードでは、費用とパフォーマンスの最適なバランスを実現することが主な考慮事項です。
推奨されるアクセラレータ
次の表に、小規模から中規模のモデルの ML ワークロードに使用する推奨アクセラレータを示します。
| ワークロード | 推奨事項 | VM デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 小規模または中規模のモデル向けの ML | A3 Edge（NVIDIA H100 80 GB） | なし | A3 Edge インスタンスを作成する |
| A2（NVIDIA A100） | A2 インスタンスを作成する | ||
| G4（NVIDIA RTX PRO 6000） | G4 インスタンスを作成する | ||
| G2（NVIDIA L4） | G2 インスタンスを作成する | ||
| N1（NVIDIA T4 または V100） | N1 インスタンスを作成する | ||
HPC に関する推奨事項
HPC ワークロードでは、アクセラレータ最適化マシンシリーズまたはコンピューティング最適化マシンシリーズが適しています。アクセラレータ最適化マシンシリーズを使用する場合、最適なものは、GPU にオフロードする必要がある計算量によって異なります。HPC ワークロードの推奨事項の詳細なリストについては、HPC ワークロードの実行に関するベスト プラクティスをご覧ください。
推奨事項の概要
次の表に、各ワークロードに推奨されるアクセラレータと使用オプションをまとめます。
| リソース | 推奨事項 |
|---|---|
| モデルの事前トレーニング | |
| マシン ファミリー | 次のいずれかのアクセラレータ最適化マシンタイプを使用します。A5X（NVIDIA Vera Rubin）、A4X Max（NVIDIA GB300）、A4X（NVIDIA GB200）、A4（NVIDIA B200）、A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB） |
| 使用オプション | 容量ブロック（A5X、A4X Max、A4X）に標準の将来の予約を使用するか、標準の将来の予約を使用する |
| モデルの微調整 | |
| マシン ファミリー | A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB）のアクセラレータ最適化マシンタイプを使用する |
| 使用オプション | 「標準の将来の予約を使用する」 |
| 推論 | |
| マシン ファミリー | 次のいずれかのマシンタイプを使用します。 A5X（NVIDIA Vera Rubin）、A4X Max（NVIDIA GB300）、A4X（NVIDIA GB200）、A4（NVIDIA B200）、A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB）、A3 Edge（NVIDIA H100 80 GB）、A2（NVIDIA A100）、G4（NVIDIA RTX PRO 6000）、G2（NVIDIA L4）、N1（NVIDIA T4 または V100） |
| 使用オプション | 予約、オンデマンド、または Spot を使用する（Spot またはオンデマンドをサポートしていない A5X、A4X Max、A4X を除く） |
| 小規模または中規模のモデル向けの ML | |
| マシン ファミリー | 次のいずれかのマシンタイプを使用します。A3 Edge（NVIDIA H100 80 GB）、A2（NVIDIA A100）、G4（NVIDIA RTX PRO 6000）、G2（NVIDIA L4）、N1（NVIDIA T4 または V100） |
| 使用オプション | オンデマンド予約、Spot 予約、標準予約を使用する |
| ストレージ | Cloud Storage FUSE を使用する |
| HPC | |
| HPC ワークロードの実行に関するベスト プラクティスの概要セクションをご覧ください。 | |
次のステップ
- AI に最適化された GKE クラスタを作成する方法を学習する。
- フルマネージド Slurm クラスタを作成する方法を確認する。
- AI に最適化されたインスタンスを作成する方法を確認する。