本文提供建議，說明最適合不同人工智慧 (AI)、機器學習 (ML) 和高效能運算 (HPC) 工作負載的加速器、用量選項和部署工具。請參閱這份文件，找出最適合工作負載的部署方式。
如需 AI、機器學習和 HPC 工作負載基礎架構要素的相關資訊和建議，請參閱下列文件：
工作負載總覽
AI Hypercomputer 架構支援下列用途：
| 工作負載 | 說明 | 建議 |
|---|---|---|
| 預先訓練基礎模型 | 這包括使用大型資料集建構語言模型。預先訓練基礎模型的結果，是產生一個擅長執行一般任務的新模型。 模型會依大小分類如下：
|
查看預先訓練模型的建議做法 |
| 微調 | 這項程序會使用經過訓練的模型，並透過專門的資料集或其他技術，調整模型來執行特定工作。微調通常是在大型模型上進行。 | 請參閱微調模型的建議做法 |
| 推論或服務 | 這項作業涉及將訓練或微調後的模型，提供給使用者或應用程式使用。 推論工作負載會依模型大小分類，如下所示：
|
查看推論建議 |
| 中小型模型的機器學習 | 這包括訓練及提供規模和複雜度較小的機器學習模型，通常用於更專業的工作。 | 請參閱中小型機器學習模型的建議 |
| HPC | 這種做法會匯總運算資源，以獲得比單一工作站、伺服器或電腦更強大的效能。HPC 可用來解決學術研究、科學、設計、模擬和商業智慧中的問題。 | 查看高效能運算建議 |
預先訓練模型的建議做法
為了預先訓練基礎模型，大型加速器叢集會持續讀取大量資料。這些加速器會透過正向和反向傳遞調整權重，從資料中學習。這些訓練工作一次會執行數週，甚至數個月。
以下各節將概略說明建議用於預先訓練基礎模型的加速器和計費模式。
建議的加速器
如要在 Google Cloud上預先訓練基礎模型，建議您使用A5X (NVIDIA Vera Rubin)、A4X Max (NVIDIA GB300)、A4X (NVIDIA GB200)、A4 (NVIDIA B200)、A3 Ultra (NVIDIA H200 141GB)、A3 Mega (NVIDIA H100 80GB) 或 A3 High (NVIDIA H100 80GB) 加速器最佳化機型，並使用自動調度資源工具部署叢集。
如要部署這些加速器叢集，建議您使用 Cluster Director 或 Cluster Toolkit。詳情請參閱下表，根據您選擇的機型，查看對應的叢集部署指南。
| 工作負載 | 建議 | 叢集部署指南 | |
|---|---|---|---|
| 機型 | 自動調度管理工具 | ||
| 預先訓練基礎模型 |
|
GKE | 使用 Cluster Toolkit 建立 AI 最佳化 GKE 叢集 |
| Slurm | |||
| 大型模型訓練 | A3 Ultra (NVIDIA H200 141GB) | GKE | 使用 Cluster Toolkit 建立 AI 最佳化 GKE 叢集 |
| Slurm | |||
| 大型模型訓練 |
|
GKE | 在 Standard 模式叢集中盡可能提高 GPU 網路頻寬 |
| Slurm | |||
建議的計費方案
如要確保能取得大型加速器叢集，建議使用預留項目。具體來說，為盡可能降低預留資源的費用，建議您要求的預留時間長度應足以獲得承諾使用折扣。如要進一步瞭解消耗選項，請參閱「選擇消耗選項」。
微調模型的建議做法
如要微調大型基礎模型，較小的加速器叢集會讀取適量的資料。這些加速器會調整模型，以執行特定工作。這些微調工作會執行數天，甚至數週。
以下各節概述微調模型時，建議使用的加速器和計費模式。
建議的加速器
如要在 Google Cloud微調模型，建議使用 A3 Ultra (NVIDIA H200 141GB)、A3 Mega (NVIDIA H100 80GB) 或 A3 High (NVIDIA H100 80GB) 加速器最佳化機型，並使用自動調度管理工具部署叢集。
如要部署這些加速器叢集，建議您使用 Cluster Director 或 Cluster Toolkit。詳情請參閱下表，根據您選擇的機型，查看對應的叢集部署指南。
| 工作負載 | 建議 | 叢集部署指南 | |
|---|---|---|---|
| 機型 | 自動調度管理工具 | ||
| 微調大型模型 | A3 Ultra (NVIDIA H200 141GB) | GKE | 使用 Cluster Toolkit 建立 AI 最佳化 GKE 叢集 |
| Slurm | |||
| 微調大型模型 |
|
GKE | 在 Standard 模式叢集中盡可能提高 GPU 網路頻寬 |
| Slurm | |||
建議的計費方案
如要微調工作負載，請在日曆模式中使用未來預留項目來佈建資源。如要進一步瞭解消耗選項，請參閱「選擇消耗選項」。
建議推論工具
以下各節將概略說明執行推論時，建議使用的加速器和計費模式。
建議的加速器
推論作業的建議加速器，取決於您要執行多主機前沿或大型模型推論，還是單主機前沿推論。
建議的加速器 (多主機)
如要在 Google Cloud上執行多主機前沿或大型模型推論，請使用 A5X (NVIDIA Vera Rubin)、A4X Max (NVIDIA GB300)、A4X (NVIDIA GB200)、A4 (NVIDIA B200)、A3 Ultra (NVIDIA H200 141 GB)、A3 Mega (NVIDIA H100 80 GB) 或 A3 High (NVIDIA H100 80 GB) 加速器最佳化機器類型，並使用自動調度管理工具部署執行個體。如要部署這些加速器叢集，建議您使用 Cluster Director 或 Cluster Toolkit。下表提供各項建議機器類型的叢集部署指南連結。
| 工作負載 | 建議 | 叢集部署指南 | |
|---|---|---|---|
| 機型 | 自動調度管理工具 | ||
| 多主機頂尖推論 |
|
GKE | 使用 Cluster Toolkit 建立 AI 最佳化 GKE 叢集 |
| Slurm | |||
| 大型模型推論 | A3 Ultra (NVIDIA H200 141GB) | GKE | 使用 Cluster Toolkit 建立 AI 最佳化 GKE 叢集 |
| Slurm | |||
| 大型模型推論 |
|
GKE | 在 Standard 模式叢集中盡可能提高 GPU 網路頻寬 |
| Slurm | |||
建議的加速器 (單一主機)
下表列出我們建議用於執行單一主機 Frontier 推論的加速器。下表提供各建議機型的 VM 部署指南連結。
| 工作負載 | 建議 | VM 部署指南 | |
|---|---|---|---|
| 機型 | 自動調度管理工具 | ||
| 單一主機前沿和主流推論 |
|
不適用 | 建立 A4 或 A3 Ultra 執行個體 |
|
建立 A3 High 或 A3 Edge 執行個體 | ||
| A2 (NVIDIA A100) | 建立 A2 執行個體 | ||
| G4 (NVIDIA RTX PRO 6000) | 建立 G4 執行個體 | ||
| G2 (NVIDIA L4) | 建立 G2 執行個體 | ||
| N1 (NVIDIA T4 或 V100) | 建立 N1 執行個體 | ||
建議的計費方案
如要進行推論，請使用長期預留項目，或在日曆模式中使用未來預留項目。如要進一步瞭解使用選項，請參閱「選擇使用選項」。
中小型模型的建議做法
對於涉及中小型模型的機器學習工作負載，首要考量是在價格和效能之間取得最佳平衡。
建議的加速器
下表列出建議用於中小型模型機器學習工作負載的加速器。
| 工作負載 | 建議 | VM 部署指南 | |
|---|---|---|---|
| 機型 | 自動調度管理工具 | ||
| 中小型模型的機器學習 | A3 Edge (NVIDIA H100 80GB) | 不適用 | 建立 A3 Edge 執行個體 |
| A2 (NVIDIA A100) | 建立 A2 執行個體 | ||
| G4 (NVIDIA RTX PRO 6000) | 建立 G4 執行個體 | ||
| G2 (NVIDIA L4) | 建立 G2 執行個體 | ||
| N1 (NVIDIA T4 或 V100) | 建立 N1 執行個體 | ||
高效能運算 (HPC) 最佳化建議
如要執行 HPC 工作負載，任何加速器最佳化機器系列或運算最佳化機器系列都相當合適。如果使用加速器最佳化機器系列，最佳方案取決於必須卸載至 GPU 的運算量。如需 HPC 工作負載的詳細建議清單，請參閱「執行 HPC 工作負載的最佳做法」。
建議摘要
下表摘要說明各項工作負載的建議加速器和用量選項。
| 資源 | 建議 |
|---|---|
| 模型預先訓練 | |
| 機器家族 | 使用下列其中一種加速器最佳化機型：A5X (NVIDIA Vera Rubin)、A4X Max (NVIDIA GB300)、A4X (NVIDIA GB200)、A4 (NVIDIA B200)、A3 Ultra (NVIDIA H200 141GB)、A3 Mega (NVIDIA H100 80GB) 或 A3 High (NVIDIA H100 80GB) |
| 計費方案 | 使用標準未來預留項目預留容量區塊 (適用於 A5X、A4X Max 和 A4X)，或使用標準未來預留項目 |
| 模型微調 | |
| 機器家族 | 使用 A3 Ultra (NVIDIA H200 141 GB)、A3 Mega (NVIDIA H100 80 GB) 或 A3 High (NVIDIA H100 80 GB) 加速器最佳化機型 |
| 計費方案 | '使用標準未來預留項目 |
| 推論 | |
| 機器家族 | 使用下列其中一種機型：A5X (NVIDIA Vera Rubin)、A4X Max (NVIDIA GB300)、A4X (NVIDIA GB200)、A4 (NVIDIA B200)、A3 Ultra (NVIDIA H200 141GB)、A3 Mega (NVIDIA H100 80GB)、A3 High (NVIDIA H100 80GB)、A3 Edge (NVIDIA H100 80GB)、A2 (NVIDIA A100)、G4 (NVIDIA RTX PRO 6000)、G2 (NVIDIA L4) 或 N1 (NVIDIA T4 或 V100) |
| 計費方案 | 使用預留項目、隨選或 Spot (A5X、A4X Max 和 A4X 不支援 Spot 或隨選) |
| 中小型模型的機器學習 | |
| 機器家族 | 使用下列其中一種機型：A3 Edge (NVIDIA H100 80GB)、A2 (NVIDIA A100)、G4 (NVIDIA RTX PRO 6000)、G2 (NVIDIA L4) 或 N1 (NVIDIA T4 或 V100) |
| 計費方案 | 使用隨需、Spot 或標準預留項目 |
| 儲存空間 | 使用 Cloud Storage FUSE |
| HPC | |
| 請參閱執行 HPC 工作負載最佳做法的摘要部分 | |
後續步驟
- 瞭解如何建立 AI 最佳化 GKE 叢集。
- 瞭解如何建立全代管 Slurm 叢集。
- 瞭解如何建立 AI 最佳化執行個體。