AI Hypercomputer 提供垂直整合的基礎架構，專為嚴苛的人工智慧 (AI) 和機器學習 (ML) 工作負載進行最佳化。高效能 NVIDIA GPU 的分類依據，是系統如何處理其生命週期事件和維護作業：一般 GPU 和叢集式 GPU。
如要找出最適合工作負載的基礎架構類別，請參閱「選擇加速器基礎架構」。
一般 GPU
一般 GPU 會視為獨立運算單元，透過標準 Compute Engine 和 Google Kubernetes Engine (GKE) API 直接與 Google Cloud的控制層整合。
一般 GPU 包含下列機器系列：
- 搭載 1、2 或 4 個 (NVIDIA H100) GPU 的 A3 High：適合不需要 8 個 GPU 同步叢集的標準訓練和推論工作負載。
- A3 Edge (NVIDIA H100)：經過最佳化調整，適合使用標準虛擬私有雲網路，在高處理量下分散於多部主機的推論作業。
- A2 (NVIDIA A100)：經過最佳化，適合高效能單一節點服務和小型微調。
- G4 (NVIDIA RTX PRO 6000)：經過最佳化調整，適合用於符合成本效益的入門級推論和圖形工作負載。
- G2 (NVIDIA L4)：針對主流推論和 RAG 進行最佳化。
- N1 (NVIDIA T4 或 V100)：適合入門級推論和研究工作，優先考量成本而非高效能互連。
叢集式 GPU
叢集式 GPU 是透過 Cluster Director 管理，由數千個互連加速器組成的緊耦合系統。
叢集式 GPU 包含下列機器系列：
- A5X (NVIDIA Vera Rubin)：專為基礎模型的百億億次級訓練、推論模型的推論，以及裸機上的高效能運算而設計，配備 NVIDIA Vera Rubin 超級晶片。
- A4X Max (NVIDIA GB300)：專為裸機百億億次級訓練和高效能運算設計，搭載 NVIDIA GB300 Grace Blackwell Ultra 超級晶片。
- A4X (NVIDIA GB200) 和 A4 (NVIDIA B200)：專為基礎模型訓練和百億億次級基礎模型訓練設計。
- A3 Ultra (NVIDIA H200)、A3 Mega (NVIDIA H100) 和 A3 High (搭載 8 個 NVIDIA H100 GPU)：經過最佳化，適合大規模分散式訓練和多主機推論，涉及大量資料表。
GPU 效能注意事項
如要評估及最佳化工作負載效能，您可以追蹤硬體層級指標，例如 CUDA 核心和 Tensor Core 使用率。如要監控資源並評估一般和叢集環境的效能，請參閱下列內容：
- 監控資訊主頁：追蹤個別獨立執行個體或自動調度叢集機群的即時 GPU 使用率和記憶體用量。
- 有效處理量指標配方：衡量加速器執行有效運算的時間百分比，以及系統負擔。強烈建議在叢集硬體上進行大規模分散式訓練時使用。
後續步驟
- 如要評估基礎架構需求，請參閱「選擇加速器基礎架構」。
- 如要查看啟動叢集時的程序和選項，請參閱「規劃及建立 AI 基礎架構」。