AI Hypercomputer fornisce un'infrastruttura integrata verticalmente ottimizzata per workload di intelligenza artificiale (AI) e machine learning (ML) impegnativi. Le GPU NVIDIA ad alte prestazioni sono classificate in base al modo in cui il sistema gestisce gli eventi del ciclo di vita e la manutenzione: GPU generiche e GPU cluster.
Per identificare la categoria di infrastruttura ottimale per il tuo workload, consulta Scegli l'infrastruttura dell'acceleratore.
GPU generiche
Le GPU generiche sono gestite come unità di calcolo indipendenti, utilizzando le API standard di Compute Engine e Google Kubernetes Engine (GKE) per l'integrazione diretta con il control plane di Google Cloud.
Le GPU per uso generico includono le seguenti serie di macchine:
- A3 High con 1, 2 o 4 GPU (NVIDIA H100): ottimizzate per workload di addestramento e inferenza standard che non richiedono un cluster sincronizzato con 8 GPU.
- A3 Edge (NVIDIA H100): ottimizzato per l'inferenza distribuita su più host con throughput elevato utilizzando il networking VPC standard.
- A2 (NVIDIA A100): ottimizzato per l'erogazione di servizi a nodo singolo ad alte prestazioni e l'ottimizzazione su piccola scala.
- G4 (NVIDIA RTX PRO 6000): ottimizzate per workload di inferenza e grafica entry-level convenienti.
- G2 (NVIDIA L4): ottimizzate per l'inferenza mainstream e la RAG.
- N1 (NVIDIA T4 o V100): ottimizzata per attività di inferenza e ricerca di base che danno la priorità ai costi rispetto alle interconnessioni ad alte prestazioni.
GPU cluster
Le GPU clusterizzate vengono gestite come un unico sistema ad alto accoppiamento di migliaia di acceleratori interconnessi utilizzando Cluster Director.
Le GPU cluster includono le seguenti serie di macchine:
- A5X (NVIDIA Vera Rubin): progettato per l'addestramento exascale di foundation model, l'inferenza per i modelli di ragionamento e il computing ad alte prestazioni su bare metal, con superchip NVIDIA Vera Rubin.
- A4X Max (NVIDIA GB300): progettato per l'addestramento exascale bare metal e il computing ad alte prestazioni, con superchip NVIDIA GB300 Grace Blackwell Ultra.
- A4X (NVIDIA GB200) e A4 (NVIDIA B200): progettate per l'addestramento di foundation model e l'addestramento di foundation model su scala exa.
- GPU A3 Ultra (NVIDIA H200), A3 Mega (NVIDIA H100) e A3 High con 8 GPU (NVIDIA H100): ottimizzate per l'addestramento distribuito su larga scala e l'inferenza multi-host che coinvolgono tabelle di dati di grandi dimensioni.
Considerazioni sulle prestazioni della GPU
Per valutare e ottimizzare le prestazioni del tuo workload, puoi monitorare metriche a livello di hardware, come l'utilizzo dei core CUDA e dei Tensor Core. Per monitorare le tue risorse e valutare le prestazioni negli ambienti General e Clustered, consulta quanto segue:
- Dashboard di monitoraggio: monitora l'utilizzo della GPU e della memoria in tempo reale per singole istanze autonome o parchi risorse di cluster orchestrati.
- Ricette per le metriche di goodput: misura la percentuale di tempo in cui gli acceleratori eseguono calcoli utili rispetto all'overhead del sistema, un'operazione altamente consigliata per l'addestramento distribuito su larga scala su hardware in cluster.
Passaggi successivi
- Per valutare i requisiti dell'infrastruttura, consulta Scegli l'infrastruttura dell'acceleratore.
- Per esaminare la procedura e le scelte da fare quando avvii un cluster, consulta Pianifica e crea la tua infrastruttura AI.