Scegliere tra GPU generiche e GPU in cluster

Questo documento fornisce suggerimenti sugli acceleratori, sulle opzioni di consumo e sugli strumenti di deployment più adatti ai diversi workload di intelligenza artificiale (AI), machine learning (ML) e computing ad alte prestazioni (HPC). Utilizza questo documento per identificare il deployment migliore per il tuo workload.

Per informazioni e suggerimenti sui pilastri dell'infrastruttura per i workload AI, ML e HPC, consulta i seguenti documenti:

Panoramica dei workload

L'architettura AI Hypercomputer supporta i seguenti casi d'uso:

Workload Descrizione Suggerimento
Pre-addestramento dei foundation model Ciò comporta la creazione di un modello linguistico utilizzando un set di dati di grandi dimensioni. Il risultato del pre-addestramento dei foundation model è un nuovo modello in grado di eseguire attività generali.
I modelli sono classificati in base alle loro dimensioni come segue:
  • Modello pionieristico: modelli di ML che comprendono da centinaia di miliardi a migliaia di miliardi di parametri o più. Questi includono modelli linguistici di grandi dimensioni (LLM) come Gemini.
  • Modello di grandi dimensioni: modelli ML che comprendono da decine a centinaia di miliardi di parametri o più.
 Consulta i suggerimenti per i modelli di pre-addestramento
Fine-tuning Ciò comporta l'utilizzo di un modello addestrato e il suo adattamento per eseguire attività specifiche utilizzando set di dati specializzati o altre tecniche. L'ottimizzazione viene generalmente eseguita su modelli di grandi dimensioni. Consulta i suggerimenti per l'ottimizzazione dei modelli
Inferenza o distribuzione Ciò comporta l'utilizzo di un modello addestrato o ottimizzato e la sua messa a disposizione per l'utilizzo da parte di utenti o applicazioni.
I workload di inferenza sono classificati in base alle dimensioni dei modelli come segue:
  • Inferenza per i foundation model su più host: esecuzione dell'inferenza con modelli ML addestrati che comprendono da centinaia di miliardi a trilioni di parametri o più. Per questi workload di inferenza, il carico di calcolo è condiviso tra più macchine host.
  • Inferenza del foundation model su un singolo host: esecuzione dell'inferenza con modelli ML addestrati che comprendono da decine a centinaia di miliardi di parametri. Per questi workload di inferenza, il carico di calcolo è limitato a una singola macchina host.
  • Inferenza di modelli di grandi dimensioni: esecuzione dell'inferenza con modelli ML addestrati o ottimizzati che comprendono da decine a centinaia di miliardi di parametri.
 Visualizza i suggerimenti per l'inferenza
ML per modelli di piccole o medie dimensioni Ciò comporta l'addestramento e la gestione di modelli di ML di dimensioni e complessità ridotte, in genere per attività più specializzate. Consulta i suggerimenti per il ML per modelli di piccole o medie dimensioni
HPC Si tratta della pratica di aggregazione di risorse di calcolo per ottenere prestazioni superiori a quelle di una singola workstation, un singolo server o computer. L'HPC viene utilizzato per risolvere problemi di ricerca accademica, scienze, progettazione, simulazione e business intelligence. Consulta i suggerimenti per l'HPC

Suggerimenti per i modelli di pre-addestramento

Per preaddestrare i foundation model, grandi cluster di acceleratori leggono continuamente grandi volumi di dati. Questi acceleratori regolano i pesi tramite passaggi in avanti e all'indietro per apprendere dai dati. Questi job di addestramento vengono eseguiti per settimane o addirittura mesi alla volta.

Le sezioni seguenti descrivono gli acceleratori e le opzioni di consumo che ti consigliamo di utilizzare per pre-addestrare i foundation model.

Acceleratori consigliati

Per pre-addestrare i foundation model su Google Cloud, ti consigliamo di utilizzare i tipi di macchina ottimizzati per l'acceleratore A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) o A3 High (NVIDIA H100 80 GB) e di utilizzare un orchestratore per eseguire il deployment del cluster.

Per eseguire il deployment di questi cluster di acceleratori, ti consigliamo inoltre di utilizzare Cluster Director o Cluster Toolkit. Per ulteriori informazioni, consulta la guida al deployment del cluster corrispondente per il tipo di macchina scelto nella tabella seguente.

Workload Consigli Guida al deployment dei cluster
Tipo di macchina Orchestratore
Pre-addestramento dei foundation model
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Crea un cluster GKE ottimizzato per l'AI con Cluster Toolkit
Slurm
Addestramento di modelli di grandi dimensioni A3 Ultra (NVIDIA H200 141GB) GKE Crea un cluster GKE ottimizzato per l'AI con Cluster Toolkit
Slurm
Addestramento di modelli di grandi dimensioni
  • A3 Mega (NVIDIA H100 da 80 GB)
  • A3 High (NVIDIA H100 da 80 GB)
 GKE Massimizza la larghezza di banda di rete delle GPU nei cluster in modalità Standard
Slurm

Opzione di consumo consigliata

Per un livello elevato di garanzia nell'ottenere cluster di acceleratori di grandi dimensioni, ti consigliamo di utilizzare una prenotazione. In particolare, per ridurre al minimo i costi delle risorse prenotate, ti consigliamo di richiedere una durata della prenotazione sufficientemente lunga per ricevere sconti per impegno di utilizzo. Per saperne di più sulle opzioni di consumo, consulta Scegli un'opzione di consumo.

Suggerimenti per l'ottimizzazione dei modelli

Per ottimizzare i foundation model di grandi dimensioni, cluster più piccoli di acceleratori leggono volumi moderati di dati. Questi acceleratori adattano il modello per eseguire attività specifiche. Questi job di ottimizzazione vengono eseguiti per giorni o addirittura settimane.

Le sezioni seguenti descrivono gli acceleratori e l'opzione di consumo consigliati da utilizzare durante l'ottimizzazione dei modelli.

Per ottimizzare i modelli su Google Cloud, ti consigliamo di utilizzare i tipi di macchine ottimizzate per l'acceleratore A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) o A3 High (NVIDIA H100 80 GB) e di utilizzare un orchestratore per eseguire il deployment del cluster.

Per eseguire il deployment di questi cluster di acceleratori, ti consigliamo inoltre di utilizzare Cluster Director o Cluster Toolkit. Per ulteriori informazioni, consulta la guida al deployment del cluster corrispondente per il tipo di macchina scelto nella tabella seguente.

Workload Consigli Guida al deployment dei cluster
Tipo di macchina Orchestratore
Ottimizzazione di modelli di grandi dimensioni A3 Ultra (NVIDIA H200 141GB) GKE Crea un cluster GKE ottimizzato per l'AI con Cluster Toolkit
Slurm
Ottimizzazione di modelli di grandi dimensioni
  • A3 Mega (NVIDIA H100 da 80 GB)
  • A3 High (NVIDIA H100 da 80 GB)
 GKE Massimizza la larghezza di banda di rete delle GPU nei cluster in modalità Standard
Slurm

Opzione di consumo consigliata

Per i workload di ottimizzazione, utilizza una prenotazione futura in modalità calendario per eseguire il provisioning delle risorse. Per saperne di più sulle opzioni di consumo, consulta Scegli un'opzione di consumo.

Suggerimenti per l'inferenza

Le sezioni seguenti descrivono gli acceleratori e le opzioni di consumo consigliati da utilizzare durante l'inferenza.

Acceleratori consigliati

Gli acceleratori consigliati per l'inferenza dipendono dal fatto che tu stia eseguendo l'inferenza di modelli di frontiera o di grandi dimensioni multi-host o l'inferenza di frontiera single-host.

Acceleratori consigliati (multi-host)

Per eseguire l'inferenza di modelli di frontiera o di grandi dimensioni su più host su Google Cloud, utilizza i tipi di macchina ottimizzati per l'acceleratore A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) o A3 High (NVIDIA H100 80 GB) ed esegui il deployment delle istanze utilizzando un orchestratore. Per eseguire il deployment di questi cluster di acceleratori, ti consigliamo inoltre di utilizzare Cluster Director o Cluster Toolkit. La tabella fornisce link alle guide al deployment dei cluster per ogni tipo di macchina consigliato.

Workload Consigli Guida al deployment dei cluster
Tipo di macchina Orchestratore
Inferenza di frontiera multi-host
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Crea un cluster GKE ottimizzato per l'AI con Cluster Toolkit
Slurm
Inferenza di modelli di grandi dimensioni A3 Ultra (NVIDIA H200 141GB) GKE Crea un cluster GKE ottimizzato per l'AI con Cluster Toolkit
Slurm
Inferenza di modelli di grandi dimensioni
  • A3 Mega (NVIDIA H100 da 80 GB)
  • A3 High (NVIDIA H100 da 80 GB)
 GKE Massimizza la larghezza di banda di rete delle GPU nei cluster in modalità Standard
Slurm

Acceleratori consigliati (host singolo)

La tabella descrive gli acceleratori che ti consigliamo di utilizzare per eseguire l'inferenza di frontiera su un singolo host. La tabella fornisce i link alle guide al deployment delle VM per ogni tipo di macchina consigliato.

Workload Consigli Guida al deployment delle VM
Tipo di macchina Orchestratore
Inferenza mainstream e all'avanguardia su host singolo
  • A4 (NVIDIA B200)
  • A3 Ultra (NVIDIA H200 141GB)
 N/D Crea un'istanza A4 o A3 Ultra
  • A3 High (NVIDIA H100 da 80 GB)
  • A3 Edge (NVIDIA H100 80GB)
 Crea un'istanza A3 High o A3 Edge
A2 (NVIDIA A100) Crea un'istanza A2
G4 (NVIDIA RTX PRO 6000) Crea un'istanza G4
G2 (NVIDIA L4) Crea un'istanza G2
N1 (NVIDIA T4 o V100) Crea un'istanza N1

Opzione di consumo consigliata

Per l'inferenza, utilizza una prenotazione a lunga durata o una prenotazione futura in modalità calendario. Per saperne di più sulle opzioni di consumo, consulta Scegli un'opzione di consumo.

Suggerimenti per modelli di piccole o medie dimensioni

Per i workload ML che coinvolgono modelli di piccole e medie dimensioni, il raggiungimento di un equilibrio ottimale tra prezzo e prestazioni è una considerazione principale.

Acceleratori consigliati

La tabella seguente descrive gli acceleratori consigliati da utilizzare per i workload ML di modelli di piccole e medie dimensioni.

Workload Consigli Guida al deployment delle VM
Tipo di macchina Orchestratore
ML per modelli di piccole o medie dimensioni A3 Edge (NVIDIA H100 80GB) N/D Crea un'istanza A3 Edge
A2 (NVIDIA A100) Crea un'istanza A2
G4 (NVIDIA RTX PRO 6000) Crea un'istanza G4
G2 (NVIDIA L4) Crea un'istanza G2
N1 (NVIDIA T4 o V100) Crea un'istanza N1

Suggerimenti per l'HPC

Per i workload HPC, qualsiasi serie di macchine ottimizzate per l'acceleratore o serie di macchine ottimizzate per il calcolo è adatta. Se utilizzi una serie di macchine ottimizzate per l'acceleratore, la soluzione migliore dipende dalla quantità di calcoli da trasferire sulla GPU. Per un elenco dettagliato di suggerimenti per i workload HPC, consulta Best practice per l'esecuzione dei workload HPC.

Riepilogo dei consigli

La tabella seguente riassume gli acceleratori e le opzioni di consumo consigliati per ogni workload.

Risorsa Suggerimento
Pre-addestramento del modello
Famiglia di macchine Utilizza uno dei seguenti tipi di macchine ottimizzate per l'acceleratore: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) o A3 High (NVIDIA H100 80 GB)
Opzione di consumo Utilizza le prenotazioni future standard per i blocchi di capacità (per A5X, A4X Max e A4X) o le prenotazioni future standard
Ottimizzazione del modello
Famiglia di macchine Utilizza i tipi di macchina ottimizzati per l'acceleratore A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) o A3 High (NVIDIA H100 80 GB)
Opzione di consumo "Utilizza le prenotazioni future standard
Inferenza
Famiglia di macchine Utilizza uno dei seguenti tipi di macchine: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), A3 High (NVIDIA H100 80 GB), A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) o N1 (NVIDIA T4 o V100)
Opzione di consumo Utilizza prenotazioni, on demand o VM spot (ad eccezione di A5X, A4X Max e A4X, che non supportano VM spot o on demand)
ML per modelli di piccole o medie dimensioni
Famiglia di macchine Utilizza uno dei seguenti tipi di macchine: A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) o N1 (NVIDIA T4 o V100)
Opzione di consumo Utilizza prenotazioni on demand, Spot o standard
Archiviazione Utilizza Cloud Storage FUSE
HPC (computing ad alte prestazioni)
Consulta la sezione di riepilogo delle best practice per l'esecuzione dei workload HPC

Passaggi successivi