Opzioni di consumo per AI Hypercomputer

AI Hypercomputer offre diverse opzioni di consumo per l'acquisizione di risorse di computing. Queste opzioni rispondono a esigenze quali la durata del workload, la tolleranza di errore e il modello di infrastruttura. Scopri di più su queste opzioni e scegli quella più adatta al tuo caso d'uso.

In alternativa alla valutazione manuale, puoi chiedere a Gemini nella consoleGoogle Cloud di confrontare le opzioni di consumo per il tuo workload e il tuo budget. Per saperne di più, consulta Progetta l'infrastruttura AI con Compute Advisor.

Panoramica delle opzioni di consumo

Per confrontare le opzioni di consumo in base alle caratteristiche principali, utilizza la seguente tabella:

Opzione di consumo Modello di provisioning Ideale per Garanzia di capacità Durata Preemptible Quota Sconti Modello di allocazione
Avvio flessibile Avvio flessibile Workload di breve durata (fino a sette giorni) che possono attendere la capacità. Best effort Fino a sette giorni No Quota preemptible Scontato (fino al 53%) sulle serie supportate Dense per le richieste di ridimensionamento dei MIG; best-effort per le VM autonome.
VM spot Spot Workload GPU generici a tolleranza di errore e di breve durata. Best effort Preemptible Sì Quota preemptible Sconto elevato (fino al 91%) Standard
Prenotazioni standard Standard Workload GPU generali critici che richiedono un livello molto elevato di garanzia della capacità. Molto alta Illimitato No Nessuna quota consumata Tariffe scontate con sconti per impegno di utilizzo (CUD) Standard
Prenotazioni future per blocchi di capacità Con prenotazione Addestramento su larga scala e di lunga durata su GPU cluster. Molto alta Illimitato entro il periodo di prenotazione. No La quota viene aumentata prima della pubblicazione Scontato (fino al 53%) con i CUD Denso
Prenotazioni future in modalità calendario Con prenotazione workload di GPU cluster fino a 90 giorni che richiedono capacità riservata. Molto alta Fino a 90 giorni No Nessuna quota consumata Scontato (fino al 53%) Denso
VM on demand Standard workload GPU generici senza una durata specifica. Best effort Illimitato No Quota on demand Nessuno (pagamento a consumo) Standard

L'opzione di consumo che utilizzi per eseguire il deployment della tua infrastruttura dipende dall'utilizzo di GPU per uso generico o GPU cluster.

  • GPU per uso generico: progettate per workload di inferenza, sviluppo e addestramento su scala ridotta. Questo tipo di GPU offre flessibilità operativa tramite la manutenzione asincrona. Per visualizzare le opzioni disponibili, consulta Opzioni di consumo per GPU generiche.

  • GPU cluster: progettata per workload di addestramento su larga scala e con alto accoppiamento e workload di inferenza, RL e modelli di ragionamento su larga scala che richiedono un'elevata garanzia di capacità e un'allocazione densa delle risorse per ridurre al minimo la latenza di rete. Per visualizzare le opzioni disponibili, consulta Opzioni di consumo per GPU cluster.

Opzioni di consumo per le GPU generiche

Utilizza le seguenti opzioni di consumo per acquisire capacità per la GPU generica.

Usa avvio flessibile

Per eseguire workload di breve durata che richiedono un'allocazione densa delle risorse, puoi richiedere risorse di computing per un massimo di sette giorni utilizzando l'avvio flessibile. Ogni volta che le risorse sono disponibili, Compute Engine crea il numero di VM richiesto. Puoi arrestare le VM Flex-start autonome, ma non quelle create da un gruppo di istanze gestite (MIG) tramite richieste di ridimensionamento. Le VM Flex-start esistono fino a quando non le elimini o fino a quando Compute Engine non le elimina al termine della loro durata di esecuzione.

Workload ideali

  • Pre-addestramento di modelli di piccole dimensioni
  • Ottimizzazione del modello
  • Simulazione di computing ad alte prestazioni (HPC)
  • Inferenza batch

Caratteristiche principali

  • Modello di provisioning: avvio flessibile.
  • Ampio supporto hardware: richiedi qualsiasi tipo di macchina con GPU cluster, ad eccezione di A5X, A4X Max e A4X.
  • Ottimizzazione della latenza: applica una policy di posizionamento compatto alle VM autonome per ridurre al minimo la latenza di rete.
  • Efficienza dei costi: ricevi uno sconto fino al 53% su vCPU, memoria, GPU e dischi SSD locali per le serie di macchine A4, A3, A2 e G4. Per le altre serie supportate si applicano le tariffe on demand standard. Per saperne di più, consulta Prezzi con avvio flessibile.

Usa Spot

Per eseguire workload a tolleranza di errore, puoi ottenere immediatamente risorse di computing in base alla disponibilità. Ottieni risorse al prezzo più basso possibile. Tuttavia, Compute Engine può prerilasciare le VM in qualsiasi momento per recuperare capacità.

Workload ideali

  • Elaborazione batch e analisi dei dati
  • Computing ad alte prestazioni (HPC) e codifica multimediale

Caratteristiche principali

  • Modello di provisioning: Spot.
  • Ampio supporto hardware: richiedi qualsiasi tipo di macchina con GPU cluster, ad eccezione di A5X, A4X Max e A4X.
  • Ottimizzazione della latenza: applica una policy di posizionamento compatto alle VM autonome per ridurre al minimo la latenza di rete.
  • Efficienza dei costi: ricevi uno sconto fino al 91% su vCPU, memoria, GPU e dischi SSD locali.

Utilizza on demand

Suggerimento: per aumentare le possibilità di ottenere capacità GPU generica, utilizza l'avvio flessibile o Spot. Queste opzioni di consumo offrono GPU a un prezzo scontato rispetto ai prezzi on demand e sono state progettate per aiutarti ad aumentare le probabilità di ottenere risorse molto richieste come le GPU.

Per eseguire workload senza una durata specifica, puoi ottenere immediatamente risorse di computing in base alla disponibilità. Le VM vengono eseguite finché non le arresti o le elimini.

Workload ideali

  • Inferenza ed erogazione del modello
  • Prototipazione e sperimentazione

Caratteristiche principali

  • Modello di provisioning: Standard.
  • Disponibilità immediata: crea istanze VM immediatamente senza attendere la pianificazione o l'approvazione della capacità.
  • Prezzi standard: paga per le risorse alle tariffe on demand standard senza impegni a lungo termine.
  • Ampio supporto hardware: utilizzabile con qualsiasi serie di macchine GPU supportata nel percorso GPU generale.

Utilizza le prenotazioni standard

Per eseguire workload GPU generali critici che richiedono un livello di garanzia molto elevato per la capacità, puoi utilizzare le prenotazioni standard.

Workload ideali

  • Workload di produzione critici
  • Workload che richiedono capacità assicurata

Caratteristiche principali

  • Modello di provisioning: Standard.
  • Garanzia della capacità: fornisce una garanzia molto elevata della disponibilità delle risorse.
  • Prezzi: si applicano le tariffe standard, ma puoi usufruire degli sconti per impegno di utilizzo (CUD) per risparmiare.

Opzioni di consumo per GPU cluster

Utilizza le seguenti opzioni di consumo per acquisire capacità per le GPU clusterizzate.

Utilizza le prenotazioni future per i blocchi di capacità

Per eseguire workload distribuiti su larga scala e di lunga durata che richiedono risorse allocate in modo denso, puoi richiedere risorse di computing allocate in modo denso per una data e un'ora future. Durante questo periodo di tempo, hai l'accesso esclusivo alle risorse prenotate e puoi utilizzarle per creare VM o cluster. Al termine del periodo di prenotazione, Compute Engine esegue le seguenti azioni:

  • Compute Engine elimina la prenotazione e l'eventuale pool di archiviazione vuoto associato.
  • In base all'azione di terminazione specificata per le VM, Compute Engine arresta o elimina le VM che utilizzano la prenotazione.

Workload ideali

  • Pre-addestramento dei foundation model
  • Inferenza per i foundation model su più host

Caratteristiche principali

  • Modello di provisioning: Con prenotazione.
  • Supporto di macchine premium: prenota i tipi di macchine A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega o A3 High (8 GPU).
  • Prenotazioni Hyperdisk: puoi prenotare un pool di archiviazione Hyperdisk o un Hyperdisk Exapool insieme alla capacità di calcolo per garantire che i tuoi workload dispongano di risorse di archiviazione sufficienti. Google colloca i pool Hyperdisk nella stessa posizione dei nodi di computing per ottimizzare le prestazioni di archiviazione.
  • Requisiti di impegno: allega un impegno basato sulle risorse per prenotazioni di un anno o più per ricevere sconti sulle risorse di computing e sui pool Hyperdisk.
  • Modifiche dinamiche: attiva le notifiche di manutenzione di emergenza dell'hardware per l'utilizzo dei job Vertex AI dopo l'inizio del periodo.

Utilizza le prenotazioni future in modalità calendario

Per eseguire workload distribuiti di breve durata che richiedono un'allocazione densa delle risorse, puoi richiedere risorse di computing per un massimo di 90 giorni. Durante questo periodo, hai l'accesso esclusivo alle risorse prenotate e puoi utilizzarle per creare VM o cluster. Al termine del periodo di prenotazione, Compute Engine esegue le seguenti operazioni:

  • Compute Engine elimina la prenotazione.
  • In base all'azione di terminazione specificata per le VM, Compute Engine arresta o elimina le VM che utilizzano la prenotazione.

Workload ideali

  • Pre-addestramento e ottimizzazione
  • Simulazioni e inferenza su larga scala

Caratteristiche principali

  • Modello di provisioning: con prenotazione.
  • Supporto delle serie di macchine: prenota i tipi di macchine A4, A3 Ultra, A3 Mega o A3 High (8 GPU).
  • Limiti di scalabilità: prenota fino a 80 VM per un massimo di 90 giorni.
  • Provisioning ottimizzato: utilizza un modello limitato dalla prenotazione per aumentare le tue possibilità di ottenere GPU.

Usa avvio flessibile

Utilizza l'avvio flessibile per le richieste di ridimensionamento dei gruppo di istanze gestite (MIG) in cluster quando hai bisogno di risorse allocate in modo denso per un massimo di sette giorni.

Workload ideali

Le VM con avvio flessibile sono ideali per l'esecuzione di workload che possono essere avviati in qualsiasi momento, ad esempio:

  • Pre-addestramento di modelli di piccole dimensioni
  • Ottimizzazione del modello
  • Simulazione di computing ad alte prestazioni (HPC)
  • Inferenza batch

Caratteristiche principali

  • Modello di provisioning: avvio flessibile.
  • Allocazione delle risorse: allocazione densa per le richieste di ridimensionamento dei MIG.
  • Efficienza dei costi: ricevi uno sconto fino al 53% su vCPU, memoria, GPU e su eventuali dischi SSD locali collegati per le serie di macchine A4, A3, A2 e G4. Per le altre serie di macchine supportate si applicano le tariffe on demand standard.

Usa Spot

Puoi utilizzare le VM spot per workload a tolleranza di errore con allocazione densa per ottenere sconti significativi, tenendo presente che Compute Engine può prerilasciare le VM per recuperare capacità.

Workload ideali

  • Addestramento distribuito a tolleranza di errore
  • Elaborazione batch

Caratteristiche principali

  • Modello di provisioning: Spot.
  • Prerilascio: Compute Engine può prerilasciare le istanze in qualsiasi momento.
  • Efficienza dei costi: ricevi uno sconto fino al 91% su vCPU, memoria, GPU e su tutti i dischi SSD locali collegati

Passaggi successivi