Panoramica della capacità

GPU generiche GPU clusterizzate

AI Hypercomputer supporta diverse opzioni di consumo per aiutarti a ottenere e utilizzare le risorse di computing. Questo documento fornisce una panoramica di come ottenere la capacità per ogni opzione di consumo.

Come ottenere capacità

Se vuoi un'assistenza basata sull'AI per valutare le opzioni di acquisizione della capacità e i requisiti di quota, esegui il seguente prompt in Compute Advisor:

agent_mode_2 Compute Advisor Compute Advisor è un assistente basato sull'AI che puoi utilizzare per ricevere suggerimenti personalizzati per la tua infrastruttura in base a informazioni quali i limiti di quota, le prenotazioni esistenti e i vincoli di località delle risorse.

Questo prompt valuta le quote e le prenotazioni esistenti del progetto, confronta i passaggi di acquisizione della capacità tra le opzioni di consumo e genera una tabella Markdown con le azioni consigliate per quote e prenotazioni.

Sei un architetto di infrastrutture AI. Aiutami a ottenere capacità di computing in AI Hypercomputer in base alle quote, alle prenotazioni attive e alle regioni disponibili del mio progetto.

Fornisci quanto segue:

1. Controllo delle quote e delle prenotazioni del progetto: esamina le quote di GPU standard e preemptible del mio progetto e le prenotazioni attive nelle regioni e identifica quali serie di macchine GPU hanno quote disponibili o prenotazioni attive rispetto a quelle che richiedono un aumento della quota o una prenotazione.

2. Confronto dell'acquisizione della capacità: confronta le opzioni di consumo attuali e disponibili in AI Hypercomputer e le loro caratteristiche specifiche, inclusi i livelli di GPU supportati (GPU cluster e GPU generiche), i tipi di quota richiesti, i tempi di risposta e i modelli di fatturazione, in base al mio progetto e alla serie di macchine delle mie VM.

3. Percorso di acquisizione consigliato: consiglia il percorso di acquisizione della capacità migliore per workload GPU cluster di lunga durata, job prenotati a medio termine, job densi di breve durata e deployment GPU generali.

Formatta il confronto come una tabella Markdown (con colonne per Opzione di consumo, GPU supportate, Quota richiesta e Modello di fatturazione), fornisci un comando gcloud CLI pronto all'uso per prenotare la capacità o creare istanze e termina con 2-3 domande sulla serie di GPU target, sul numero di nodi e sulla durata per perfezionare il piano d'azione.

Act as an AI infrastructure architect. Help me obtain compute capacity in AI Hypercomputer based on my project's quotas, active reservations, and available regions.

Provide the following:

1. Project quota and reservation audit: Inspect my project's standard and preemptible GPU quotas and active reservations across regions, and identify which GPU machine series have available quota or active reservations compared to those that require a quota increase or reservation.

2. Capacity acquisition comparison: Compare current and available consumption options in AI Hypercomputer and their specific characteristics—including supported GPU tiers (clustered GPUs and general GPUs), required quota types, lead times, and billing models—based on my project and the machine series of my VMs.

3. Recommended acquisition path: Recommend the best capacity acquisition path for long-running clustered GPU workloads, medium-term reserved jobs, short-lived dense jobs, and general GPU deployments.

Format the comparison as a Markdown table (with columns for Consumption Option, Supported GPUs, Required Quota, and Billing Model), provide a ready-to-use gcloud CLI command to reserve capacity or create instances, and end with 2-3 questions about my target GPU series, node count, and duration to refine the action plan.

Modifica ed esegui il prompt in Compute Advisor

La tabella seguente descrive come ottenere la capacità per ogni opzione di consumo.

Opzione di consumo	Procedura per ottenere capacità	Implicazioni sui prezzi
Prenotazioni future per più di 90 giorni (per i blocchi di capacità)	Per ottenere risorse di prenotazione futura, la procedura è la seguente: Contatta il team dedicato all'account per prenotare la capacità. Puoi richiedere solo istanze di computing. Se i tuoi workload richiedono spazio di archiviazione, puoi anche richiedere un pool Hyperdisk con le tue istanze di computing. Google aumenta la quota, quindi esegue il provisioning delle risorse richieste alla data e all'ora specificate. Quando crei un'istanza o un cluster Compute Engine, specifica il modello di provisioning e le proprietà con prenotazione che corrispondono alle risorse prenotate. Compute Engine esegue il provisioning delle istanze di computing e dei cluster utilizzando la capacità prenotata.	Paghi per l'intero periodo di prenotazione, indipendentemente dal fatto che utilizzi o meno le risorse prenotate. Per saperne di più, consulta i prezzi per prenotazioni e pool di archiviazione.
Prenotazioni future fino a 90 giorni (in modalità calendario)	Per ottenere risorse di prenotazione futura, la procedura è la seguente: Cerca la capacità disponibile e prenota le risorse. Non viene addebitata alcuna quota e non è richiesto alcun intervento da parte tua. Quando crei un'istanza o un cluster di computing, devi specificare il modello di provisioning con prenotazione. Il provisioning delle istanze e dei cluster di computing viene eseguito dalla tua capacità prenotata.	Ti verrà addebitato l'intero periodo di prenotazione, indipendentemente dal fatto che tu utilizzi o meno le risorse prenotate per l'intero periodo. Per ulteriori informazioni, consulta la pagina Prezzi di Dynamic Workload Scheduler.
Avvio flessibile	Per questa opzione di consumo, non è richiesta alcuna prenotazione. Per ottenere risorse con avvio flessibile, la procedura è la seguente: Devi richiedere una quota preemptible per il tipo di macchina GPU che vuoi utilizzare. Quando crei istanze o cluster di computing utilizzando una delle seguenti opzioni, specifica il modello di provisioning con avvio flessibile: Crea un'istanza di macchina virtuale (VM) autonoma Crea MIG con richieste di ridimensionamento Crea cluster Slurm: Crea un cluster completamente gestito Crea un cluster autogestito Crea cluster GKE: Crea un cluster GKE ottimizzato per l'AI con Cluster Toolkit Crea un cluster GKE ottimizzato per l'AI che utilizza A4 o A3 Ultra Quando le risorse richieste diventano disponibili, Compute Engine esegue il provisioning delle VM. Le VM vengono eseguite per un massimo di sette giorni.	Ti vengono addebitati i costi quando le risorse sono in uso. Le risorse di cui viene eseguito il provisioning utilizzando l'avvio flessibile ricevono automaticamente sconti tramite i prezzi di Dynamic Workload Scheduler.
On demand	Per questa opzione di consumo, la prenotazione della capacità è facoltativa. Le risorse on demand sono disponibili solo per le GPU generiche (come N1, G2, G4, A2 o A3 Edge). Per ottenere queste risorse on demand, la procedura è la seguente: Richiedi una quota di GPU standard per il tipo di macchina che vuoi utilizzare. Per saperne di più, consulta Richiedi un aumento della quota. Verifica la disponibilità controllando le regioni preferite per il tuo hardware nell'elenco Disponibilità delle GPU per regioni e zone di Compute Engine. Crea un'istanza di computing o un cluster e specifica il modello di provisioning standard. Il provisioning delle risorse viene eseguito immediatamente in base alla capacità disponibile. Nota: per aumentare le possibilità di ottenere una capacità GPU generale, ti consigliamo di utilizzare l'avvio flessibile. L'opzione di consumo con avvio flessibile è stata progettata specificamente per aiutarti a ottenere risorse molto richieste, come le GPU, a un prezzo scontato.	Durante l'utilizzo delle risorse, vengono applicate le tariffe on demand standard.
Prenotazioni on demand	Le prenotazioni on demand (a volte chiamate prenotazioni) sono disponibili solo per le GPU generiche (come G2, G4, A2 o A3 Edge). Per prenotare la capacità, la procedura è la seguente: Richiedi una quota di GPU standard per il tuo tipo di macchina. Per maggiori dettagli, consulta Richiedi un aumento della quota. Crea una prenotazione on demand per il tipo di VM e GPU specifico utilizzando la console Google Cloud , gcloud CLI o altri metodi. Per informazioni dettagliate su tutti i metodi per creare prenotazioni, vedi Crea una prenotazione per un singolo progetto. Esegui il provisioning delle risorse creando un'istanza o un cluster e scegliendo come target la tua prenotazione specifica.	Le tariffe standard si applicano all'intero periodo di prenotazione. Applica gli sconti per impegno di utilizzo (CUD) per ottenere risparmi significativi.
Prenotazioni future standard	Per questa opzione di consumo, prenoti la capacità per una data futura. Le prenotazioni future standard utilizzano il modello di provisioning standard e sono disponibili solo per le GPU per uso generico. Richiedi una quota di GPU standard per il tuo tipo di macchina. Per maggiori dettagli, consulta Richiedi un aumento della quota. Crea una richiesta di prenotazione futura per il tipo di VM e GPU specifico. Quando la prenotazione raggiunge l'ora di inizio, crea istanze di computing utilizzando la capacità prenotata. Attenzione: devi disporre di una quota sufficiente per le risorse richieste sia quando invii la richiesta di prenotazione a Google Cloud per la revisione, sia quando la richiesta raggiunge l'ora di inizio dopo l'approvazione. Se non hai quota sufficiente, Google Cloud potrebbe rifiutare la tua richiesta o eseguire il provisioning solo di una parte delle risorse richieste all'ora di inizio.	Le tariffe standard si applicano all'intero periodo di prenotazione. Applica gli sconti per impegno di utilizzo (CUD) per ottenere risparmi significativi.
Spot	Per questa opzione di consumo, non è richiesta alcuna prenotazione. Per ottenere risorse Spot, la procedura è la seguente: Devi richiedere una quota preemptible per il tipo di macchina GPU che vuoi utilizzare. Visualizza la disponibilità delle risorse nella regione o nella zona in cui vuoi creare istanze di computing. Quando crei un'istanza o un cluster di computing, specifica il modello di provisioning spot. Le risorse vengono sottoposte a provisioning man mano che la capacità diventa disponibile, ma possono essere prerilasciate in qualsiasi momento.	Ti vengono addebitati i costi quando le risorse sono in uso. Le VM spot ricevono automaticamente sconti tramite Prezzi di VM spot.

Passaggi successivi

• Per esaminare le opzioni disponibili per l'utilizzo delle risorse, consulta Modelli di consumo.
• Per eseguire il deployment dell'infrastruttura, consulta Crea un'istanza o un cluster Compute Engine.
• Per prenotare risorse per i tuoi workload, consulta Prenota capacità.
• Per verificare dove sono disponibili GPU specifiche, consulta Disponibilità delle GPU per regione e zona.