Le GPU cluster, come le serie di macchine A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPU), sono progettate per consentirti di eseguire cluster di intelligenza artificiale (AI) e machine learning (ML) su larga scala e forniscono le seguenti funzionalità di gestione dei cluster:
- Colocation dell'infrastruttura GPU cluster
- Posizionamento sensibile alla topologia del cluster
- Modalità operativa dei cluster
- Pianificazione e controlli della manutenzione dei cluster
- Strumenti di monitoraggio e diagnostica dei cluster
Serie di macchine supportate
Le funzionalità di gestione dei cluster descritte in questa pagina sono disponibili per la serie di macchine GPU cluster, ottimizzate per workload multi-nodo su larga scala.
Queste funzionalità non si applicano alla serie di macchine GPU per uso generico, che è costituita da risorse di computing indipendenti che utilizzano il networking VPC standard e non supportano le modalità operative di manutenzione o la collocazione densa.
La tabella seguente riassume le serie di macchine supportate in AI Hypercomputer:
| Categoria | Serie di macchine | Supporta la gestione dei cluster |
|---|---|---|
| GPU cluster | A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High | Sì |
| GPU generiche | A3 Edge, A2, G2, G4, N1 | No |
Per saperne di più su ogni serie di macchine, consulta Informazioni sugli acceleratori GPU.
La maggior parte delle funzionalità di gestione dei cluster è supportata solo per la capacità con prenotazione, ovvero l'infrastruttura che utilizza il modello di provisioning con prenotazione, che supporta solo i tipi di macchine con GPU cluster. Per la capacità che utilizza qualsiasi altro modello di provisioning, sono disponibili solo le seguenti funzionalità di gestione dei cluster:
- Colocation delle risorse dell'infrastruttura AI
- Posizionamento sensibile alla topologia del cluster
- Gestisci gli eventi sull'host nelle istanze
Colocation dell'infrastruttura GPU cluster
Quando utilizzi GPU cluster, come A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPU), puoi richiedere macchine host di cui Compute Engine esegue il provisioning il più vicino possibile. Queste macchine offrono le seguenti funzionalità:
Compute Engine esegue il provisioning delle macchine come blocchi di risorse.
Un fabric di rete di machine learning (ML) dinamico interconnette le macchine.
Questa disposizione delle risorse riduce al minimo gli hop di rete e ottimizza la latenza di rete più bassa. Per eseguire il deployment di blocchi di macchine ottimizzate per l'acceleratore che Compute Engine alloca in modo denso, puoi utilizzare le seguenti opzioni:
Le risorse devono essere allocate in modo denso tra loro quando esegui una o più delle seguenti operazioni:
Crea risorse che utilizzano la stessa prenotazione futura in AI Hypercomputer o prenotazione futura in modalità calendario.
Esegui il deployment di un gruppo di istanze gestite (MIG) che utilizza richieste di ridimensionamento e crea le risorse nella stessa richiesta.
Specifica che le risorse utilizzano la stessa policy di posizionamento compatto o policy del workload che specifica un valore di distanza massima. In particolare, le risorse devono essere vicine solo in base al valore di distanza massima specificato dalla policy.
Le risorse vengono facoltativamente allocate in modo denso tra loro, in base alla disponibilità best-effort, quando esegui una o più delle seguenti operazioni:
Crea risorse nella stessa richiesta per le VM con avvio flessibile.
Specifica che le risorse utilizzano la stessa policy di posizionamento compatto o policy del workload che non specifica una distanza massima.
Posizionamento basato sulla topologia del cluster
Dopo aver creato le GPU cluster, puoi ottenere informazioni sulla topologia a livello di nodo e cluster. Queste informazioni ti aiutano a:
Modifica il design dell'applicazione o del workload per ridurre ulteriormente la latenza di rete.
Comprendere e risolvere i problemi di latenza e prestazioni di rete per le istanze che comunicano spesso tra loro. Questi problemi possono verificarsi se le istanze si trovano inaspettatamente distanti tra loro.
Nello specifico, il supporto per le funzionalità di topologia è il seguente:
Le informazioni sulla topologia funzionano meglio con la capacità limitata dalla prenotazione, necessaria per visualizzare la topologia di una prenotazione.
Le funzionalità di topologia supportano solo i tipi di macchine che supportano le policy di posizionamento compatto.
Per le VM spot, le informazioni sulla topologia vengono visualizzate solo quando una macchina utilizza una policy di posizionamento compatto.
Per saperne di più, consulta Visualizza la topologia delle istanze di computing.
Modalità operativa dei cluster
Quando prenoti la capacità per creare istanze di computing o cluster utilizzando GPU cluster, il tipo di macchina che prenoti determina la modalità operativa del cluster per le istanze. Questa modalità specifica il comportamento delle istanze dopo errori dell'host o segnalazioni di host difettosi. Le modalità operative disponibili per un'istanza sono la modalità gestita, in cui Compute Engine sostituisce automaticamente le macchine difettose, ma trattiene parte della capacità prenotata per fornire alle istanze le risorse necessarie per il riavvio. In alternativa, puoi scegliere la modalità di capacità totale, in cui hai accesso alla capacità prenotata completa, ma sei responsabile della gestione degli errori e della manutenzione pianificata.
Per saperne di più, consulta Modalità operativa della prenotazione.
Pianificazione e controlli della manutenzione dei cluster
Puoi controllare la manutenzione delle GPU cluster utilizzando la pianificazione basata sulla topologia in un blocco di risorse. Questa funzionalità aiuta a sincronizzare gli upgrade in modo che i workload siano più resilienti agli eventi dell'host e riducano al minimo le interruzioni. Questo approccio contribuisce a migliorare il goodput del tuo workload.
Per facilitare il controllo completo degli eventi di manutenzione, puoi utilizzare le seguenti funzionalità:
Tipo di pianificazione della manutenzione
Quando prenoti la capacità per creare istanze di computing o cluster di GPU cluster, puoi definire in che modo Compute Engine gestisce l'infrastruttura su cui vengono eseguite le istanze. In base al tipo di macchina che vuoi utilizzare per le tue istanze, puoi scegliere tra la manutenzione sincronizzata tra le istanze (raggruppata) o pianificazioni di manutenzione diverse (indipendente).
Per saperne di più, consulta Tipi di pianificazione della manutenzione.
Gestisci gli eventi dell'organizzatore
Dopo aver creato le GPU cluster e avviato il workload, puoi configurare avvisi e ricevere notifiche quando la manutenzione delle istanze o dei blocchi prenotati viene pianificata, avviata o completata. Puoi anche visualizzare e, se necessario, avviare manualmente la manutenzione di un'istanza o di un blocco prenotato prima dell'ora pianificata. Queste opzioni ti aiutano a controllare e ridurre al minimo i tempi di inattività dei tuoi workload in modo proattivo.
Per ulteriori informazioni, consulta le seguenti risorse:
Strumenti di monitoraggio e diagnostica dei cluster
Per il monitoraggio e la risoluzione dei problemi, le GPU cluster includono i seguenti servizi:
Previsione del degrado dell'integrità delle VM, che ti aiuta a identificare le VM che probabilmente subiranno un degrado entro le cinque ore successive.
Segnalazione di host difettosi, che puoi utilizzare per segnalare problemi con singole macchine host.
Supporto delle metriche di Cloud Monitoring, che ti aiutano a monitorare le prestazioni delle reti e delle GPU.