Terminologia

I seguenti termini si applicano ad AI Hypercomputer.

Acceleratore
Un dispositivo hardware specializzato, come una GPU o una TPU, progettato per eseguire attività specifiche, come i workload di machine learning, in modo più efficiente rispetto a un processore per uso generico.

Blocca
Una raccolta di sottoblocchi interconnessi da una rete non bloccante ad alta velocità che fornisce una larghezza di banda elevata per tutte le macchine host nel blocco.

Cluster
Una raccolta di blocchi interconnessi da un'infrastruttura di rete ad alta velocità. Ogni cluster è univoco a livello globale. Per le macchine A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPU), un cluster fornisce un fabric di rete comune e non bloccante per i blocchi di capacità dell'acceleratore. All'interno di un cluster, la comunicazione tra nodi (traffico est-ovest) non è bloccante per l'intera raccolta di blocchi.

GPU cluster
Una categoria di famiglie di macchine per GPU, tra cui A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPU). Le GPU clusterizzate consentono ai team di eseguire il deployment e scalare migliaia di acceleratori interconnessi come un unico sistema ad alto accoppiamento utilizzando fabric di networking specializzati e manutenzione sincronizzata. Sono ideali per workload che richiedono sincronizzazione estrema di calcolo, memoria e networking ad alta velocità. I casi d'uso comuni includono il pre-addestramento di foundation model con trilioni di parametri, l'erogazione di modelli pionieristici e le simulazioni per la scoperta di farmaci.

Manutenzione di emergenza
A volte viene definita manutenzione di emergenza. Un evento di manutenzione non pianificato causato da un problema critico di hardware, software o sicurezza. Per i tipi di macchina con acceleratore supportati, la manutenzione di emergenza fornisce una notifica di preavviso anziché un'interruzione immediata. Questa notifica ti dà il tempo di svuotare i workload in modo controllato e, facoltativamente, di attivare la riparazione prima che il sistema termini le VM.

GPU generica
Una categoria di famiglie di macchine GPU, tra cui G2, G4, A2, N1+T4 e A3 Edge. Le GPU per uso generico consentono ai team di eseguire il deployment e scalare gli acceleratori NVIDIA con una completa autonomia operativa, bypassando la complessità architetturale dei cluster di supercomputing coordinati. Sono ideali per i workload che danno priorità ad alta affidabilità, provisioning self-service e scalabilità indipendente. I casi d'uso comuni includono l'inferenza in tempo reale, la RAG, la prototipazione e l'addestramento di modelli di piccole e medie dimensioni.

Infrastruttura di rete
Infrastruttura di rete ad alta velocità che fornisce larghezza di banda elevata e bassa latenza in tutti i blocchi e i servizi Google Cloud di un cluster. La struttura utilizza l'architettura della rete Jupiter. Per ottimizzare le prestazioni, l'infrastruttura utilizza una rete software-defined e switch ottici.

Nodo o host
Un singolo server fisico nel data center. A ogni host sono associate risorse di computing, come gli acceleratori. Il numero e la configurazione di queste risorse di computing dipendono dalla famiglia di macchine. Il provisioning delle istanze di Compute Engine viene eseguito su un host fisico.

Un dominio NVLink, noto anche come sottoblocco, è l'unità di capacità principale per le macchine A5X, A4X Max e A4X. Un dominio NVLink è composto da 18 istanze A5X, A4X Max o A4X (72 GPU) collegate da un sistema NVLink multinodo.

Blocco secondario
Un gruppo di host e hardware di connettività associato che si trovano su un singolo blocco fisico. Nel contesto delle macchine A5X, A4X Max e A4X, un blocco secondario è anche chiamato dominio NVLink.

Superblock
Un raggruppamento fisico di macchine interconnesse all'interno dei data center. Posizionando le macchine all'interno di un superblocco, ottieni il throughput di rete estremo e la latenza inferiore al millisecondo necessari per eseguire workload di addestramento ad alto accoppiamento.

Ulteriori informazioni

I seguenti documenti forniscono ulteriori spiegazioni delle terminologie pertinenti agli argomenti corrispondenti: