Terminologia

I seguenti termini si applicano ad AI Hypercomputer.

Accelerator
Un dispositivo hardware specializzato, come una GPU o una TPU, progettato per eseguire attività specifiche, come i carichi di lavoro di machine learning, in modo più efficiente rispetto a un processore per uso generico.

Block
Una raccolta di sottoblocchi interconnessi da una rete non bloccante ad alta velocità che fornisce una larghezza di banda elevata per tutte le macchine host nel blocco.

Cluster
Una raccolta di blocchi interconnessi da una struttura di rete ad alta velocità. Ogni cluster è univoco a livello globale. Per le macchine A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPU), un cluster fornisce una struttura di rete comune e non bloccante per i blocchi di capacità dell'acceleratore. All'interno di un cluster, la comunicazione tra i nodi (traffico est-ovest) non è bloccante per l'intera raccolta di blocchi.

Clustered GPU
Una categoria di famiglie di macchine per GPU, tra cui A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPU). Le GPU in cluster consentono ai team di eseguire il deployment e scalare migliaia di acceleratori interconnessi come un unico sistema strettamente accoppiato utilizzando strutture di rete specializzate e manutenzione sincronizzata. Sono ideali per i carichi di lavoro che richiedono sincronizzazione di calcolo, memoria e rete ad alta velocità estreme. I casi d'uso comuni includono il pre-addestramento di modelli di base con trilioni di parametri, il serving di modelli di frontiera e le simulazioni per la scoperta di farmaci.

Emergent maintenance
A volte indicato come manutenzione di emergenza. Un evento di manutenzione non pianificato causato da un problema critico di hardware, software o sicurezza. Per i tipi di macchine con acceleratore supportati, la manutenzione di emergenza fornisce una notifica anticipata anziché un'interruzione immediata. Questa notifica ti dà il tempo di svuotare con garbo i carichi di lavoro e, facoltativamente, di attivare la riparazione prima che il sistema termini le VM.

General GPU
Una categoria di famiglie di macchine con GPU, tra cui G2, G4, A2, N1+T4 e A3 Edge. Le GPU di uso generale consentono ai team di eseguire il deployment e scalare gli acceleratori NVIDIA con completa autonomia operativa, bypassando la complessità architetturale dei cluster di supercomputer coordinati. Sono ideali per i carichi di lavoro che danno la priorità ad alta affidabilità, provisioning self-service e scalabilità indipendente. I casi d'uso comuni includono l'inferenza in tempo reale, RAG, la prototipazione e l'addestramento di modelli di piccole e medie dimensioni.

Network fabric
Infrastruttura di rete ad alta velocità che fornisce larghezza di banda elevata e bassa latenza in tutti i blocchi e i Google Cloud servizi di un cluster. La struttura utilizza l'architettura della Jupiter. Per ottimizzare le prestazioni, la struttura utilizza la rete definita dal software e gli switch ottici.

Node or host
Una singola macchina server fisica nel data center. Ogni host ha risorse di calcolo associate, come gli acceleratori. Il numero e la configurazione di queste risorse di calcolo dipendono dalla famiglia di macchine. Le istanze di Compute Engine vengono sottoposte a provisioning su un host fisico.

Un dominio NVLink, chiamato anche sottoblocco, è l'unità di capacità principale per le macchine A4X Max e A4X. Un dominio NVLink è costituito da 18 istanze A4X Max o A4X (72 GPU) collegate da un sistema NVLink multi-nodo.

Sub-block
Un gruppo di host e hardware di connettività associato che si trovano su un singolo blocco fisico. Nel contesto delle macchine A4X Max e A4X, un sottoblocco è chiamato anche dominio NVLink.

Superblock
Un raggruppamento fisico di macchine interconnesse all'interno dei data center. Inserendo le macchine all'interno di un superblocco, ottieni la velocità effettiva di rete estrema e la latenza inferiore al millisecondo necessarie per eseguire carichi di lavoro di addestramento strettamente accoppiati.

Ulteriori informazioni

I seguenti documenti forniscono ulteriori spiegazioni delle terminologie pertinenti agli argomenti corrispondenti: