TPU v6e

Questo documento descrive l'architettura e le configurazioni supportate di Cloud TPU v6e (Trillium). Su tutte le superfici tecniche, come l'API e i log, e in tutto questo documento, Trillium verrà indicato come v6e.

Con un ingombro di 256 chip per pod, v6e condivide molte somiglianze con v5e. Questo sistema è ottimizzato per l'addestramento, l'ottimizzazione e la distribuzione di Transformer, modelli da testo a immagine e reti neurali convoluzionali (CNN).

Architettura di sistema

Ogni chip v6e contiene un TensorCore. Ogni TensorCore ha due unità di moltiplicazione a matrice (MXU), un'unità vettoriale e un'unità scalare. La tabella seguente mostra le specifiche principali e i relativi valori per TPU v6e.

Specifica Valori
Prestazioni/costo totale di proprietà (TCO) (previsto) 1
Picco di computing per chip (bf16) 918 TFLOP
Calcolo di picco per chip (Int8) 1836 TOPS
Capacità HBM per chip 32 GB
Larghezza di banda HBM per chip 1638 GBps
Larghezza di banda Inter-Chip Interconnect (ICI) bidirezionale (per chip) 800 Gbps
Porte ICI per chip 4
DRAM per host 1536 GiB
Chip per host 8
Dimensioni del pod di TPU 256 chip
Topologia di interconnessione Toroide 2D
Picco di calcolo BF16 per pod 234,9 PFLOP
Larghezza di banda all-reduce per pod 102,4 TB/s
Larghezza di banda bisezionale per pod 3,2 TB/s
Configurazione della NIC per host 4 NIC da 200 Gbps
Larghezza di banda della rete del data center per pod 25,6 Tbps
Funzionalità speciali SparseCore

Configurazioni supportate

La tabella seguente mostra le forme di slice 2D supportate per v6e:

Topologia Chip TPU Hosting VM Tipo di macchina Ambito
1x1 1 1/8 1 ct6e-standard-1t Co-organizzatore
2x2 4 1/2 1 ct6e-standard-4t Sub-host
2x4 8 1 1 ct6e-standard-8t Host singolo
2x4 8 1 2 ct6e-standard-4t Multi-host
4x4 16 2 4 ct6e-standard-4t Multi-host
4x8 32 4 8 ct6e-standard-4t Multi-host
8x8 64 8 16 ct6e-standard-4t Multi-host
8x16 128 16 32 ct6e-standard-4t Multi-host
16x16 256 32 64 ct6e-standard-4t Multi-host

Le sezioni con 8 chip (v6e-8) collegati a una singola VM sono ottimizzate per l'inferenza, consentendo l'utilizzo di tutti gli 8 chip in un singolo workload di distribuzione. Puoi eseguire l'inferenza multi-host utilizzando Pathways su Cloud. Per saperne di più, consulta Esegui l'inferenza multi-host utilizzando Pathways.

Per informazioni sul numero di VM per ogni topologia, consulta Tipi di VM.

Tipi di VM

Ogni VM TPU v6e può contenere 1, 4 o 8 chip. Le sezioni a 4 chip e più piccole hanno lo stesso nodo NUMA (accesso alla memoria non uniforme). Per ulteriori informazioni sui nodi NUMA, consulta Non-uniform memory access su Wikipedia.

Diagramma di un host v6e

Le sezioni v6e vengono create utilizzando VM half-host, ciascuna con 4 chip TPU. Esistono due eccezioni a questa regola:

  • v6e-1: una VM con un solo chip, destinata principalmente ai test
  • v6e-8: una VM full-host ottimizzata per un caso d'uso di inferenza con tutti gli 8 chip collegati a una singola VM.

La tabella seguente mostra un confronto dei tipi di VM TPU v6e:

Tipo di VM Numero di vCPU per VM RAM (GB) per VM Numero di nodi NUMA per VM
VM a 1 chip 44 176 1
VM a 4 chip 180 720 1
VM a 8 chip 360 1440 2

Passaggi successivi