TPU v5e
Questo documento descrive l'architettura e le configurazioni supportate di Cloud TPU v5e.
TPU v5e supporta l'addestramento single-host e multi-host e l'inferenza single-host. L'inferenza multi-host è supportata utilizzando Sax. Per saperne di più, consulta Inferenza di Cloud TPU.
Architettura di sistema
Ogni chip v5e contiene un TensorCore. Ogni TensorCore ha quattro unità di moltiplicazione a matrice (MXU), un'unità vettoriale e un'unità scalare.
Il seguente diagramma illustra un chip TPU v5e.
La tabella seguente mostra le specifiche principali e i relativi valori per v5e.
| Specifica | Valori |
|---|---|
| Prestazioni/costo totale di proprietà (TCO) (previsto) | 0,65x |
| Picco di computing per chip (bf16) | 197 TFLOPS |
| Calcolo di picco per chip (Int8) | 393 TOPS |
| Capacità HBM per chip | 16 GB |
| Larghezza di banda HBM per chip | 800 GiBps |
| Larghezza di banda Inter-Chip Interconnect (ICI) bidirezionale (per chip) | 400 Gbps |
| Porte ICI per chip | 4 |
| DRAM per host | 512 GiB |
| Chip per host | 8 |
| Dimensioni del pod di TPU | 256 chip |
| Topologia di interconnessione | Toroide 2D |
| Picco di calcolo BF16 per pod | 50,63 PFLOP |
| Larghezza di banda all-reduce per pod | 51,2 TB/s |
| Larghezza di banda bisezionale per pod | 1,6 TB/s |
| Configurazione della NIC per host | NIC 2 x 100 Gbps |
| Larghezza di banda della rete del data center per pod | 6,4 Tbps |
| Picco di computing per pod | 100 PetaOps (Int8) |
Configurazioni
Cloud TPU v5e è un prodotto combinato di addestramento e inferenza (disponibilità). I job di addestramento sono ottimizzati per il throughput e la disponibilità, mentre i job di distribuzione sono ottimizzati per la latenza. Un job di addestramento su TPU di cui è stato eseguito il provisioning per la distribuzione potrebbe avere una disponibilità inferiore e, analogamente, un job di distribuzione eseguito su TPU di cui è stato eseguito il provisioning per l'addestramento potrebbe avere una latenza più elevata.
Per v5e sono supportate le seguenti forme di sezioni 2D:
| Topologia | Numero di chip TPU | Numero di host |
|---|---|---|
| 1x1 | 1 | 1/8 |
| 2x2 | 4 | 1/2 |
| 2x4 | 8 | 1 |
| 4x4 | 16 | 2 |
| 4x8 | 32 | 4 |
| 8x8 | 64 | 8 |
| 8x16 | 128 | 16 |
| 16x16 | 256 | 32 |
Tipi di VM
Ogni VM TPU in una sezione TPU v5e contiene 1, 4 o 8 chip. In sezioni a 4 chip e più piccole, tutti i chip TPU condividono lo stesso nodo NUMA (accesso alla memoria non uniforme).
Per le VM TPU v5e a 8 chip, la comunicazione CPU-TPU sarà più efficiente all'interno delle partizioni NUMA. Ad esempio, nella figura seguente, la comunicazione CPU0-Chip0 sarà più veloce della comunicazione CPU0-Chip4.
La tabella seguente mostra un confronto dei tipi di VM TPU v5e:
| Tipo di VM | Tipo di macchina | Numero di vCPU per VM | RAM (GB) per VM | Numero di nodi NUMA per VM |
|---|---|---|---|---|
| VM a 1 chip | ct5lp-hightpu-1t |
24 | 48 | 1 |
| VM a 4 chip | ct5lp-hightpu-4t |
112 | 192 | 1 |
| VM a 8 chip | ct5lp-hightpu-8t |
224 | 384 | 2 |
Tipi di Cloud TPU v5e per la distribuzione
La distribuzione su un singolo host è supportata per un massimo di 8 chip v5e. Sono supportate le seguenti configurazioni: sezioni 1x1, 2x2 e 2x4. Ogni sezione ha rispettivamente 1, 4 e 8 chip.
Per eseguire il provisioning delle TPU per un job di distribuzione, utilizza una delle seguenti dimensioni di sezione TPU nella richiesta di creazione della TPU tramite l'interfaccia a riga di comando o l'API:
| Numero di chip TPU | Tipo di macchina |
|---|---|
1 |
ct5lp-hightpu-1t |
4 |
ct5lp-hightpu-4t |
8 |
ct5lp-hightpu-8t |
Per saperne di più sulla gestione delle TPU, consulta Gestisci le TPU. Per saperne di più sull'architettura di sistema di Cloud TPU, consulta Architettura di sistema.
La gestione su più di 8 chip v5e, chiamata anche gestione multi-host, è supportata utilizzando Sax. Per saperne di più, consulta Inferenza di Cloud TPU.
Tipi di Cloud TPU v5e per l'addestramento
L'addestramento è supportato per un massimo di 256 chip.
Per eseguire il provisioning delle TPU per un job di addestramento v5e, utilizza una delle seguenti dimensioni di sezione TPU nella richiesta di creazione della TPU tramite l'interfaccia a riga di comando o l'API:
| Numero di chip TPU | Tipo di macchina | Topologia |
|---|---|---|
16 |
ct5lp-hightpu-4t |
4x4 |
32 |
ct5lp-hightpu-4t |
4x8 |
64 |
ct5lp-hightpu-4t |
8x8 |
128 |
ct5lp-hightpu-4t |
8x16 |
256 |
ct5lp-hightpu-4t |
16x16 |
Per saperne di più sulla gestione delle TPU, consulta Gestisci le TPU. Per saperne di più sull'architettura di sistema di Cloud TPU, consulta Architettura di sistema.