TPU v5p

Questo documento descrive l'architettura e le configurazioni supportate di Cloud TPU v5p.

Architettura di sistema

Questa sezione descrive l'architettura di sistema specifica per la versione v5p. Ogni TensorCore ha quattro unità di moltiplicazione a matrice (MXU), un'unità vettoriale e un'unità scalare.

Un pod v5p contiene 8960 chip. Il job più grande che può essere pianificato è un job con 96 cubi (6144 chip).

La tabella seguente mostra le specifiche principali di TPU v5p.

Specifica	Valori
Numero di chip per pod	8960
Picco di computing per chip (BF16) (TFLOP)	459
Calcolo di picco per chip (FP8) (TFLOP)	459
Capacità HBM per chip (GiB)	95
Larghezza di banda HBM per chip (GBps)	2765
Numero di vCPU (VM a 4 chip)	208
RAM (GB) (VM a 4 chip)	448
Numero di TensorCore per chip	2
Numero di SparseCore per chip	4
Larghezza di banda Inter-Chip Interconnect (ICI) bidirezionale per chip (GBps)	1200
Larghezza di banda della rete del data center (DCN) per chip (Gbps)	50
Topologia di interconnessione	Toroide 3D *

Ogni chip TPU v5p ha 96 GiB di memoria ad alta larghezza di banda (HBM) fisica. La tabella precedente elenca 95 GiB per tenere conto della memoria HBM che il sistema TPU e il runtime libtpu riservano per l'affidabilità e l'overhead di runtime. Strumenti e framework come tpu-info, JAX e PyTorch segnalano l'HBM allocabile dall'utente anziché la capacità fisica nominale di 96 GiB.

Importante: tutte le sezioni 4x4x4 e più grandi (un cubo) hanno una connettività toroidale 3D completa. Le sezioni più piccole di un cubo intero sono connesse in 3D, ma non hanno link di avvolgimento che le rendono un toro 3D.

Configurazioni

Nota: utilizza il visualizzatore della topologia TPU per visualizzare i rendering 3D di diverse configurazioni TPU.

Un pod TPU v5p è composto da 8960 chip interconnessi con link ad alta velocità riconfigurabili. Il networking flessibile di TPU v5p ti consente di connettere i chip in una sezione della stessa dimensione in diversi modi.

La tabella seguente mostra le forme single-slice più comuni supportate con v5p, oltre alla maggior parte (ma non tutte) delle forme full-cube superiori a 1 cubo. La forma v5p massima è 16x16x24 (6144 chip, 96 cubi).

Nota: Tutte le topologie v5p TPU utilizzano il tipo di macchina ct5p-hightpu-4t.

Topologia	Core	Chip	Hosting	Cubes	Tipo di macchina	Supporta Twisted?
2x2x1	8	4	1	N/D	ct5p-hightpu-4t	N/D
2x2x2	16	8	2	N/D	ct5p-hightpu-4t	N/D
2x4x4	64	32	8	N/D	ct5p-hightpu-4t	N/D
4x4x4	128	64	16	1	ct5p-hightpu-4t	N/D
4x4x8	256	128	32	2	ct5p-hightpu-4t	Sì
4x8x8	512	256	64	4	ct5p-hightpu-4t	Sì
8x8x8	1024	512	128	8	ct5p-hightpu-4t	N/D
8x8x16	2048	1024	256	16	ct5p-hightpu-4t	Sì
8x16x16	4096	2048	512	32	ct5p-hightpu-4t	Sì
16x16x16	8192	4096	1024	64	ct5p-hightpu-4t	N/D
16x16x24	12288	6144	1536	96	ct5p-hightpu-4t	N/D

L'addestramento a sezione singola è supportato per un massimo di 6144 chip. Puoi fare lo scale up fino a 18.432 chip utilizzando Multislice. Per ulteriori informazioni su Multislice, consulta la panoramica di Cloud TPU Multislice.

Topologie di toroidi intrecciati

Nota: la specifica di una topologia twisted è supportata solo utilizzando l'API Cloud TPU.

Per alcune forme di slice 3D, puoi utilizzare una topologia toroide ritorto. Queste topologie offrono una larghezza di banda di bisezione significativamente più elevata. Ad esempio, una topologia twisted 4x4x8 fornisce un aumento teorico del 70% della larghezza di banda di bisezione rispetto a una sezione 4x4x8 non twisted. Questa maggiore larghezza di banda aiuta i workload che utilizzano pattern di comunicazione globali. Le topologie twisted possono migliorare le prestazioni della maggior parte dei modelli, con i workload di TPU embedding di grandi dimensioni che offrono il massimo vantaggio. Il software TPU supporta le topologie twisted su sezioni in cui ogni dimensione è uguale o doppia rispetto alla dimensione più piccola. Ad esempio, 4x4x8, 4×8×8 o 12x12x24. Le topologie intrecciate sono supportate su TPU v4 e TPU v5p tramite l'API Cloud TPU.

Per i workload che utilizzano il parallelismo dei dati come unica strategia di parallelismo, le topologie twisted potrebbero avere un rendimento leggermente migliore. Con i modelli linguistici di grandi dimensioni (LLM), le prestazioni della topologia twisted variano a seconda del tipo di parallelismo utilizzato (ad esempio, parallelismo dei dati o parallelismo dei modelli). Per trovare le prestazioni migliori per il tuo modello, addestra l'LLM sia con che senza una topologia twisted. Alcuni esperimenti sul modello FSDP MaxText hanno mostrato miglioramenti di 1-2 punti percentuali nell'utilizzo dei FLOP del modello (MFU) quando si utilizza una topologia twisted.

Il vantaggio principale delle topologie twisted è che trasformano una topologia torus asimmetrica (ad esempio 4×4×8) in una simmetrica. Una topologia simmetrica offre:

• Bilanciamento del carico migliorato
• Larghezza di banda bisezionale più elevata
• Percorsi dei pacchetti più brevi

Questi vantaggi si traducono in un miglioramento delle prestazioni per molti pattern di comunicazione globali.

Ad esempio, considera questa topologia torus 4×2 con TPU etichettate con coordinate X e Y nella sezione:

Per maggiore chiarezza, il grafico mostra le connessioni come archi non orientati. In pratica, ogni arco è una connessione bidirezionale tra le TPU. I bordi tra un lato di questa griglia e il lato opposto sono bordi di ritorno a capo.

Se questa topologia viene intrecciata, si ottiene una topologia a toro intrecciato 4x2 simmetrica:

La differenza tra questo diagramma con torsione e quello senza torsione risiede nei bordi di avvolgimento Y. Anziché connettersi a un'altra TPU con la stessa coordinata X, questi bordi di avvolgimento si spostano per connettersi alla TPU alla coordinata X+2 mod 4.

Questo principio si applica a diverse dimensioni e numeri di dimensioni. La rete risultante è simmetrica se ogni dimensione è uguale o doppia rispetto alla dimensione più piccola.

La tabella seguente mostra alcune delle topologie twisted supportate e l'aumento teorico della larghezza di banda di bisezione che forniscono rispetto alle topologie non twisted.

Topologia	Aumento teorico della larghezza di banda di bisezione rispetto a un toro non intrecciato
4×4×8	~70%
8x8x16
12×12×24
4×8×8	~40%
8×16×16

Resilienza ICI di Cloud TPU

La resilienza ICI contribuisce a migliorare la tolleranza ai guasti dei collegamenti ottici e degli switch di circuiti ottici (OCS) che collegano le TPU tra i cubi. (Le connessioni ICI all'interno di un cubo utilizzano link in rame che non sono interessati). La resilienza ICI consente di instradare le connessioni ICI intorno agli errori OCS e ICI ottici. Di conseguenza, migliora la disponibilità della pianificazione delle sezioni TPU, con il compromesso di un degrado temporaneo delle prestazioni ICI.

Analogamente a Cloud TPU v4, la resilienza ICI è abilitata per impostazione predefinita per le sezioni v5p di un cubo o più grandi (topologia 4x4x4).

Proprietà di VM, host e slice

Proprietà	Valore di una TPU
# of v5p chips	4
N. di vCPU	208 (solo la metà è utilizzabile se si utilizza l'associazione NUMA per evitare penalizzazioni delle prestazioni tra NUMA)
RAM (GB)	448 (solo la metà è utilizzabile se si utilizza l'associazione NUMA per evitare penalizzazioni delle prestazioni tra NUMA)
N. di nodi NUMA	2
Throughput NIC (Gbps)	200

Relazione tra il numero di TensorCore, chip, host/VM e cubi in un pod:

	Core	Chip	Host/VM	Cubes
Organizzatore	8	4	1
Cube (rack)	128	64	16	1
Slice più grande supportata	12288	6144	1536	96
Pod v5p completo	17920	8960	2240	140