TPU v5p

Dokumen ini menjelaskan arsitektur dan konfigurasi yang didukung dari Cloud TPU v5p.

Arsitektur sistem

Bagian ini menjelaskan arsitektur sistem khusus untuk versi v5p. Tiap TensorCore memiliki empat Matrix Multiply Unit (MXU), satu unit vektor, dan satu unit skalar.

Ada 8.960 chip dalam Pod v5p. Tugas terbesar yang dapat dijadwalkan adalah tugas 96 kubus (6.144 chip).

Tabel berikut menunjukkan spesifikasi utama untuk TPU v5p.

Spesifikasi	Nilai
Jumlah chip per pod	8960
Komputasi puncak per chip (BF16) (TFLOPs)	459
Komputasi puncak per chip (FP8) (TFLOPs)	459
Kapasitas HBM per chip (GiB)	95
Bandwidth HBM per chip (GBps)	2765
Jumlah vCPU (VM 4 chip)	208
RAM (GB) (VM 4 chip)	448
Jumlah TensorCore per chip	2
Jumlah SparseCore per chip	4
Bandwidth inter-chip interconnect (ICI) dua arah per chip (GBps)	1200
Bandwidth jaringan pusat data (DCN) per chip (Gbps)	50
Topologi Interconnect	Torus 3D *

Setiap chip TPU v5p memiliki memori bandwidth tinggi (HBM) fisik sebesar 96 GiB. Tabel sebelumnya mencantumkan 95 GiB untuk memperhitungkan HBM yang dicadangkan oleh sistem TPU dan runtime libtpu untuk keandalan dan overhead runtime. Alat dan framework seperti tpu-info, JAX, dan PyTorch melaporkan HBM yang dapat dialokasikan pengguna, bukan kapasitas fisik nominal 96 GiB.

Penting: Semua slice 4x4x4 dan yang lebih besar (satu kubus) memiliki konektivitas torus 3D penuh. Slice yang lebih kecil dari kubus penuh terhubung secara 3D, tetapi tidak memiliki link wrap-around yang membuatnya menjadi torus 3D.

Konfigurasi

Catatan: Gunakan visualizer topologi TPU untuk melihat rendering 3D dari berbagai konfigurasi TPU.

Pod TPU v5p terdiri dari 8.960 chip yang saling terhubung dengan link berkecepatan tinggi yang dapat dikonfigurasi ulang. Jaringan fleksibel TPU v5p memungkinkan Anda menghubungkan chip dalam slice berukuran sama dengan berbagai cara.

Tabel berikut menunjukkan bentuk single-slice paling umum yang didukung dengan v5p, serta sebagian besar (tetapi tidak semua) bentuk kubus penuh yang lebih besar dari 1 kubus. Bentuk v5p maksimum adalah 16x16x24 (6144 chip, 96 kubus).

Catatan: Semua topologi TPU v5p menggunakan jenis mesin ct5p-hightpu-4t.

Topologi	Cores	Chip	Host	Cubes	Jenis mesin	Mendukung twisted?
2x2x1	8	4	1	T/A	ct5p-hightpu-4t	T/A
2x2x2	16	8	2	T/A	ct5p-hightpu-4t	T/A
2x4x4	64	32	8	T/A	ct5p-hightpu-4t	T/A
4x4x4	128	64	16	1	ct5p-hightpu-4t	T/A
4x4x8	256	128	32	2	ct5p-hightpu-4t	Ya
4x8x8	512	256	64	4	ct5p-hightpu-4t	Ya
8x8x8	1024	512	128	8	ct5p-hightpu-4t	T/A
8x8x16	2048	1024	256	16	ct5p-hightpu-4t	Ya
8x16x16	4096	2048	512	32	ct5p-hightpu-4t	Ya
16x16x16	8192	4096	1024	64	ct5p-hightpu-4t	T/A
16x16x24	12288	6144	1536	96	ct5p-hightpu-4t	T/A

Pelatihan slice tunggal didukung hingga 6.144 chip. Anda dapat meningkatkan skala hingga 18.432 chip menggunakan Multislice. Untuk mengetahui informasi selengkapnya tentang Multislice, lihat Ringkasan Multislice Cloud TPU.

Topologi torus twisted

Catatan: Menentukan topologi twisted hanya didukung menggunakan Cloud TPU API.

Untuk beberapa bentuk slice 3D, Anda dapat menggunakan topologi twisted torus. Topologi ini menawarkan bandwidth biseksi yang jauh lebih tinggi. Misalnya, topologi twisted 4x4x8 memberikan peningkatan teoritis sebesar 70% dalam bandwidth biseksi dibandingkan dengan slice 4x4x8 non-twisted. Bandwidth yang meningkat ini membantu workload yang menggunakan pola komunikasi global. Topologi twisted dapat meningkatkan performa untuk sebagian besar model, dengan workload embedding TPU yang besar memberikan manfaat terbesar. Software TPU mendukung topologi twisted pada slice yang setiap dimensinya sama dengan atau dua kali ukuran dimensi terkecil. Misalnya, 4x4x8, 4×8×8, atau 12x12x24. Topologi twisted didukung di TPU v4 dan TPU v5p melalui Cloud TPU API.

Untuk workload yang menggunakan paralelisme data sebagai satu-satunya strategi paralelisme, topologi twisted mungkin berperforma sedikit lebih baik. Dengan model bahasa besar (LLM), performa topologi twisted bervariasi bergantung pada jenis paralelisme yang digunakan (misalnya, paralelisme data atau paralelisme model). Untuk menemukan performa terbaik bagi model Anda, latih LLM Anda dengan dan tanpa topologi twisted. Beberapa eksperimen pada model MaxText FSDP menunjukkan peningkatan 1-2 poin persentase dalam pemanfaatan FLOP model (MFU) saat menggunakan topologi twisted.

Manfaat utama topologi twisted adalah mengubah topologi torus asimetris (misalnya, 4×4×8) menjadi simetris. Topologi simetris menawarkan:

• Load balancing yang ditingkatkan
• Bandwidth biseksi yang lebih tinggi
• Rute paket yang lebih pendek

Manfaat ini menghasilkan peningkatan performa untuk banyak pola komunikasi global.

Misalnya, pertimbangkan topologi torus 4×2 ini dengan TPU yang diberi label koordinat X dan Y di slice:

Agar lebih jelas, grafik menunjukkan koneksi sebagai edge tidak berarah. Dalam praktiknya, setiap edge adalah koneksi dua arah antara TPU. Tepi antara satu sisi petak ini dan sisi yang berlawanan adalah tepi yang saling terhubung.

Memutar topologi ini akan membuat topologi torus twisted 4×2 simetris:

Perbedaan antara diagram yang diputar ini dan diagram yang tidak diputar terletak pada tepi wrap-around Y. Alih-alih terhubung ke TPU lain dengan koordinat X yang sama, tepi wrap-around ini bergeser untuk terhubung ke TPU pada koordinat X+2 mod 4.

Prinsip ini berlaku untuk berbagai ukuran dimensi dan jumlah dimensi. Jaringan yang dihasilkan akan simetris jika setiap dimensi sama dengan atau dua kali ukuran dimensi terkecil.

Tabel berikut menunjukkan beberapa topologi twisted yang didukung dan peningkatan teoritis dalam bandwidth bisection yang diberikan dibandingkan dengan topologi untwisted.

Topologi	Peningkatan teoritis dalam bandwidth biseksi dibandingkan dengan torus non-twisted
4×4×8	~70%
8x8x16
12×12×24
4×8×8	~40%
8×16×16

Resiliensi ICI Cloud TPU

Resiliensi ICI membantu meningkatkan fault tolerance link optik dan optical circuit switch (OCS) yang menghubungkan TPU antar-kubus. (Koneksi ICI dalam kubus menggunakan link tembaga yang tidak terpengaruh). Ketahanan ICI memungkinkan koneksi ICI dirutekan di sekitar kesalahan OCS dan ICI optik. Hasilnya, ketersediaan penjadwalan slice TPU meningkat, dengan konsekuensi penurunan performa ICI untuk sementara.

Mirip dengan Cloud TPU v4, resiliensi ICI diaktifkan secara default untuk slice v5p yang berukuran satu kubus atau lebih besar (topologi 4x4x4).

Properti VM, host, dan slice

Properti	Nilai dalam TPU
# chip v5p	4
Jumlah vCPU	208 (hanya setengah yang dapat digunakan jika menggunakan binding NUMA untuk menghindari penalti performa lintas NUMA)
RAM (GB)	448 (hanya setengah yang dapat digunakan jika menggunakan binding NUMA untuk menghindari penalti performa lintas NUMA)
# of NUMA nodes	2
Throughput NIC (Gbps)	200

Hubungan antara jumlah TensorCore, chip, host/VM, dan kubus dalam Pod:

	Cores	Chip	Host/VM	Cubes
Host	8	4	1
Kubus (rak)	128	64	16	1
Slice terbesar yang didukung	12288	6144	1536	96
Pod penuh v5p	17920	8960	2240	140