TPU v5e

Dokumen ini menjelaskan arsitektur dan konfigurasi Cloud TPU v5e yang didukung.

TPU v5e mendukung pelatihan host tunggal dan multi-host serta inferensi host tunggal. Inferensi multi-host didukung menggunakan Sax. Untuk mengetahui informasi selengkapnya, lihat Inferensi Cloud TPU.

Arsitektur sistem

Tiap chip v5e berisi satu TensorCore. Tiap TensorCore memiliki empat matrix-multiply unit (MXU), satu unit vektor, dan satu unit skalar.

Diagram berikut mengilustrasikan chip TPU v5e.

Diagram chip v5e

Tabel berikut menunjukkan spesifikasi utama dan nilainya untuk v5e.

Spesifikasi Nilai
Performa/total biaya kepemilikan (TCO) (yang diharapkan) 0,65x
Komputasi puncak per chip (bf16) 197 TFLOP
Komputasi puncak per chip (Int8) 393 TOPs
Kapasitas HBM per chip 16 GB
Bandwidth HBM per chip 800 GiBps
Bandwidth inter-chip interconnect (ICI) dua arah (per chip) 400 GBps
Port ICI per chip 4
DRAM per host 512 GiB
Chip per host 8
Ukuran Pod TPU 256 chip
Topologi Interconnect Torus 2D
Komputasi puncak BF16 per Pod 50,63 PFLOP
Bandwidth all-reduce per Pod 51,2 TB/dtk
Bandwidth biseksi per Pod 1,6 TB/dtk
Konfigurasi NIC per host NIC 2 x 100 Gbps
Bandwidth jaringan pusat data per Pod 6,4 Tbps
Komputasi puncak per Pod 100 PetaOps (Int8)

Konfigurasi

Cloud TPU v5e adalah produk pelatihan dan inferensi (penayangan) gabungan. Tugas pelatihan dioptimalkan untuk throughput dan ketersediaan, sedangkan tugas inferensi dioptimalkan untuk latensi. Tugas pelatihan pada TPU yang disediakan untuk inferensi dapat memiliki ketersediaan yang lebih rendah, dan begitu pula, tugas inferensi yang dijalankan pada TPU yang disediakan untuk pelatihan dapat memiliki latensi yang lebih tinggi.

Bentuk slice 2D berikut didukung untuk v5e:

Topologi Jumlah TPU chip Jumlah host
1x1 1 1/8
2x2 4 1/2
2x4 8 1
4x4 16 2
4x8 32 4
8x8 64 8
8x16 128 16
16x16 256 32

Jenis VM

Setiap VM TPU dalam slice TPU v5e berisi 1, 4, atau 8 chip. Dalam slice 4 chip dan yang lebih kecil, semua chip TPU menggunakan node akses memori tidak seragam (NUMA) yang sama.

Untuk VM TPU v5e 8 chip, komunikasi CPU-TPU akan lebih efisien dalam partisi NUMA. Misalnya, pada gambar berikut, komunikasi CPU0-Chip0 akan lebih cepat daripada komunikasi CPU0-Chip4.

Komunikasi node NUMA

Tabel berikut menunjukkan perbandingan jenis VM TPU v5e:

Jenis VM Jenis mesin Jumlah vCPU per VM RAM (GB) per VM Jumlah node NUMA per VM
VM 1 chip ct5lp-hightpu-1t 24 48 1
VM 4 chip ct5lp-hightpu-4t 112 192 1
VM 8 chip ct5lp-hightpu-8t 224 384 2

Jenis Cloud TPU v5e untuk inferensi

Penyajian host tunggal didukung hingga 8 chip v5e. Konfigurasi berikut didukung: slice 1x1, 2x2, dan 2x4. Setiap slice masing-masing memiliki 1, 4, dan 8 chip.

Konfigurasi TPU v5e yang mendukung inferensi: 1x1, 2x2, dan 2x4.

Untuk menyediakan TPU untuk tugas inferensi, gunakan salah satu ukuran slice TPU berikut dalam permintaan pembuatan TPU CLI atau API Anda:

Jumlah TPU chip Jenis mesin
1 ct5lp-hightpu-1t
4 ct5lp-hightpu-4t
8 ct5lp-hightpu-8t

Untuk mengetahui informasi selengkapnya tentang cara mengelola TPU, lihat Mengelola TPU. Untuk mengetahui informasi selengkapnya tentang arsitektur sistem Cloud TPU, lihat Arsitektur sistem.

Penyajian di lebih dari 8 chip v5e, yang juga disebut penyajian multi-host, didukung menggunakan Sax. Untuk mengetahui informasi selengkapnya, lihat Inferensi Cloud TPU.

Jenis Cloud TPU v5e untuk pelatihan

Pelatihan didukung hingga 256 chip.

Untuk menyediakan TPU untuk tugas pelatihan v5e, gunakan salah satu ukuran slice TPU berikut dalam permintaan pembuatan TPU CLI atau API Anda:

Jumlah TPU chip Jenis mesin Topologi
16 ct5lp-hightpu-4t 4x4
32 ct5lp-hightpu-4t 4x8
64 ct5lp-hightpu-4t 8x8
128 ct5lp-hightpu-4t 8x16
256 ct5lp-hightpu-4t 16x16

Untuk mengetahui informasi selengkapnya tentang cara mengelola TPU, lihat Mengelola TPU. Untuk mengetahui informasi selengkapnya tentang arsitektur sistem Cloud TPU, lihat Arsitektur sistem.