TPU v6e
本文說明 Cloud TPU v6e (Trillium) 的架構和支援的設定。在所有技術層面 (例如 API 和記錄) 以及整份文件中，Trillium 都會稱為 v6e。
v6e 每個 Pod 包含 256 個晶片，與 v5e 有許多相似之處。這個系統已針對 Transformer、文字轉圖像和卷積類神經網路 (CNN) 進行最佳化，適合用於訓練、微調和提供服務。
系統架構
每個 v6e 晶片包含一個 TensorCore，並透過 PCIe Gen5 介面連線至主機。每個 TensorCore 包含兩個 256x256 矩陣乘法單元 (MXU)、一個 128x8 向量處理單元 (VPU) (具有 128 個通道 x 8 個子通道)、兩個跨通道單元 (XLU) 和一個純量處理單元 (SPU)。下表列出 TPU v6e 的主要規格和值。
| 規格 | 值 |
|---|---|
| 效能/總持有成本 (TCO) (預期) | 1 |
| 每個晶片的尖峰運算效能 (bf16) | 918 TFLOPs |
| 每個晶片的尖峰運算效能 (Int8) | 1836 TOPs |
| 每顆晶片的 HBM 容量 | 32 GB |
| 每個晶片的 HBM 頻寬 | 1638 GBps |
| 雙向晶片間互連 (ICI) 頻寬 (每個晶片) | 800 GBps |
| 每個晶片的 ICI 通訊埠 | 4 |
| 每部主機的 DRAM | 1536 GiB |
| 每部主機的晶片數 | 8 |
| TPU Pod 大小 | 256 個方塊 |
| 互連網路拓撲 | 2D 環面 |
| 每個 Pod 的 BF16 尖峰運算效能 | 234.9 PFLOP |
| 每個 Pod 的 All-reduce 頻寬 | 102.4 TB/s |
| 每個 Pod 的對分頻寬 | 3.2 TB/s |
| 每部主機的 NIC 設定 | 4 個 200 Gbps NIC |
| 每個 Pod 的資料中心網路頻寬 | 25.6 Tbps |
| 主機介面 | 每晶片 PCIe Gen5 x8 |
| 特殊功能 | SparseCore |
支援的設定
下表列出 v6e 支援的 2D 切片形狀：
| 拓撲 | TPU 晶片 | 主機 | VM | 機型 | 範圍 |
|---|---|---|---|---|---|
| 1x1 | 1 | 1/8 | 1 | ct6e-standard-1t |
子主機 |
| 2x2 | 4 | 1/2 | 1 | ct6e-standard-4t |
子主機 |
| 2x4 | 8 | 1 | 1 | ct6e-standard-8t |
單一主機 |
| 2x4 | 8 | 1 | 2 | ct6e-standard-4t |
多主機 |
| 4x4 | 16 | 2 | 4 | ct6e-standard-4t |
多主機 |
| 4x8 | 32 | 4 | 8 | ct6e-standard-4t |
多主機 |
| 8x8 | 64 | 8 | 16 | ct6e-standard-4t |
多主機 |
| 8x16 | 128 | 16 | 32 | ct6e-standard-4t |
多主機 |
| 16x16 | 256 | 32 | 64 | ct6e-standard-4t |
多主機 |
附加至單一 VM 的 8 晶片 (v6e-8) 切片已針對推論進行最佳化，可讓所有 8 個晶片用於單一服務工作負載。
如要瞭解各拓撲的 VM 數量，請參閱「VM 類型」。
VM 類型
每個 TPU v6e VM 可含有 1、4 或 8 顆晶片。含 4 顆以下晶片的配量具有相同的非統一記憶體存取 (NUMA) 節點。如要進一步瞭解 NUMA 節點，請參閱維基百科的「非統一記憶體存取」一文。
v6e 切片是使用半主機 VM 建立，每個 VM 有 4 個 TPU 晶片。這項規則有兩個例外狀況：
v6e-1：只有一個晶片的 VM，主要用於測試v6e-8：針對推論用途最佳化的完整主機 VM，所有 8 個晶片都連結至單一 VM。
下表比較 TPU v6e VM 類型：
| VM 類型 | 每個 VM 的 vCPU 數量 | 每個 VM 的 RAM (GB) | 每個 VM 的 NUMA 節點數量 |
|---|---|---|---|
| 1 晶片 VM | 44 | 176 | 1 |
| 4 晶片 VM | 180 | 720 | 1 |
| 8 晶片 VM | 360 | 1440 | 2 |