TPU v5e
במאמר הזה מתוארים הארכיטקטורה וההגדרות האישיות הנתמכות של Cloud TPU v5e.
ב-TPU v5e יש תמיכה באימון במארח יחיד ובמארחים מרובים, ובהסקת מסקנות במארח יחיד. אפשר להסיק מסקנות ממספר מארחים באמצעות Sax. מידע נוסף זמין במאמר הסקת מסקנות ב-Cloud TPU.
ארכיטקטורת המערכת
כל שבב v5e מכיל TensorCore אחד. לכל TensorCore יש ארבע יחידות כפל מטריצות (MXU), יחידת וקטור ויחידת סקלר.
התרשים הבא ממחיש שבב TPU v5e.
בטבלה הבאה מוצגים המפרטים העיקריים והערכים שלהם ל-v5e.
| מפרט | ערכים |
|---|---|
| ביצועים/עלות הבעלות הכוללת (TCO) (צפויה) | 0.65x |
| שיא המחשוב לכל שבב (bf16) | 197 TFLOPs |
| שיא המחשוב לכל שבב (Int8) | 393 TOPs |
| קיבולת HBM לכל שבב | 16GB |
| רוחב פס של HBM לכל שבב | 800 GiBps |
| רוחב פס דו-כיווני של חיבור בין שבבים (ICI) (לכל שבב) | 400 GBps |
| יציאות ICI לכל שבב | 4 |
| DRAM לכל מארח | 512 GiB |
| צ'יפים לכל מארח | 8 |
| גודל ה-TPU Pod | 256 צ'יפים |
| טופולוגיית Interconnect | טורוס דו-ממדי |
| שיא החישוב של BF16 לכל Pod | 50.63 PFLOPs |
| רוחב פס All-reduce לכל Pod | 51.2TB לשנייה |
| רוחב פס של חצייה לכל Pod | 1.6TB לשנייה |
| הגדרת NIC לכל מארח | 2 x 100 Gbps NIC |
| רוחב הפס של הרשת במרכז הנתונים לכל Pod | 6.4 Tbps |
| שיא המחשוב לכל Pod | 100 PetaOps (Int8) |
הגדרות אישיות
Cloud TPU v5e הוא מוצר משולב לאימון ולהסקה (הצגה). משימות אימון עוברות אופטימיזציה לתפוקה ולזמינות, ומשימות הצגה עוברות אופטימיזציה לזמן אחזור. משימת אימון ב-TPU שהוקצו להצגה עשויה להיות פחות זמינה, ובאופן דומה, משימת הצגה שבוצעה ב-TPU שהוקצו לאימון עשויה להיות עם זמן אחזור ארוך יותר.
אלה הצורות של פרוסות דו-ממדיות שנתמכות ב-v5e:
| טופולוגיה | מספר שבבי TPU | מספר המארחים |
|---|---|---|
| 1x1 | 1 | 1/8 |
| 2 על 2 | 4 | 1/2 |
| 2 על 4 | 8 | 1 |
| 4x4 | 16 | 2 |
| 4x8 | 32 | 4 |
| 8x8 | 64 | 8 |
| 8x16 | 128 | 16 |
| 16x16 | 256 | 32 |
סוגי מכונות וירטואליות
כל TPU VM בפרוסת TPU v5e מכילה שבב אחד, 4 שבבים או 8 שבבים. בפרוסות של 4 שבבים או פחות, כל שבבי ה-TPU משתפים את אותו צומת של גישה לא אחידה לזיכרון (NUMA).
במכונות וירטואליות של TPU v5e עם 8 צ'יפים, התקשורת בין ה-CPU ל-TPU תהיה יעילה יותר במחיצות NUMA. לדוגמה, בתרשים הבא, התקשורת ב-CPU0-Chip0 תהיה מהירה יותר מהתקשורת ב-CPU0-Chip4.
בטבלה הבאה מוצגת השוואה בין סוגי ה-VM של TPU v5e:
| סוג ה-VM | סוג המכונה | מספר המעבדים הווירטואליים לכל מכונה וירטואלית | RAM (GB) לכל VM | מספר צומתי NUMA לכל מכונה וירטואלית |
|---|---|---|---|---|
| מכונה וירטואלית עם שבב אחד | ct5lp-hightpu-1t |
24 | 48 | 1 |
| מכונה וירטואלית עם 4 שבבים | ct5lp-hightpu-4t |
112 | 192 | 1 |
| מכונה וירטואלית עם 8 שבבים | ct5lp-hightpu-8t |
224 | 384 | 2 |
סוגי Cloud TPU v5e להצגה
אפשר להשתמש במארח יחיד עם עד 8 שבבי v5e. אפשר להשתמש בפריסות הבאות: 1x1, 2x2 ו-2x4. בכל פרוסה יש צ'יפס אחד, 4 צ'יפסים ו-8 צ'יפסים בהתאמה.
כדי להקצות יחידות TPU למשימת הצגה, צריך להשתמש באחד מהגדלים הבאים של פרוסות TPU בבקשה ליצירת TPU ב-CLI או ב-API:
| מספר שבבי TPU | סוג המכונה |
|---|---|
1 |
ct5lp-hightpu-1t |
4 |
ct5lp-hightpu-4t |
8 |
ct5lp-hightpu-8t |
למידע נוסף על ניהול יחידות TPU, ראו ניהול יחידות TPU. מידע נוסף על ארכיטקטורת המערכת של Cloud TPU זמין במאמר ארכיטקטורת המערכת.
אפשר להשתמש ב-Sax כדי להציג ביותר מ-8 שבבי v5e, מה שנקרא גם "הצגה בכמה מארחים". מידע נוסף זמין במאמר הסקה ב-Cloud TPU.
סוגי Cloud TPU v5e לאימון
אפשר לאמן עד 256 צ'יפים.
כדי להקצות יחידות TPU למשימת אימון ב-v5e, צריך להשתמש באחד מהגדלים הבאים של פרוסות TPU בבקשה ליצירת TPU ב-CLI או ב-API:
| מספר שבבי TPU | סוג המכונה | טופולוגיה |
|---|---|---|
16 |
ct5lp-hightpu-4t |
4x4 |
32 |
ct5lp-hightpu-4t |
4x8 |
64 |
ct5lp-hightpu-4t |
8x8 |
128 |
ct5lp-hightpu-4t |
8x16 |
256 |
ct5lp-hightpu-4t |
16x16 |
למידע נוסף על ניהול יחידות TPU, ראו ניהול יחידות TPU. מידע נוסף על ארכיטקטורת המערכת של Cloud TPU זמין במאמר ארכיטקטורת המערכת.