במסמך הזה מפורטים דגמי ה-GPU של NVIDIA שבהם אתם יכולים להשתמש כדי להאיץ את למידת המכונה (ML), את עיבוד הנתונים ואת עומסי העבודה שדורשים עיבוד גרפי אינטנסיבי במכונות של Compute Engine. בנוסף, מוסבר אילו מעבדי GPU מחוברים מראש לסדרות של מכונות שמותאמות למאיצים, כמו A4X Max, A4X, A4, A3, A2, G4 ו-G2, ואילו מעבדי GPU אפשר לחבר למכונות N1 למטרות כלליות.
במסמך הזה אפשר להשוות בין הביצועים, הזיכרון והתכונות של דגמי GPU שונים. במאמר סדרת המכונות שמותאמות למאיצים תוכלו לקרוא סקירה כללית מפורטת יותר על סדרת המכונות שמותאמות למאיצים, כולל מידע על פלטפורמות של מעבדים, אפשרויות אחסון ויכולות רשת, ולמצוא את סוג המכונה הספציפי שמתאים לעומס העבודה שלכם.
למידע נוסף על GPUs ב-Compute Engine, קראו את המאמר מידע על GPUs.
במאמר זמינות של אזורים ותחומים ל-GPU תוכלו לראות את האזורים והתחומים שזמינים ל-GPU ב-Compute Engine.
סקירה כללית
ב-Compute Engine יש סוגים שונים של מכונות שתומכים בעומסי עבודה שונים.
חלק מסוגי המכונות תומכים ב-NVIDIA RTX Virtual Workstations (vWS). כשיוצרים מכונה שמשתמשת ב-NVIDIA RTX Virtual Workstation, Compute Engine מוסיף באופן אוטומטי רישיון vWS. למידע על תמחור של תחנות עבודה וירטואליות, ראו דף התמחור של GPU.
| סוגי מכונות GPU | |||
|---|---|---|---|
| עומסי עבודה של AI ו-ML | גרפיקה והמחשה חזותית | עומסי עבודה אחרים ב-GPU | |
|
סוגי מכונות מסדרה A עם אופטימיזציה למאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).
סדרת A מהדורות המאוחרים יותר מתאימה לאימון מראש ולכוונון של מודלי בסיס שכוללים אשכולות גדולים של מאיצים, ואילו סדרת A2 מתאימה לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי. |
סוגי מכונות מסדרה G עם אופטימיזציה למאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עם גרפיקה כבדה, המרת קידוד של וידאו ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).
אפשר להשתמש בסדרת G גם לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי. |
במכונות וירטואליות לשימוש כללי מסוג N1, חוץ ממכונות עם ליבת מעבד משותפת מסוג N1 ( |
|
|
אפשר לצרף את המודלים הבאים של GPU למכונות וירטואליות לשימוש כללי מסוג N1:
|
||
אפשר גם להשתמש בחלק מסוגי המכונות עם GPU ב-AI Hypercomputer. AI Hypercomputer היא מערכת מחשוב-על שמותאמת לתמיכה בעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ואופטימיזציה של הביצועים, שכוללת שילובים של Google Kubernetes Engine (GKE) ומתזמני Slurm.
סדרות המכונות A4X Max ו-A4X
סדרות המכונות A4X Max ו-A4X פועלות בפלטפורמה בקנה מידה של אקסה-בייט שמבוססת על ארכיטקטורה בקנה מידה של ארון שרתים של NVIDIA, והן מותאמות לעומסי עבודה של HPC ואימון ML שמוגבלים לרשת ודורשים הרבה זיכרון ומשאבי מחשוב. ההבדלים העיקריים בין A4X Max ל-A4X הם ברכיבי ה-GPU והרשת. מכונות A4X Max זמינות רק כמכונות ללא מערכת הפעלה (bare metal), שמאפשרות גישה ישירה למעבד ולזיכרון של השרת המארח, בלי שכבת ה-hypervisor של Compute Engine.
סוגי מכונות A4X Max (NVIDIA GB300)
סוגי המכונות A4X Max accelerator-optimized משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) והם אידיאליים לאימון ולשירות של מודלים בסיסיים. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.
A4X Max היא פלטפורמה בקנה מידה של אקסה-פלופ שמבוססת על NVIDIA GB300 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדים גרפיים מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C). מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A4X Max ו-A4X.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מדגם NVIDIA GB300 | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
הערות לגבי סוגי המכונות A4X Max
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סוג המכונה A4X (NVIDIA GB200)
סוגי מכונות עם אופטימיזציה למאיצים מסוג A4X
משתמשים ב-NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) והם אידיאליים לאימון ולשירות של מודלים בסיסיים.
A4X היא פלטפורמה בקנה מידה אקסה (exascale) שמבוססת על NVIDIA GB200 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדי NVIDIA B200 Blackwell GPU עם תקשורת מהירה בין שבבים (NVLink-C2C). מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A4X Max ו-A4X.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מדגם NVIDIA GB200 | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
הערות לגבי סוגי מכונות A4X
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות A4 (NVIDIA B200)
סוגי המכונות A4 accelerator-optimized כוללים מעבדי NVIDIA B200 Blackwell GPU (nvidia-b200) והם אידיאליים לאימון ולהצגה של מודלים בסיסיים. למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של A4.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA B200 Blackwell | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
הערות לגבי סוגי מכונות A4
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב הפס של הרשת זמין במאמר רוחב הפס של הרשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות A3
לסוגי המכונות A3 accelerator-optimized מצורפים מעבדי GPU מסוג NVIDIA H100 SXM או NVIDIA H200 SXM.
סוג המכונה A3 Ultra (NVIDIA H200)
למכונות מסוג A3 Ultra יש מעבדי NVIDIA H200 SXM GPU (nvidia-h200-141gb) והן מספקות את ביצועי הרשת הטובים ביותר בסדרת A3. סוגי המכונות A3 Ultra מתאימים במיוחד לאימון מודלים בסיסיים ולהצגתם. מידע על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A3 Ultra.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מדגם NVIDIA H200 | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
הערות לגבי סוג המכונה A3 Ultra
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סוגי המכונות A3 Mega, High ו-Edge (NVIDIA H100)
כדי להשתמש ב-NVIDIA H100 SXM GPUs, יש לכם את האפשרויות הבאות:
- A3 Mega: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (
nvidia-h100-mega-80gb) והם אידיאליים לאימון בקנה מידה גדול ולעומסי עבודה של הצגת מודעות. - A3 High: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (
nvidia-h100-80gb) ומתאימים גם למשימות אימון וגם למשימות הצגה. - A3 Edge: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (
nvidia-h100-80gb), מיועדים במיוחד להצגת מודעות וזמינים בקבוצה מוגבלת של אזורים.
A3 Mega
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי ה-GPU מסוג NVIDIA H100 | זיכרון GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי ה-GPU מסוג NVIDIA H100 | זיכרון GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
A3 Edge
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי ה-GPU מסוג NVIDIA H100 | זיכרון GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1,872 | 6,000 | 5 | 600 (asia-south1 ו-northamerica-northeast2) או 400 (כל שאר האזורים של A3 Edge) |
8 | 640 |
הערות לגבי סוגי המכונות A3 Mega, High ו-Edge
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות A2 (NVIDIA A100)
סוגי המכונות A2 accelerator-optimized כוללים מעבדי GPU מסוג NVIDIA A100, והם אידיאליים לכוונון מודלים, למודלים גדולים ולהסקת מסקנות בעלות אופטימלית.
יש שני סוגים של סדרת מכונות A2:
- A2 Ultra: לסוגי המכונות האלה יש מעבדי GPU מסוג A100 80GB (
nvidia-a100-80gb) ודיסקים מסוג SSD מקומי. - A2 Standard: לסוגי המכונות האלה מצורפים מעבדי GPU מסוג A100 40GB (
nvidia-tesla-a100). אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מכונה מסוג A2 Standard. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים.
A2 Ultra
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA A100 80GB | זיכרון GPU (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1,500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1,360 | 3,000 | 100 | 8 | 640 |
A2 Standard
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA A100 40GB | זיכרון GPU (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | כן | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | כן | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | כן | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | כן | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1,360 | כן | 100 | 16 | 640 |
הערות לגבי סוג המכונה A2
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס של רשת זמין במאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות G4 (NVIDIA RTX PRO 6000)
סוגי המכונות G4 עם אופטימיזציה למאיצים משתמשים ב
מעבדי GPU מסוג NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) ומתאימים לעומסי עבודה של סימולציות ב-NVIDIA Omniverse, לאפליקציות שדורשות עיבוד גרפי אינטנסיבי, להמרת קידוד של וידאו ולמחשבים וירטואליים. סוגי המכונות G4 מספקים גם פתרון זול להסקת מסקנות במארח יחיד ולכוונון מודלים בהשוואה לסוגי המכונות מסדרה A.
אפשר גם להוסיף דיסקים של Titanium SSD כשיוצרים מכונה מסוג G4. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים. מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של G4.
אחת מהתכונות העיקריות של סדרת G4 היא תמיכה בתקשורת ישירה בין GPU ל-GPU (או P2P) בסוגי מכונות עם כמה יחידות GPU (g4-standard-96, g4-standard-192, g4-standard-384). התכונה הזו מאפשרת ליחידות GPU באותו מכונה להחליף נתונים ישירות דרך אפיק ה-PCIe, בלי לערב את המארח של המעבד (CPU). למידע נוסף על תקשורת בין רכיבי GPU מסוג G4, קראו את המאמר תקשורת בין רכיבי GPU מסוג G4.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | הנפח המקסימלי של Titanium SSD שנתמך (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מסוג NVIDIA RTX PRO 6000 | זיכרון GPU (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1,500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3,000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6,000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1,440 | 12,000 | 2 | 400 | 8 | 768 |
הערות לגבי סוגי מכונות G4
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס של רשת זמין במאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות G2 (NVIDIA L4)
לסוגי המכונות G2 accelerator-optimized מצורפים מעבדי NVIDIA L4 GPU, והם אידיאליים להסקה בעלות אופטימלית, לעומסי עבודה עתירי גרפיקה ולעומסי עבודה של מחשוב עתיר ביצועים (HPC).
לכל סוג מכונה G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון בהתאמה אישית מגדיר את נפח הזיכרון שאפשר להקצות למכונה לכל סוג מכונה. אפשר גם להוסיף דיסקים של Local SSD כשיוצרים מכונה מסוג G2. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים.
למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של G2.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון ברירת המחדל של המכונה (GB) | טווח זיכרון מותאם אישית למכונה (GB) | נפח מקסימלי נתמך של כונן SSD מקומי (GiB) | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מסוג NVIDIA L4 | זיכרון GPU (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 עד 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 עד 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 עד 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 עד 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 עד 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 עד 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 עד 216 | 1,500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 עד 432 | 3,000 | 100 | 8 | 192 |
הערות לגבי סוג המכונה G2
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות N1
אפשר לצרף את דגמי ה-GPU הבאים למכונה מסוג N1, חוץ ממכונות עם ליבה משותפת (shared-core) מסוג N1.
בניגוד לסוגי המכונות בסדרת המכונות שמותאמות למאיצים, סוגי המכונות N1 לא מגיעים עם מספר מוגדר של מעבדי GPU מצורפים. במקום זאת, מציינים את מספר ה-GPU שרוצים לצרף כשיוצרים את המכונה.
במכונות N1 עם פחות מעבדי GPU, המספר המקסימלי של מעבדי vCPU מוגבל. באופן כללי, ככל שיש יותר מעבדי GPU, אפשר ליצור מכונות עם יותר מעבדי vCPU וזיכרון.
N1+T4 GPUs
אפשר לחבר מעבדי GPU מסוג NVIDIA T4 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.
| סוג המאיץ | מספר מעבדי GPU מסוג NVIDIA T4 | זיכרון GPU (GB GDDR6) | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי |
|---|---|---|---|---|---|
nvidia-tesla-t4 או nvidia-tesla-t4-vws |
1 | 16 | 1 עד 48 | 1 עד 312 | כן |
nvidia-tesla-t4 או nvidia-tesla-t4-vws |
2 | 32 | 1 עד 48 | 1 עד 312 | כן |
nvidia-tesla-t4 או nvidia-tesla-t4-vws |
4 | 64 | 1 עד 96 | 1 עד 624 | כן |
הערות לגבי סוגי המכונות N1+T4
ההערה הבאה רלוונטית לטבלה שלמעלה:
- זיכרון GPU: הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
מעבדי GPU מסוג N1+P4
אפשר לצרף מעבדי GPU מסוג NVIDIA P4 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.
במכונות עם מעבדי NVIDIA P4 GPU מצורפים, יש תמיכה בדיסקים מסוג Local SSD רק באזורים us-central1-c ו-northamerica-northeast1-b.
| סוג המאיץ | מספר יחידות ה-GPU מסוג NVIDIA P4 | זיכרון GPU (GB GDDR5) | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי |
|---|---|---|---|---|---|
nvidia-tesla-p4 או nvidia-tesla-p4-vws |
1 | 8 | 1 עד 24 | 1 עד 156 | כן (us-central1-c ו-northamerica-northeast1-b בלבד) |
nvidia-tesla-p4 או nvidia-tesla-p4-vws |
2 | 16 | 1 עד 48 | 1 עד 312 | כן (us-central1-c ו-northamerica-northeast1-b בלבד) |
nvidia-tesla-p4 או nvidia-tesla-p4-vws |
4 | 32 | 1 עד 96 | 1 עד 624 | כן (us-central1-c ו-northamerica-northeast1-b בלבד) |
הערות לגבי סוגי המכונות N1+P4
ההערה הבאה רלוונטית לטבלה שלמעלה:
- זיכרון GPU: הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
מעבדי GPU מסוג N1+V100
אתם יכולים לצרף מעבדי GPU מסוג NVIDIA V100 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.
במכונות עם מעבדי GPU מסוג NVIDIA V100, אי אפשר להשתמש בדיסקים מסוג Local SSD באזור us-east1-c.
| סוג המאיץ | מספר מעבדי GPU מסוג NVIDIA V100 | זיכרון GPU (GB HBM2) | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 עד 12 | 1 עד 78 | כן (חוץ מ-us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | 1 עד 24 | 1 עד 156 | כן (חוץ מ-us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | 1 עד 48 | 1 עד 312 | כן (חוץ מ-us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | 1 עד 96 | 1 עד 624 | כן (חוץ מ-us-east1-c) |
הערות לגבי סוג המכונה N1+V100
ההערה הבאה רלוונטית לטבלה שלמעלה:
- זיכרון GPU: הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
חוויית התחזוקה במכונות N1 עם מעבדי GPU
במהלך מחזור החיים של מכונה ב-Compute Engine, המכונה המארחת שבה פועלת המכונה שלכם עוברת כמה אירועים במארח. אירוע מארח יכול לכלול תחזוקה שוטפת של תשתית Compute Engine, או במקרים נדירים, שגיאת מארח. בנוסף, Compute Engine מבצע ברקע שדרוגים קלים ל-hypervisor ולרשת, שלא משבשים את הפעילות.
בטבלה הבאה מתוארות התכונות של תחזוקת המארח לסוגי המכונות N1 עם GPU מצורף:
| סוג המכונה | מספר יחידות ה-GPU | תדירות טיפוסית של אירועי תחזוקה מתוזמנים | התנהגות התחזוקה | התראה מראש על פעולות תחזוקה מתוכננות | תחזוקה לפי דרישה | סימולציה של תחזוקה |
|---|---|---|---|---|---|---|
| N1+T4 | 1 או 2 | מינימום 15 ימים | עצירה והפעלה מחדש | 7 ימים | לא | כן |
| N1+T4 | 4 | 30 ימים לפחות | עצירה והפעלה מחדש | 7 ימים | כן | כן |
| N1+P4 | 1 או 2 | מינימום 15 ימים | עצירה והפעלה מחדש | 7 ימים | לא | כן |
| N1+P4 | 4 | 30 ימים לפחות | עצירה והפעלה מחדש | 7 ימים | כן | כן |
| N1+V100 | 1, 2 או 4 | לפחות 15 ימים | עצירה והפעלה מחדש | 7 ימים | לא | כן |
| N1+V100 | 8 | 30 ימים לפחות | עצירה והפעלה מחדש | 7 ימים | כן | כן |
תדירויות התחזוקה שמוצגות בטבלה הקודמת הן הערכות, ולא הבטחות. יכול להיות ש-Compute Engine יבצע תחזוקה בתדירות גבוהה יותר מדי פעם.
תרשים השוואה כללי
בטבלה הבאה מתוארים גודל הזיכרון של ה-GPU, זמינות התכונות וסוגי עומסי העבודה האידיאליים של דגמי GPU שונים ב-Compute Engine.
בטבלה הבאה, N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | זיכרון ורוחב פס של GPU | Interconnect | תמיכה ב-NVIDIA RTX Virtual Workstation (vWS) | מתי כדאי להשתמש? |
|---|---|---|---|---|
| A4X Max (GB300) | 279GB HBM3e (8TBps) | NVLink Full Mesh (1,800GBps) | לא | אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM) מסוג MoE, מערכות המלצות, HPC |
| A4X (GB200) | 186GB HBM3e (8TBps) | NVLink Full Mesh (1,800GBps) | לא | אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM), מערכות המלצות, HPC |
| A4 (B200) | 180GB HBM3e (8TBps) | NVLink Full Mesh (1,800GBps) | לא | אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM), מערכות המלצות, HPC |
| A3 Ultra (H200) | 141GB HBM3e (4.8TBps) | NVLink Full Mesh (900GBps) | לא | מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC, BERT, DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | 80GB HBM3 (3.35TBps) | NVLink Full Mesh (900GBps) | לא | מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC, BERT, DLRM |
| A2 Ultra (A100 80GB) | 80GB HBM2e (1.9TBps) | NVLink Full Mesh (600GBps) | לא | מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC, BERT, DLRM |
| A2 Standard (A100 40GB) | 40GB HBM2 (1.6TBps) | NVLink Full Mesh (600GBps) | לא | אימון ML, היקש, HPC |
| G4 (RTX PRO 6000) | 96GB GDDR7 (1.597TBps) | לא רלוונטי | כן | הסקת מסקנות מ-ML, אימון, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו, HPC |
| G2 (L4) | 24GB GDDR6 (300GBps) | לא רלוונטי | כן | הסקת מסקנות מ-ML, אימון, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו, HPC |
| N1 (T4) | 16GB GDDR6 (320GBps) | לא רלוונטי | כן | הסקת מסקנות בלמידת מכונה, אימון, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו |
| N1 (P4) | 8GB GDDR5 (192GBps) | לא רלוונטי | כן | תחנות עבודה להמחשה מרחוק, הסקת מסקנות של למידת מכונה והמרת קידוד של וידאו |
| N1 (V100) | 16GB HBM2 (900GBps) | NVLink Ring (300GBps) | לא | אימון ML, היקש, HPC |
במאמר תמחור של GPU תוכלו להשוות בין המחירים של דגמי ה-GPU השונים והאזורים שזמינים ב-Compute Engine.
ביצועים של Tensor Core ושל ליבת CUDA רגילה
בקטעים הבאים מפורטים מדדי הביצועים של כל ארכיטקטורת GPU, בחלוקה לביצועים של ליבות וקטוריות או ליבות CUDA רגילות וליבות Tensor.
ליבות Tensor: הביצועים של Tensor מתייחסים לנפח העיבוד של ליבות Tensor ייעודיות. אלה יחידות חומרה ייעודיות (שלעיתים קרובות נקראות יחידות מטריצה) שנועדו במיוחד להאיץ את פעולות הכפל והצבירה של מטריצות גדולות, שמהוות את הבסיס ללמידה עמוקה, לאימון ולהסקת מסקנות.
סוג הביצועים הזה מתאים במיוחד ללמידה עמוקה, למודלים גדולים של שפה (LLM) ולכל עומס עבודה שאפשר לבטא כפעולות של מטריצה צפופה. ליבות Tensor מספקות תפוקה גבוהה משמעותית מליבות CUDA לאותו סוג נתונים.
ליבות וקטוריות או ליבות CUDA רגילות: הביצועים של הליבות הווקטוריות מתייחסים לרוחב הפס של ליבות CUDA רגילות. אלה יחידות למטרות כלליות שפועלות באמצעות מודל של הוראה אחת, כמה שרשורים (SIMT), ובדרך כלל מבצעות פעולות על רכיבי נתונים או וקטורים נפרדים.
סוג הביצועים הזה מתאים במיוחד למחשוב כללי, לעיבוד גרפי ולעומסי עבודה שלא כוללים מתמטיקה של מטריצות צפופות.
ארכיטקטורת Blackwell
סוגי המכונות A4X Max, A4X, A4 ו-G4 פועלים בארכיטקטורת Blackwell של NVIDIA.
Tensor Core
ארכיטקטורת Blackwell של NVIDIA, שבה משתמשים סוגי המכונות האלה, מציגה תמיכה של Tensor Core ברמת דיוק של FP4 ויכולות INT4 מורחבות לביצועים גבוהים בהסקת מסקנות ממודלים גדולים.
בטבלה הבאה, N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. הערות נוספות:
- TF32, Mixed FP16/32, INT8, FP8 ו-FP4: ארכיטקטורת Blackwell תומכת בדלילות מבנית למדדי הדיוק האלה, שיכולה להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על כפל מטריצות צפופות. אם משתמשים בדלילות מבנית, הביצועים מוכפלים.
- Mixed FP16/32: לאימון ברמת דיוק משולבת, מעבדי GPU שפועלים בארכיטקטורת Blackwell תומכים גם בסוג הנתונים
bfloat16.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 מעורב (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1,250 | 2,500 | 5,000 | 5,000 | 15,000 |
| A4X (GB200) | 45 | 1,250 | 2,500 | 5,000 | 5,000 | 10,000 |
| A4 (B200) | 40 | 1,100 | 2,250 | 4,500 | 4,500 | 9,000 |
| G4 (RTX PRO 6000) | לא רלוונטי | 233.9 | 467.8 | 935.6 | 935.6 | 1871.2 |
ליבות CUDA רגילות
סוגי המכונות שמשתמשים בארכיטקטורת Blackwell מספקים פעולות FP64 ו-FP32 עם ביצועים גבוהים לעומסי עבודה תובעניים של HPC ו-AI.
ב-A4X Max, ב-A4X וב-A4, פעולות FP16 מואצות על ידי ליבות Tensor. ב-G4, הביצועים של FP16 בליבות CUDA סטנדרטיות נכללים כי עומסי עבודה גרפיים, כמו רינדור והמחשה חזותית, יכולים להפיק תועלת מהדרישות המופחתות של FP16 לשימוש בזיכרון ולרוחב פס, גם כשלא משתמשים בליבות Tensor.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. ההערה הבאה רלוונטית גם:
- A4X Max (GB300) FP64: הביצועים של FP64 ב-GB300 מופחתים כדי לתת עדיפות לביצועים של FP4.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1.39 | 45 | לא רלוונטי |
| A4X (GB200) | 45 | 45 | לא רלוונטי |
| A4 (B200) | 40 | 80 | לא רלוונטי |
| G4 (RTX PRO 6000) | 1.8 | 117 | 117 |
ארכיטקטורות Hopper, Ada Lovelace ו-Ampere
בסדרת A3 נעשה שימוש בארכיטקטורת Hopper, שבה הוצגו מנועים ייעודיים למודלים של טרנספורמרים. סדרת A2 משתמשת בארכיטקטורת Ampere, שמספקת בסיס מאוזן לאימון ולהסקת מסקנות בביצועים גבוהים. סדרת G2 משתמשת בארכיטקטורת Ada Lovelace, שמספקת האצה רב-תכליתית וחסכונית באנרגיה להסקת AI, להמרת קידוד של וידאו ולעומסי עבודה גרפיים.
Tensor Core
הארכיטקטורות Hopper, Ada Lovelace ו-Ampere כוללות ליבות Tensor מתקדמות שמאיצות את סוגי הנתונים TF32, FP16, FP8 ו-INT8, ומספקות תפוקה גבוהה לאימון ולהסקת מסקנות ברמת דיוק משולבת.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. הערות נוספות:
- TF32, Mixed FP16/32, INT8 ו-FP8: הארכיטקטורות Hopper, Ada Lovelace ו-Ampere תומכות בדלילות מבנית למדדי הדיוק האלה (וגם ל-INT4), מה שיכול להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על כפל מטריצות צפופות. אם משתמשים בדלילות מבנית, הביצועים מוכפלים.
- Mixed FP16/32: לאימון עם דיוק מעורב, מעבדי GPU של NVIDIA H200, H100, A100 ו-L4 תומכים גם בסוג הנתונים
bfloat16.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 מעורב (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A3 Mega/High/Edge (H100) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A2 Ultra (A100 80GB) | 19.5 | 156 | 312 | 624 | לא רלוונטי |
| A2 Standard (A100 40GB) | 19.5 | 156 | 312 | 624 | לא רלוונטי |
| G2 (L4) | לא רלוונטי | 60 | 121 | 242.5 | 121 |
ליבות CUDA רגילות
סוגי המכונות שמשתמשים בארכיטקטורות Hopper, Ada Lovelace ו-Ampere מספקים פעולות FP64 ו-FP32 עם ביצועים גבוהים לעומסי עבודה תובעניים של HPC ו-AI.
בטבלה הבאה, N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80GB) | 9.7 | לא רלוונטי |
| A2 Standard (A100 40GB) | 9.7 | לא רלוונטי |
| G2 (L4) | לא רלוונטי | 30.3 |
ארכיטקטורות Volta, Pascal ו-Turing
בסוגי המכונות N1 נעשה שימוש בארכיטקטורות ה-GPU הבאות:
Tensor Core
הארכיטקטורות Turing ו-Volta של NVIDIA, שזמינות במכונות N1, מספקות תמיכה ב-Tensor Core לפעולות של דיוק מעורב, INT8 ו-INT4, ומציעות האצה בסיסית להסקת מסקנות בלמידה עמוקה.
במעבדי ה-GPU האלה הוצגו הדורות הראשונים של ליבות Tensor, שמשמשות בעיקר לאימון FP16 ולקוונטיזציה של INT8 ו-INT4 בהסקת מסקנות. הטבלה הזו לא כוללת את סוג המכונה N1 (P4) כי אין לה ליבות Tensor.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | FP16/32 מעורב (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | לא רלוונטי | לא רלוונטי |
| N1 (T4) | 65 | 130 | 260 |
ליבות CUDA רגילות
סוגי המכונות שמשתמשים בארכיטקטורות Volta, Pascal ו-Turing מצוידים בליבות FP64 ו-FP32 CUDA כדי להאיץ מגוון עומסי עבודה של HPC ו-AI.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7.8 | 15.6 |
| N1 (T4) | לא רלוונטי | 8.1 |
| N1 (P4) | 0.2 | 5.5 |