סקירה כללית של יחידות GPU

מעבדי GPU כלליים מותאמים לעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML) שמתעדפים גמישות תפעולית, עצמאות של משאבים ועלות-תועלת.

מעבדים גרפיים כלליים מאפשרים לצוותים לפרוס ולהתאים את מאיצי NVIDIA עם אוטונומיה תפעולית מלאה, תוך עקיפת המורכבות הארכיטקטונית של אשכולות מחשבי-על מתואמים. הם אידיאליים לעומסי עבודה שבהם יש עדיפות לזמינות גבוהה, להקצאה בשירות עצמי ולהתאמה לעומס באופן עצמאי. תרחישים נפוצים לדוגמה כוללים הסקת מסקנות בזמן אמת, RAG, יצירת אב טיפוס ואימון מודלים קטנים עד בינוניים.

המאפיינים העיקריים של מעבדים גרפיים כלליים

  • גמישות תפעולית: אתם יכולים לנהל את המשאבים באמצעות ממשקים סטנדרטיים של GKE (במצב Autopilot ובמצב Standard) ושל Compute Engine, כדי לפשט את הפריסה ואת ההתאמה לעומס.
  • זמינות גבוהה: Google Cloud עדכון של מכונות ספציפיות באופן עצמאי, כדי לוודא שעדכונים בצומת אחד לא משפיעים על הזמינות של צמתים אחרים. כך מאזן העומסים יכול להפנות מחדש את התנועה בלי לעכב את הצגת המודעות.
  • רשת פשוטה: עומסי העבודה משתמשים בשירותים סטנדרטיים של ענן וירטואלי פרטי (VPC) וב-TCP/IP סטנדרטי דרך ממשקי Google Virtual NIC ‏ (gVNIC), כדי לבטל את הצורך במארגי חומרה מורכבים.
  • אופטימיזציה של עלויות: אתם יכולים להשתמש ב-VM במודל Spot למחקרים עמידים בכשלים, כדי לחסוך עד 90% בהשוואה לתעריפים רגילים על פי דרישה.
  • רכישה בשירות עצמי: אתם יכולים לקבל קיבולת ישירות דרך הזמנות רגילות ובקשות על פי דרישה, בלי צורך בתהליכי עבודה שמנוהלים על ידי צוות ניהול החשבון.

משפחות GPU כלליות ומפרטים טכניים

כדאי לבדוק את עומסי העבודה ואת המפרטים של החומרה בסדרת המכונות General GPU. לעיבוד בקצב גבוה, השתמשו בסדרת A3 Edge.

סדרת A3 (High עם GPU אחד, 2 או 4 ו-Edge)

‫A3 High (מעבד GPU אחד, 2 או 4)

אם אתם מריצים עומסי עבודה של הסקת מסקנות או אימון סטנדרטי שדורשים ביצועים גבוהים, אבל לא צריכים אשכול מסונכרן מלא של 8 מעבדי GPU, השתמשו בסדרת המכונות A3 High עם 1, 2 או 4 מעבדי GPU מחוברים.

למכונות מסוג A3 High יש מעבדי GPU מסוג NVIDIA H100 SXM, והן מתאימות גם להסקת מסקנות ממודלים גדולים וגם לכוונון מודלים. מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A3 High.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA H100 זיכרון GPU‏ (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

A3 Edge

אם אתם מריצים עומסי עבודה של הסקת מסקנות מבוזרת עם תפוקה גבוהה בכמה מארחים בלי מארג אשכולות מתואם, השתמשו בסדרת A3 Edge כדי לפשט את הפריסה ברשתות וירטואליות פרטיות רגילות.

סוגי המכונות A3 Edge כוללים מעבדי GPU מסוג NVIDIA H100 SXM, והם מיועדים במיוחד להצגה וזמינים בקבוצה מוגבלת של אזורים. מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A3 Edge.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA H100 זיכרון GPU‏ (GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5 ‫600 (asia-south1 ו-northamerica-northeast2) או 400 (כל שאר האזורים של A3 Edge) 8 640

סדרת A2‏ (Standard ו-Ultra)

אם אתם צריכים להפעיל מודל בעל ביצועים גבוהים בצומת יחיד, או לבצע כוונון בקנה מידה קטן, השתמשו בסדרת המכונות A2 כדי לגשת למשאבי GPU ייעודיים של NVIDIA A100.

A2 Ultra

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA A100 80GB זיכרון GPU‏ (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

A2 Standard

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA A100 40GB זיכרון GPU‏ (GB HBM2)
a2-highgpu-1g 12 85 כן 24 1 40
a2-highgpu-2g 24 170 כן 32 2 80
a2-highgpu-4g 48 340 כן 50 4 160
a2-highgpu-8g 96 680 כן 100 8 320
a2-megagpu-16g 96 1,360 כן 100 16 640

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת G4

אם הצוות שלכם צריך עומסי עבודה חסכוניים של הסקת מסקנות ברמת בסיס או רינדור גרפיקה סטנדרטי, השתמשו בסדרת המכונות G4 עם מעבדי GPU מסוג NVIDIA RTX PRO 6000.

במכונות מסוג G4 משתמשים ב- מעבדי GPU מסוג NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000), והן מתאימות לעומסי עבודה של סימולציה ב-NVIDIA Omniverse, לאפליקציות שדורשות עיבוד גרפי אינטנסיבי, להמרת קידוד של וידאו ולמחשבים וירטואליים. בנוסף, סוגי המכונות G4 מספקים פתרון זול להסקת מסקנות במארח יחיד ולכוונון מודלים בהשוואה לסוגי המכונות מסדרה A.

אפשר גם להוסיף דיסקים של Titanium SSD כשיוצרים מכונה מסוג G4. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים. מידע על המגבלות של סוגי המכונות מופיע במאמר המגבלות של G4.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) הנפח המקסימלי של Titanium SSD שנתמך (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA RTX PRO 6000 זיכרון GPU‏ (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

*זיכרון GPU הוא הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי העבודה המואצים, כמו עומסי עבודה של למידת מכונה ועומסי עבודה שדורשים משאבים גרפיים רבים.

סדרת G2

אם אתם פורסים אפליקציות נפוצות להסקת מסקנות בזמן אמת או צינורות עיבוד נתונים של Retrieval-Augmented Generation ‏ (RAG), השתמשו בסדרת המכונות G2 כדי לאזן בין הביצועים לבין היעילות מבחינת עלות באמצעות מעבדי NVIDIA L4 GPU.

סוג המכונה מספר מעבדי ה-vCPU זיכרון ברירת המחדל של המכונה (GB) טווח זיכרון מותאם אישית למכונה (GB) נפח מקסימלי נתמך של כונן SSD מקומי (GiB) רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA L4 זיכרון GPU (GB GDDR6)
g2-standard-4 4 16 ‫16 עד 32 375 10 1 24
g2-standard-8 8 32 32 עד 54 375 16 1 24
g2-standard-12 12 48 48 עד 54 375 16 1 24
g2-standard-16 16 64 ‫54 עד 64 375 32 1 24
g2-standard-24 24 96 96 עד 108 750 32 2 48
g2-standard-32 32 128 96 עד 128 375 32 1 24
g2-standard-48 48 192 192 עד 216 1,500 50 4 96
g2-standard-96 96 384 ‫384 עד 432 3,000 100 8 192

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת N1‏ (NVIDIA T4 או V100)

אם אתם רוצים לערוך ניסויים בעלות נמוכה או להריץ הסקות ברמת בסיס עם בו-זמניות נמוכה, השתמשו בסדרת המכונות N1 כדי לצרף מעבדי GPU מסוג NVIDIA T4 או V100.

NVIDIA T4

סוג המאיץ מספר מעבדי ה-GPU מסוג NVIDIA T4 זיכרון GPU (GB GDDR6) מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי
nvidia-tesla-t4 או nvidia-tesla-t4-vws 1 16 ‫1 עד 48 ‫1 עד 312 כן
nvidia-tesla-t4 או nvidia-tesla-t4-vws 2 32 ‫1 עד 48 ‫1 עד 312 כן
nvidia-tesla-t4 או nvidia-tesla-t4-vws 4 64 ‫1 עד 96 ‫1 עד 624 כן

NVIDIA V100

סוג המאיץ מספר מעבדי GPU מסוג NVIDIA V100 זיכרון GPU‏ (GB HBM2) מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי
nvidia-tesla-v100 1 16 1 עד 12 ‫1 עד 78 כן (חוץ מ-us-east1-c)
nvidia-tesla-v100 2 32 ‫1 עד 24 ‫1 עד 156 כן (חוץ מ-us-east1-c)
nvidia-tesla-v100 4 64 ‫1 עד 48 ‫1 עד 312 כן (חוץ מ-us-east1-c)
nvidia-tesla-v100 8 128 ‫1 עד 96 ‫1 עד 624 כן (חוץ מ-us-east1-c)

רכישת קיבולת

מאיצי GPU כלליים משתמשים בהקצאה רגילה בשירות עצמי. אתם יכולים לקבל קיבולת באמצעות מקומות שמורים רגילים, בקשות על פי דרישה או VM במודל Spot. בגלל שבקיבולת על פי דרישה יכולים להיות חוסרים במלאי, כדאי להשתמש ב-VM במודל Spot או ב-Flex-start כשאפשר.

המאמרים הבאים