אפשרויות צריכה של AI Hypercomputer

ב-AI Hypercomputer יש כמה אפשרויות לצריכה של משאבי מחשוב. האפשרויות האלה נותנות מענה לצרכים כמו משך עומס העבודה, עמידות בפני תקלות ומודל התשתית. כדאי לקרוא על האפשרויות האלה ולבחור את האפשרות שהכי מתאימה לתרחיש לדוגמה שלכם.

במקום לבצע הערכה ידנית, אתם יכולים להנחות את Gemini במסוףGoogle Cloud להשוות בין אפשרויות הצריכה של עומס העבודה והתקציב שלכם. מידע נוסף זמין במאמר תכנון תשתית AI באמצעות Compute Advisor.

סקירה כללית של אפשרויות הצריכה

בטבלה הבאה מוצגת השוואה בין אפשרויות הצריכה לפי מאפיינים עיקריים:

אפשרות צריכה מודל הקצאת ההרשאות למי זה מתאים הבטחת קיבולת תוחלת חיים יכולת הפסקה לפני הזמן מכסה הנחות מודל הקצאה
התחלה גמישה (Flex-start) התחלה גמישה (Flex-start) עומסי עבודה קצרים של עד שבעה ימים שיכולים להמתין לקיבולת. במידת האפשר עד שבעה ימים לא מכסת מכונות עם יכולת הפסקה לפני הזמן הנחה (עד 53%) על סדרות נתמכות צפוף לבקשות לשינוי כמות ב-MIG; מאמץ מרבי למכונות וירטואליות עצמאיות.
‏VMs במודל Spot כרטיס Spot עומסי עבודה כלליים קצרים ב-GPU, עם עמידות בפני תקלות. במידת האפשר יכולת הפסקה לפני הזמן כן מכסת מכונות עם יכולת הפסקה לפני הזמן הנחות משמעותיות (עד 91%) רגילה
הזמנות רגילות רגילה עומסי עבודה כלליים קריטיים של GPU שדורשים רמה גבוהה מאוד של הבטחת קיבולת. גבוהה מאוד ללא הגבלה לא לא נוצלה מכסה תעריפים מוזלים עם הנחות תמורת התחייבות לשימוש (CUD) רגילה
מקומות שמורים לעתיד בגושי קיבולת הזמנה מראש אימון בקנה מידה גדול לאורך זמן באשכול GPU. גבוהה מאוד ללא הגבלה במהלך תקופת ההזמנה. לא המכסה גדלה לפני המסירה הנחה (עד 53%) עם הנחות תמורת התחייבות לשימוש (CUD) צפוף
מקומות שמורים לעתיד במצב תזמון הזמנה מראש עומסי עבודה של אשכולות GPU עד 90 יום שדורשים קיבולת שמורה. גבוהה מאוד עד 90 יום לא לא נוצלה מכסה בהנחה (עד 53%) צפוף
מכונות וירטואליות על פי דרישה רגילה עומסי עבודה כלליים של GPU ללא משך זמן ספציפי. במידת האפשר ללא הגבלה לא מכסה לפי דרישה אין (תשלום לפי שימוש) רגילה

אפשרות הצריכה שבה משתמשים כדי לפרוס את התשתית תלויה בשימוש ב-GPU כללי או באשכול GPU.

  • GPU כללי: מיועד להסקת מסקנות, לפיתוח ולעומסי עבודה של אימון בקנה מידה קטן. סוג ה-GPU הזה מציע גמישות תפעולית באמצעות תחזוקה אסינכרונית. במאמר אפשרויות צריכה של GPU כללי מפורטות האפשרויות הזמינות.

  • אשכול GPU: מיועד לעומסי עבודה גדולים של אימון מודלים עם צימוד חזק, ולעומסי עבודה גדולים של הסקת מסקנות, למידת חיזוק (RL) ומודלים של חשיבה רציונלית שדורשים הבטחת קיבולת גבוהה והקצאת משאבים צפופה כדי לצמצם את זמן האחזור ברשת. אפשרויות הצריכה של אשכול GPU

אפשרויות צריכה של מעבדי GPU כלליים

כדי לרכוש קיבולת ל-GPU כללי, אתם יכולים להשתמש באפשרויות הצריכה הבאות:

שימוש ב-Flex-start

כדי להריץ עומסי עבודה קצרים שדורשים הקצאה צפופה של משאבים, אתם יכולים לבקש משאבי מחשוב לתקופה של עד שבעה ימים באמצעות Flex-start. בכל פעם שיש משאבים זמינים, המערכת של Compute Engine יוצרת את מספר המכונות הווירטואליות שביקשתם. אפשר לעצור מכונות וירטואליות עצמאיות מסוג Flex-start, אבל אי אפשר לעצור מכונות וירטואליות מסוג Flex-start שנוצרו על ידי קבוצת מכונות מנוהלת (MIG) באמצעות בקשות לשינוי כמות. המכונות הווירטואליות מסוג Flex-start קיימות עד שמוחקים אותן, או עד ש-Compute Engine מוחק אותן בסיום משך ההרצה שלהן.

עומסי עבודה אידיאליים

  • אימון מראש של מודל קטן
  • כוונון עדין של מודלים
  • סימולציה של מחשוב עתיר ביצועים (HPC)
  • הסקת מסקנות באצווה

מאפיינים מרכזיים

  • מודל הקצאה: התחלה גמישה (Flex-start).
  • תמיכה רחבה בחומרה: אפשר לבקש כל סוג מכונה של אשכול GPU, חוץ מ-A5X,‏ A4X Max ו-A4X.
  • אופטימיזציה של זמן האחזור: כדי לצמצם את זמן האחזור של הרשת, אפשר להחיל מדיניות למיקום קומפקטי על מכונות וירטואליות עצמאיות.
  • חיסכון בעלויות: הנחה של עד 53% על vCPU, זיכרון, GPU ודיסקים של SSD מקומיים לסדרות המכונות A4,‏ A3,‏ A2 ו-G4. בסדרות נתמכות אחרות, חלים התעריפים הרגילים לפי דרישה. מידע נוסף זמין במאמר תמחור של Flex-start.

שימוש ב-Spot

כדי להריץ עומסי עבודה שעמידים בכשלים, אתם יכולים לקבל משאבי מחשוב באופן מיידי על סמך הזמינות. אתם מקבלים משאבים במחיר הנמוך ביותר האפשרי. עם זאת, Compute Engine יכול להחליף מכונות וירטואליות בכל שלב כדי להחזיר את הקיבולת.

עומסי עבודה אידיאליים

  • עיבוד באצווה וניתוח נתונים
  • מחשוב עתיר ביצועים (HPC) וקידוד מדיה

מאפיינים מרכזיים

  • מודל הקצאה: Spot.
  • תמיכה רחבה בחומרה: אפשר לבקש כל סוג מכונה של אשכול GPU, חוץ מ-A5X,‏ A4X Max ו-A4X.
  • אופטימיזציה של זמן האחזור: כדי לצמצם את זמן האחזור של הרשת, אפשר להחיל מדיניות למיקום קומפקטי על מכונות וירטואליות עצמאיות.
  • חיסכון בעלויות: הנחה של עד 91% על vCPU, זיכרון, GPU ודיסקים מקומיים מסוג SSD.

שימוש לפי דרישה

טיפ: כדי להגדיל את הסיכויים לקבל קיבולת GPU כללית, השתמשו ב-Flex-start או ב-Spot. אפשרויות הצריכה האלה מציעות מעבדי GPU במחיר מוזל בהשוואה לתמחור על פי דרישה, והן נועדו לעזור לכם להגדיל את הסיכויים להשיג משאבים בביקוש גבוה כמו מעבדי GPU.

כדי להריץ עומסי עבודה בלי משך זמן ספציפי, אתם יכולים לקבל משאבי מחשוב באופן מיידי על סמך הזמינות. המכונות הווירטואליות פועלות עד שעוצרים או מוחקים אותן.

עומסי עבודה אידיאליים

  • הסקה ופרסום המודל
  • יצירת אב טיפוס וניסויים

מאפיינים מרכזיים

  • מודל הקצאה: רגיל.
  • זמינות מיידית: יצירת מכונות וירטואליות באופן מיידי, בלי לחכות לתזמון או לאישור של קיבולת.
  • ‫Standard pricing: תשלום על משאבים בתעריפים רגילים על פי דרישה, בלי התחייבויות לטווח ארוך.
  • תמיכה רחבה בחומרה: אפשר להשתמש בכל סדרת מכונות GPU שנתמכת בנתיב הכללי של GPU.

שימוש בהזמנות רגילות

כדי להריץ עומסי עבודה קריטיים כלליים ב-GPU שדורשים רמה גבוהה מאוד של הבטחת קיבולת, אתם יכולים להשתמש בהזמנות רגילות.

עומסי עבודה אידיאליים

  • עומסי עבודה קריטיים בסביבת ייצור
  • עומסי עבודה שדורשים קיבולת מובטחת

מאפיינים מרכזיים

  • מודל הקצאה: רגיל.
  • הבטחת קיבולת: הבטחה ברמה גבוהה מאוד שהמשאבים זמינים.
  • תמחור: חלים תעריפים רגילים, אבל אפשר לצרף הנחות תמורת התחייבות לשימוש (CUD) כדי לחסוך.

אפשרויות צריכה של אשכול GPU

כדי לרכוש קיבולת לאשכול GPU, אתם יכולים להשתמש באפשרויות הצריכה הבאות.

שימוש במקומות שמורים לעתיד בשביל גושי קיבולת

כדי להריץ עומסי עבודה מבוזרים בקנה מידה גדול ולטווח ארוך שדורשים הקצאת משאבים צפופה, אתם יכולים לבקש הקצאה צפופה של משאבי מחשוב לתאריך ולשעה עתידיים. יש לכם גישה בלעדית למשאבים השמורים שלכם במהלך פרק הזמן הזה, ואתם יכולים להשתמש במשאבים כדי ליצור מכונות וירטואליות או אשכולות. בסיום תקופת שמירת המקום, Compute Engine מבצע את הפעולות הבאות:

  • Compute Engine מוחק את המקום השמור ואת כל מאגרי ה-Storage Pool הריקים שמשויכים אליו.
  • בהתאם לפעולת הסיום שציינתם למכונות הווירטואליות, Compute Engine עוצר או מוחק את כל המכונות הווירטואליות שמשתמשות בהזמנה.

עומסי עבודה אידיאליים

  • אימון מראש של מודלים בסיסיים
  • הסקת מסקנות למודלים בסיסיים בכמה מארחים

מאפיינים מרכזיים

  • מודל הקצאה: מוגבל להזמנה.
  • תמיכה במכונות פרימיום: הזמנת מכונות מסוג A5X,‏ A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega או A3 High (8 GPUs).
  • הזמנות של Hyperdisk: אתם יכולים להזמין Hyperdisk Storage Pool או Hyperdisk Exapool יחד עם קיבולת המחשוב, כדי לוודא שלעומסי העבודה שלכם יש מספיק משאבי אחסון. ‫Google ממקמת את מאגרי Hyperdisk באותו מקום שבו נמצאים צומתי המחשוב כדי לשפר את ביצועי האחסון.
  • דרישות ההתחייבות: כדי לקבל הנחות על משאבי המחשוב ועל מאגרי Hyperdisk, צריך לצרף התחייבות לשימוש במשאבים להזמנות של שנה או יותר.
  • שינויים דינמיים: הפעלת התראות על תחזוקת חירום של חומרה לשימוש במשימות של Vertex AI אחרי שתקופת השימוש מתחילה.

איך משתמשים במקומות שמורים לעתיד במצב תזמון

כדי להריץ עומסי עבודה מבוזרים לטווח קצר שדורשים הקצאה צפופה של משאבים, אתם יכולים לבקש משאבי מחשוב לתקופה של עד 90 יום. במהלך התקופה הזו, יש לכם גישה בלעדית למשאבים השמורים, ואתם יכולים להשתמש בהם כדי ליצור מכונות וירטואליות או אשכולות. בסיום תקופת שמירת המקום, Compute Engine מבצע את הפעולות הבאות:

  • המקום השמור נמחק ב-Compute Engine.
  • בהתאם לפעולת הסיום שציינתם למכונות הווירטואליות, Compute Engine עוצר או מוחק את כל המכונות הווירטואליות שמשתמשות בהזמנה.

עומסי עבודה אידיאליים

  • אימון מקדים וכוונון עדין
  • הדמיות והסקת מסקנות בקנה מידה גדול

מאפיינים מרכזיים

  • מודל הקצאה: מבוסס-הזמנה.
  • תמיכה בסדרות מכונות: אפשר להזמין מכונות מסוג A4,‏ A3 Ultra,‏ A3 Mega או A3 High (עם 8 יחידות GPU).
  • מגבלות מדרגיות: אפשר לשריין עד 80 מכונות וירטואליות לתקופה של עד 90 ימים.
  • הקצאה אופטימלית: שימוש במודל מבוסס-הזמנה כדי להגדיל את הסיכויים לקבלת מעבדי GPU.

שימוש ב-Flex-start

התחלה גמישה (Flex-start) מתאימה לבקשות לשינוי כמות של קבוצת מופעי מכונה מנוהלים (MIG) באשכול, כשצריך להקצות משאבים בצפיפות גבוהה לתקופה של עד שבעה ימים.

עומסי עבודה אידיאליים

מכונות Flex-start VM מתאימות להרצת עומסי עבודה שיכולים להתחיל בכל שלב, כמו:

  • אימון מראש של מודל קטן
  • כוונון עדין של מודלים
  • סימולציה של מחשוב עתיר ביצועים (HPC)
  • הסקת מסקנות באצווה

מאפיינים מרכזיים

  • מודל הקצאה: התחלה גמישה (Flex-start).
  • הקצאת משאבים: הקצאה צפופה לבקשות לשינוי כמות של MIG.
  • חיסכון בעלויות: אתם מקבלים הנחה של עד 53% על vCPUs, זיכרון, GPUs וכל דיסק SSD מקומי שמחובר לסדרות המכונות A4,‏ A3,‏ A2 ו-G4. בסדרות מכונות נתמכות אחרות חלים תעריפים רגילים על פי דרישה.

שימוש ב-Spot

אתם יכולים להשתמש ב-VM במודל Spot לעומסי עבודה עמידים בכשלים שמוקצים בצפיפות כדי לקבל הנחות משמעותיות, מתוך הבנה ש-Compute Engine יכול להפסיק VM לפני הזמן כדי להחזיר את הקיבולת.

עומסי עבודה אידיאליים

  • אימון מבוזר עמיד בכשלים
  • עיבוד באצווה (batch processing)

מאפיינים מרכזיים

  • מודל הקצאה: Spot.
  • הפקעה: Compute Engine יכול להפקיע מכונות בכל שלב.
  • חיסכון בעלויות: הנחה של עד 91% על vCPU, זיכרון, GPU וכל דיסק SSD מקומי שמחובר

המאמרים הבאים