ל-AI Hypercomputer יש כמה אפשרויות צריכה לרכישת משאבי מחשוב. האפשרויות האלה מתאימות לצרכים כמו משך עומס העבודה, עמידות בפני תקלות ומודל התשתית. כדאי לעיין באפשרויות האלה ולבחור את האפשרות שהכי מתאימה לתרחיש השימוש שלכם.
במקום לבצע הערכה ידנית, אתם יכולים להזין הנחיה ל-Gemini במסוףGoogle Cloud כדי להשוות בין אפשרויות הצריכה של עומס העבודה והתקציב שלכם. מידע נוסף זמין במאמר בנושא תכנון תשתית AI באמצעות Compute Advisor.
סקירה כללית של אפשרויות הצריכה
כדי להשוות בין אפשרויות הצריכה לפי מאפיינים מרכזיים, אפשר להיעזר בטבלה הבאה:
| אפשרות צריכה | מודל הקצאת ההרשאות | למי זה מתאים | הבטחת קיבולת | תוחלת חיים | יכולת הפסקה לפני הזמן | מכסה | הנחות | מודל הקצאה |
|---|---|---|---|---|---|---|---|---|
| Flex-start | Flex-start | עומסי עבודה לפרק זמן קצר של עד שבעה ימים, שיכולים להמתין לקיבולת. | ללא התחייבות | עד שבעה ימים | לא | מכסה של מכונות שאפשר להפסיק לפני הזמן | הנחה (עד 53%) על סדרות נתמכות | צפוף לבקשות לשינוי גודל של MIG; מאמץ מקסימלי למכונות וירטואליות עצמאיות. |
| מכונות וירטואליות של Spot | Spot | עומסי עבודה כלליים ב-GPU עם עמידות בפני תקלות ומשך קצר. | ללא התחייבות | יכולת הפסקה לפני הזמן | כן | מכסה של מכונות שאפשר להפסיק לפני הזמן | הנחה משמעותית (עד 91%) | רגילה |
| הזמנות רגילות | רגילה | עומסי עבודה קריטיים של GPU כלליים שדורשים רמת ודאות גבוהה מאוד לגבי הקיבולת. | גבוהה מאוד | גבוהה מאוד | בהגדרת המשתמש | לא | לא נוצלה מכסה | תעריפים מוזלים עם הנחות תמורת התחייבות לשימוש (CUD) |
| שריון מקום שמור לעתיד לבלוקים של קיבולת | הזמנה בלבד | אימון רחב היקף וארוך טווח ב-GPU מקובץ. | גבוהה מאוד | ללא הגבלה במהלך תקופת ההזמנה. | לא | הגדלה אוטומטית | הנחה (עד 53%) עם CUD | צפוף |
| הזמנות עתידיות במצב יומן | הזמנה בלבד | עומסי עבודה של GPU באשכולות למשך עד 90 יום שדורשים קיבולת מוזמנת. | גבוהה מאוד | עד 90 ימים | לא | לא נוצלה מכסה | בהנחה (עד 53%) | צפוף |
| מכונות וירטואליות על פי דרישה | רגילה | עומסי עבודה כלליים של GPU ללא משך זמן ספציפי. | ללא התחייבות | ללא הגבלה | לא | מכסה על פי דרישה | ללא (תשלום לפי שימוש) | רגילה |
אפשרות הצריכה שבה אתם משתמשים כדי לפרוס את התשתית תלויה בשאלה אם אתם משתמשים ב-GPU כללי או ב-GPU מקובץ.
GPU כללי: מיועד להסקת מסקנות בקנה מידה קטן, לפיתוח ולעומסי עבודה של אימון בקנה מידה קטן יותר. סוג כזה של GPU מציע גמישות תפעולית באמצעות תחזוקה אסינכרונית. כדי לראות את האפשרויות הזמינות, אפשר לעיין במאמר בנושא אפשרויות צריכה של GPU כללי.
Clustered GPU: מיועד לעומסי עבודה של אימון בהיקף גדול, עומסי עבודה של היקש בהיקף גדול, עומסי עבודה של RL ועומסי עבודה של מודלי חשיבה רציונלית שדורשים הבטחת קיבולת גבוהה והקצאת משאבים צפופה כדי למזער את זמן האחזור ברשת. אפשר לראות את האפשרויות הזמינות במאמר אפשרויות צריכה של GPU באשכול.
אפשרויות צריכה של מעבדי GPU כלליים
כדי לרכוש קיבולת ל-GPU כללי, אפשר להשתמש באפשרויות הצריכה הבאות.
שימוש ב-Flex-start
כדי להריץ עומסי עבודה לפרקי זמן קצרים שדורשים הקצאה צפופה של משאבים, אפשר לבקש משאבי מחשוב למשך עד שבעה ימים באמצעות Flex-start. בכל פעם שמשאבים זמינים, Compute Engine יוצרת את מספר המכונות הווירטואליות שביקשתם. אפשר להפסיק מכונות וירטואליות עצמאיות עם תשלום לפי שימוש, אבל אי אפשר להפסיק מכונות וירטואליות עם תשלום לפי שימוש שנוצרו על ידי קבוצת מופעים מנוהלת (MIG) באמצעות בקשות לשינוי גודל. מכונות וירטואליות עם הפעלה גמישה קיימות עד שמוחקים אותן, או עד שמערכת Compute Engine מוחקת אותן בסוף משך ההרצה שלהן.
עומסי עבודה אידיאליים
- אימון מקדים של מודל קטן
- כוונון עדין של מודלים
- סימולציה של מחשוב עתיר ביצועים (HPC)
- היסק באצווה
מאפיינים מרכזיים
- מודל הקצאת משאבים: Flex-start.
- תמיכה רחבה בחומרה: אפשר לבקש כל סוג מכונה של GPU מקובץ, למעט A4X Max ו-A4X.
- אופטימיזציה של זמן האחזור: אפשר להחיל מדיניות למיקום קומפקטי על מכונות וירטואליות עצמאיות כדי למזער את זמן האחזור ברשת.
- יעילות בעלויות: מקבלים הנחה של עד 53% על vCPU, זיכרון, GPU ודיסקים של SSD מקומיים בסדרות המכונות A4, A3, A2 ו-G4. על סדרות נתמכות אחרות חלים תעריפים רגילים לפי דרישה. מידע נוסף זמין במאמר בנושא תמחור עם התחלה גמישה (Flex-start).
שימוש ב-Spot
כדי להריץ עומסי עבודה עמידים בכשלים, אתם יכולים לקבל משאבי מחשוב באופן מיידי על סמך הזמינות. אתם מקבלים משאבים במחיר הנמוך ביותר האפשרי. עם זאת, Compute Engine יכול להפסיק את הפעולה של מכונות וירטואליות בכל שלב כדי לפנות קיבולת.
עומסי עבודה אידיאליים
- עיבוד באצווה וניתוח נתונים
- מחשוב עתיר ביצועים (HPC) וקידוד מדיה
מאפיינים מרכזיים
- מודל הקצאת הרשאות: Spot.
- תמיכה רחבה בחומרה: אפשר לבקש כל סוג מכונה של GPU מקובץ, למעט A4X Max ו-A4X.
- אופטימיזציה של זמן האחזור: אפשר להחיל מדיניות למיקום קומפקטי על מכונות וירטואליות עצמאיות כדי למזער את זמן האחזור ברשת.
- יעילות בעלויות: מקבלים הנחה של עד 91% על vCPU, זיכרון, GPU ודיסקים של SSD מקומיים.
שימוש על פי דרישה
טיפ: כדי להגדיל את הסיכויים לקבל קיבולת GPU כללית, כדאי להשתמש ב-Flex-start או ב-Spot. אפשרויות הצריכה האלה מציעות יחידות GPU במחיר מוזל בהשוואה למחיר לפי דרישה, והן נועדו לעזור לכם להגדיל את הסיכויים שלכם לקבל משאבים מבוקשים כמו יחידות GPU.
כדי להריץ עומסי עבודה ללא משך זמן ספציפי, אתם יכולים לקבל משאבי מחשוב באופן מיידי על סמך הזמינות. המכונות הווירטואליות פועלות עד שמפסיקים את הפעולה שלהן או מוחקים אותן.
עומסי עבודה אידיאליים
- הסקת מסקנות ופרסום מודלים
- יצירת אב טיפוס וניסויים
מאפיינים מרכזיים
- מודל הקצאת הרשאות: רגיל.
- זמינות מיידית: יצירת מופעי מכונה וירטואלית באופן מיידי בלי לחכות לתזמון או לאישור של קיבולת.
- Standard pricing: תשלום על משאבים בתעריפים רגילים לפי דרישה ללא התחייבויות לטווח ארוך.
- תמיכה רחבה בחומרה: אפשר להשתמש בכל סדרת מכונות GPU נתמכת בנתיב ה-GPU הכללי.
שימוש בהזמנות רגילות
כדי להריץ עומסי עבודה קריטיים של GPU כללי שדורשים רמת ודאות גבוהה מאוד לגבי הקיבולת, אפשר להשתמש בהזמנות רגילות.
עומסי עבודה אידיאליים
- עומסי עבודה קריטיים בסביבת ייצור
- עומסי עבודה שנדרשת להם קיבולת מובטחת
מאפיינים מרכזיים
- מודל הקצאת הרשאות: רגיל.
- הבטחת קיבולת: מספקת רמת ודאות גבוהה מאוד לגבי זמינות המשאבים.
- תמחור: חלים תעריפים רגילים, אבל אפשר לצרף הנחות תמורת התחייבות לשימוש כדי לחסוך בעלויות.
אפשרויות צריכה של GPU באשכול
כדי לרכוש קיבולת ל-GPU מקובץ, אפשר להשתמש באפשרויות הצריכה הבאות.שימוש בהזמנות עתידיות לבלוקים של קיבולת
כדי להריץ עומסי עבודה ממושכים ומבוזרים בקנה מידה גדול שדורשים הקצאה צפופה של משאבי מחשוב, אתם יכולים לבקש משאבי מחשוב לזמן ספציפי בעתיד. יש לכם גישה בלעדית למשאבים שהזמנתם למשך התקופה הזו, ואתם יכולים להשתמש במשאבים כדי ליצור מכונות וירטואליות או אשכולות. בסיום תקופת שמירת המקום, מערכת Compute Engine מבצעת את הפעולות הבאות:
- המקום השמור יימחק ב-Compute Engine.
- בהתאם לפעולת הסיום שצוינה למכונות הווירטואליות, מערכת Compute Engine מפסיקה את הפעילות של מכונות וירטואליות שמשתמשות בהזמנה או מוחקת אותן.
עומסי עבודה אידיאליים
- אימון מראש של מודלים בסיסיים
- הסקת מסקנות לגבי מודלים בסיסיים בכמה מארחים
מאפיינים מרכזיים
- מודל הקצאת משאבים: שמירת מקום.
- תמיכה במכונות פרימיום: הזמנת סוגי מכונות A4X Max, A4X, A4, A3 Ultra, A3 Mega או A3 High (8 GPUs).
- דרישות להתחייבות: צריך לצרף התחייבות לשימוש במשאבים להזמנות של שנה אחת או יותר.
- שינויים דינמיים: הפעלת התראות על תחזוקת חירום של חומרה לשימוש במשימות של Vertex AI אחרי תחילת התקופה.
שימוש בהזמנות עתידיות במצב יומן
כדי להריץ עומסי עבודה מבוזרים לזמן קצר שדורשים הקצאה צפופה של משאבים, אפשר לבקש משאבי מחשוב לתקופה של עד 90 ימים. במהלך התקופה הזו יש לכם גישה בלעדית למשאבים שהזמנתם, ואתם יכולים להשתמש בהם כדי ליצור מכונות וירטואליות או אשכולות. בסיום תקופת שמירת המקום, מערכת Compute Engine מבצעת את הפעולות הבאות:
- המקום השמור יימחק ב-Compute Engine.
- בהתאם לפעולת הסיום שצוינה למכונות הווירטואליות, מערכת Compute Engine מפסיקה את הפעילות של מכונות וירטואליות שמשתמשות בהזמנה או מוחקת אותן.
עומסי עבודה אידיאליים
- אימון מקדים וכוונון עדין
- סימולציות והסקת מסקנות בקנה מידה גדול
מאפיינים מרכזיים
- מודל הקצאת הרשאות: שמירת מקום.
- תמיכה בסדרות מכונות: אפשר להזמין סוגי מכונות A4, A3 Ultra, A3 Mega או A3 High (8 GPUs).
- מגבלות על יכולת ההתאמה: אפשר לשריין עד 80 מכונות וירטואליות למשך 90 ימים לכל היותר.
- הקצאת משאבים שעברה אופטימיזציה: שימוש במודל שמוגבל להזמנה כדי להגדיל את הסיכויים לקבלת מעבדי GPU.
שימוש ב-Flex-start
משתמשים ב-Flex-start לבקשות לשינוי גודל של קבוצת מופעי מכונה מנוהלים (MIG) באשכול, כשצריך להקצות משאבים בצפיפות למשך עד שבעה ימים.
עומסי עבודה אידיאליים
מכונות וירטואליות עם התחלה גמישה מתאימות להרצת עומסי עבודה שיכולים להתחיל בכל זמן, כמו:
- אימון מקדים של מודל קטן
- כוונון עדין של מודלים
- סימולציה של מחשוב עתיר ביצועים (HPC)
- היסק באצווה
מאפיינים מרכזיים
- מודל הקצאת משאבים: Flex-start.
- הקצאת משאבים: הקצאה צפופה לבקשות לשינוי גודל של MIG.
- חיסכון בעלויות: אתם מקבלים הנחה של עד 53% על vCPU, זיכרון, GPU וכל דיסקי SSD מקומיים שמצורפים לסדרות המכונות A4, A3, A2 ו-G4. תעריפי החיוב הרגילים על פי דרישה חלים על סדרות מכונות נתמכות אחרות.
שימוש ב-Spot
אתם יכולים להשתמש ב-VM במודל Spot כדי לקבל הנחות משמעותיות על עומסי עבודה עם הקצאה צפופה ועמידות בכשלים, תוך הבנה ש-Compute Engine יכול לבצע הפסקה זמנית של מכונות וירטואליות כדי לפנות קיבולת.
עומסי עבודה אידיאליים
- אימון מבוזר עמיד בכשלים
- עיבוד באצווה
מאפיינים מרכזיים
- מודל הקצאת הרשאות: Spot.
- דחיקה: מערכת Compute Engine יכולה לדחוק מכונות בכל שלב.
- יעילות בעלויות: מקבלים הנחה של עד 91% על vCPU, זיכרון, GPU וכל דיסקי SSD מקומיים שמצורפים
המאמרים הבאים
- כדי לזהות את הצרכים של עומס העבודה, קראו את המאמר בנושא זיהוי הצרכים של עומס העבודה.
- מידע על יצירה ושימוש בהזמנות מופיע במאמר יצירה ושימוש בהזמנות.
- מידע נוסף על מכונות וירטואליות מסוג Spot זמין במאמר מידע נוסף על מכונות וירטואליות מסוג Spot.
- כדי ליצור מכונה וירטואלית לפי דרישה, אפשר לעיין במאמר בנושא יצירת מכונה וירטואלית לפי דרישה.