מכונות TPU בקבוצות MIG

קבוצות מופעי מכונה מנוהלים (MIG) מאפשרות ליצור, להגדיר ולנהל את מחזור החיים של אוסף מכונות וירטואליות באופן אוטומטי. קבוצות MIG מספקות יתרונות כמו זמינות גבוהה באמצעות תיקון תוכנה אוטומטי (autohealing) ופריסות אזוריות (בכמה אזורים), התאמה אוטומטית לעומס (automatic scaling) כדי לטפל בעומסים משתנים, ועדכונים פשוטים בהדרגה (rolling) לאפליקציות. מידע נוסף זמין במאמר קבוצת מופעי מכונה מנוהלים.

אתם יכולים להשתמש ב-MIG כדי ליצור ולנהל מכונות וירטואליות של TPU בגרסאות v5p,‏ v6e ו-TPU7x. אתם יכולים ליצור קבוצות MIG עם מכונת TPU VM אחת, מכונות TPU VM עצמאיות (שנקראות גם פרוסות של מארח יחיד) וקבוצות MIG עם מכונות TPU VM מקושרות (שנקראות גם פרוסות של כמה מארחים).

בכל פרוסה ב-MIG עם מארח יחיד יש לכל היותר מכונת TPU וירטואלית אחת. המכונות הווירטואליות של ה-TPU ב-MIG לא מקושרות באמצעות קישורי inter-chip interconnect ‏(ICI).

פרוסה עם כמה מארחים מכילה כמה TPU VM שמחוברות ביניהן באמצעות קישורי ICI.

קבוצות MIG עם פרוסות TPU במארח יחיד

יצירת קבוצת מופעי מכונה מנוהלים (MIG) עם כמה מופעי TPU עצמאיים מועילה לעומסי עבודה שדורשים כמה TPU VMs נפרדים, אבל לא צריכים שהם יהיו מקושרים זה לזה באמצעות קישורי ICI לעומסי עבודה מבוזרים. לדוגמה:

  • הצגת הסקות: כל מכונה וירטואלית ב-MIG יכולה לטפל בבקשות הסקה באופן עצמאי. קבוצת MIG מאפשרת לשנות את מספר המכונות להצגת מודעות בהתאם לביקוש, ולנהל אותן כקבוצה.
  • משימות עצמאיות במקביל: קבוצת MIG מאפשרת לנהל הרבה משימות אימון קטנות ועצמאיות או חישובים אחרים שיכולים לפעול במקביל במכונות וירטואליות של TPU.
  • ניהול: קבוצות MIG מספקות את התכונות הבאות:
    • פריסה: מגדירים תבנית של הגדרות מכונה פעם אחת ומשתמשים ב-MIG כדי ליצור כמה מכונות TPU VM זהות.
    • מדרגיות: אפשר לשנות את מספר מכונות ה-TPU הווירטואליות על ידי שינוי הגודל של ה-MIG.
    • עדכונים בהדרגה (rolling): עדכון התוכנה או סוג המכונה בכל המכונות הווירטואליות באופן מבוקר.
  • חיסכון בעלויות: במשימות שלא דורשות את כל היכולות או הקישוריות של פרוסת TPU גדולה, השימוש בכמה פרוסות TPU קטנות ובלתי תלויות יכול להיות חסכוני יותר.

מידע נוסף זמין במאמר יצירת MIG עם פרוסות TPU במארח יחיד.

קבוצות MIG עם פרוסה של כמה מארחים

בניגוד לקבוצות של פרוסות TPU עצמאיות, קבוצת MIG שמוגדרת לפרוסה עם כמה מארחים מנהלת קבוצה של מכונות וירטואליות של TPU שמקושרות באופן הדוק באמצעות קישורי ICI. כך נוצרת פרוסת TPU לוגית אחת.

יתרונות וביצועים

קבוצות MIG לפרוסות TPU עם כמה מארחים מספקות את קנה המידה והביצועים שנדרשים לעומסי עבודה אינטנסיביים של למידת מכונה.

  • אימון מבוזר: כדי לאמן מודלים של למידת מכונה, בדרך כלל נדרש יותר כוח TPU ממה שמכונה וירטואלית אחת של TPU יכולה לספק. פרוסות TPU גדולות יותר מחלקות את החישוב בין הרבה שבבי TPU ומכונות וירטואליות, וקישורי ה-ICI מאפשרים תקשורת מהירה ביניהם. זה חיוני לביצועי האימון.
  • רוחב פס גבוה של חיבורים הדדיים: רשת ה-ICI מספקת רוחב פס גבוה יותר וזמן אחזור קצר יותר בין שבבי ה-TPU בפרוסה, בהשוואה לרשת מרכז הנתונים (DCN) הרגילה. השלב הזה חיוני לפעולות סינכרוניות שמתבצעות בדרך כלל באימון מודלים גדולים.

פעולות אטומיות במחזור החיים

כדי לשמור על התקינות של הטופולוגיה המקושרת, ה-MIG מנהל את כל הפרוסה (slice) כיחידה אחת שלא ניתנת לחלוקה לאורך מחזור החיים שלה.

  • יצירה: כל המכונות הווירטואליות בפרוסה מוקצות יחד. אם אין מספיק קיבולת תקינה ומקושרת לכל הטופולוגיה המבוקשת, הפרוסה לא נוצרת.
  • מחיקה: קבוצת ה-MIG מוחקת את כל הפרוסה כיחידה אחת.
  • שינוי גודל: אפשר לשנות את הגודל רק מ-0 לגודל המלא של הפרוסה, או מהגודל המלא של הפרוסה בחזרה ל-0. אי אפשר לשנות חלקית את הגודל של פרוסה עם כמה מכונות וירטואליות.

דרישות להגדרת התכונה

כדי להגדיר קבוצת MIG עם כמה מארחים, צריך להגדיר גם את הטופולוגיה של החיבור הפיזי וגם את המאפיינים של כל מכונה.

  • מדיניות עומס העבודה: צריך לציין מדיניות עומס עבודה באמצעות הפרמטר accelerator-topology (לדוגמה, 4x4,‏ 8x8 או 4x4x4). כך מגדירים את ה-MIG להתייחס למכונות כפרוסה אחת מקושרת. למידע נוסף על טופולוגיה, ראו טופולוגיית TPU.
  • תבנית של הגדרות מכונה: מגדירה מאפיינים כמו סוג המכונה, קובץ האימג' של הדיסק והגדרות אחרות לכל מכונה וירטואלית בפרוסה.

זמינות של פרוסות והתאוששות מכשלים

כשמשתמשים ב-MIG כדי ליצור פרוסת TPU עם כמה מארחים, ההתנהגות של שחזור הכשל תלויה במודל ההקצאה ובמצב ההזמנה שבהם משתמשים:

  • כשקבוצת MIG משתמשת במקומות שמורים על פי דרישה, בהתחלה גמישה או במקומות שמורים (לא כולל מקומות שמורים במצב All Capacity). במקרה כזה, Compute Engine מנהל באופן אוטומטי את תהליך השחזור של הפרוסה. אם יש כשל במארח או ב-ICI, הפרוסה עוברת למצב REACTIVATING. כל המכונות הווירטואליות בפרוסה עוברות למצב REPAIRING, אבל לא בהכרח כולן באותו זמן. לאחר מכן, המערכת של Compute Engine משחזרת באופן אוטומטי את הפרוסה על ידי הפעלה מחדש של המכונות הווירטואליות יחד בקיבולת תקינה.

  • כשקבוצת MIG משתמשת במודל ההקצאה של Spot. בתרחיש הזה, אתם אחראים לניהול תהליך השחזור של הפרוסות. אם מתרחשת הפקעה של מכונות וירטואליות (VM) במחיר Spot, ‏ Compute Engine מפסיק את כל המכונות בפרוסה. הפרוסה עוברת למצב FAILED והמכונות הווירטואליות עוברות למצב TERMINATED. כדי לצאת ממצב הכישלון, צריך ליצור מחדש את הפרוסה באופן ידני.

  • כשקבוצת MIG משתמשת בהזמנות במצב All Capacity. בתרחיש הזה, אתם אחראים לנהל את תהליך השחזור של הפרוסות. אם מתרחשת תקלה, הפרוסה עוברת למצב FAILED וצריך ליצור אותה מחדש באופן ידני.

    ההתנהגות במצב "כל הקיבולת" תלויה גם בגורמים הבאים:

    • כשל במארח או דיווח על מכונה וירטואלית פגומה. המכונה הווירטואלית המושפעת עוברת למצב REPAIRING. אחרי שהחומרה הבסיסית מתוקנת, המכונה הווירטואלית חוזרת למצב RUNNING.
    • עבודות תחזוקה דחופות בקרוב. כשמפעילים אירוע תחזוקה באופן ידני, המכונות הווירטואליות עוברות מהמצב RUNNING למצב REPAIRING. בסיום התחזוקה, המכונה הווירטואלית חוזרת למצב RUNNING.
    • כשל ב-ICI. המכונות הווירטואליות נשארות במצב RUNNING, אבל המצב של הפרוסה משתנה ל-FAILED.

כדי ליצור מחדש פרוסה אחרי הפסקה לפני הזמן של מכונות וירטואליות במודל Spot או כשל במצב All Capacity, צריך לבצע אחת מהפעולות הבאות:

  • מוחקים את ה-MIG ויוצרים אותו מחדש.
  • משנים את הגודל של ה-MIG ל-0, ואז מגדילים אותו לגודל הנדרש.

התאוששות מתקלה אחרי הפסקה של מכונה

אם מוחקים או עוצרים מכונת TPU, או עוצרים מכונה מתוך מערכת ההפעלה, הפרוסה עוברת למצב FAILED. במקרה כזה, הפרוסה נשארת במצב FAILED עד שיוצרים אותה מחדש. כדי ליצור מחדש את הפרוסה, צריך למחוק וליצור מחדש את ה-MIG, או לשנות את הגודל של ה-MIG ל-0 ואז להגדיל אותו.

מידע נוסף על מצבי הפרוסות מופיע במאמר הצגת הסטטוס של פרוסת TPU.

מגבלות

בקטעים הבאים מוסברות המגבלות על יצירת קבוצת MIG עם מכונות וירטואליות של TPU.

מגבלות על תבניות של הגדרות מכונה

לתבניות של הגדרות מכונה שמציינות סוג מכונת TPU יש את המגבלות הבאות:

  • כשמשתמשים במודל הקצאת משאבים שקשור להזמנה, צריך להגדיר את פעולת סיום המכונה למחיקה.

  • יחידות TPU יכולות לצרוך רק הזמנות מטורגטות ספציפית.

  • אי אפשר לציין מדיניות מיקום.

  • אסור להשבית את ההפעלה מחדש האוטומטית במקרים הבאים:

    • פרוסות עם כמה מארחים שמשתמשות במודלים של הקצאה רגילה, הקצאה עם התחלה גמישה או הקצאה עם התחייבות (כולל מצב "כל הקיבולת").

    • מארח יחיד שמשתמש במודל הקצאה מבוסס-הזמנה במצב All Capacity.

  • אסור להפעיל הפעלה מחדש אוטומטית כשמשתמשים במודל הקצאה של Spot.

מגבלות של קבוצות MIG

לקבוצות MIG עם יחידות TPU יש את המגבלות הבאות:

  • פעולות במחזור החיים: אי אפשר לעצור, להפעיל, להמשיך או להשעות מכונות TPU. כדי לשנות הגדרות שדורשות הפעלה מחדש או כדי להפסיק את החיובים, צריך למחוק את המכונות.

  • הפצה אזורית של קבוצת MIG: צריך להגדיר את צורת ההפצה של היעד לערך ANY_SINGLE_ZONE.

  • עדכוני הגדרות אישיות ב-MIG:

    • אי אפשר לעדכן קבוצת MIG שיוצרת פרוסת TPU עם כמה מארחים בגלל הטופולוגיה המוגדרת של המאיץ.
    • כדי לעדכן קבוצת MIG שיוצרת פרוסות TPU עם מארח יחיד, אפשר להשתמש בשיטות אוטומטיות או סלקטיביות. עם זאת, העדכונים לפרוסת TPU במארח יחיד לא תומכים בפעולת ההפעלה מחדש (RESTART). אם נדרשת הפעלה מחדש והפעולה המפריעה ביותר שמותרת היא החלפה (REPLACE), שירות העדכון יחליף את המכונה. אחרת, ניסיון העדכון ייכשל ותופיע הודעת שגיאה.

  • אם MIG יוצר פרוסת TPU עם כמה מארחים, חלות גם המגבלות הבאות:

    • מדיניות גודל היעד: צריך להגדיר את מצב המדיניות של גודל היעד לערך BULK. אחרי שמגדירים את המצב הזה, אי אפשר לשנות אותו.

    • גודל היעד: במצב Bulk, אפשר להגדיר את גודל היעד ל-0 או למספר המכונות שנדרשות כדי ליצור את הטופולוגיה של המאיץ.

    • מדיניות עומס העבודה: צריך לציין מדיניות עומס עבודה שבה מוגדרת הטופולוגיה של המאיץ. אחרי שמגדירים את מדיניות עומס העבודה, אי אפשר לשנות או להסיר את המדיניות מה-MIG.

    • תיקונים שהופעלו על ידי MIG: צריך להשבית את התיקונים שהופעלו על ידי MIG על ידי הגדרת השדה defaultActionOnFailure לערך DO_NOTHING. בהגדרה הזו, קבוצת ה-MIG לא מבצעת שום פעולה במכונה שנכשלה. ‫Compute Engine משחזר באופן אוטומטי את המכונה שנכשלה על ידי הפעלה מחדש של כל המכונות באותו פרוס, בקיבולת תקינה.

  • תכונות שלא נתמכות: קבוצות MIG עם יחידות TPU לא תומכות בתכונות הבאות:

המאמרים הבאים