מידע על מדיניות עומסי עבודה ב-MIG

במאמר הזה מוסבר על הדרישות והמגבלות שחלות כשמשתמשים במדיניות של עומסי עבודה עם קבוצות מנוהלות של מופעים (MIG). כברירת מחדל, אתם מנהלים את המיקום של המכונות של Compute Engine רק על ידי ציון התחומים שלהן. מדיניות עומסי עבודה מאפשרת להגדיר את המיקום הפיזי והטופולוגיה של מופעי המחשוב באזור. הגישה הזו עוזרת לכם, למשל, למזער את זמן האחזור ברשת בין מופעי המחשוב על ידי הצבתם קרוב יותר זה לזה.

אפשר להחיל מדיניות של עומסי עבודה רק על קבוצות MIG שמשתמשות במופעים מסוג A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs),‏ H4D או TPU (TPU7x,‏ v6e או v5p). אם אתם משתמשים במופעי A4X Max או A4X, או יוצרים MIG עם פרוסת TPU מרובת מארחים, נדרשת מדיניות של עומס עבודה, אלא אם אתם יוצרים מופע חישוב יחיד למטרות בדיקה. בסדרות מכונות נתמכות אחרות, מדיניות עומס העבודה היא אופציונלית.

כדי לשלוט במיקום של מופעי מחשוב שמשתמשים בסדרות מכונות אחרות, צריך להשתמש במדיניות מיקום.

הסבר על מדיניות בנושא עומסי עבודה

בקטעים הבאים מתוארים תרחישי שימוש במדיניות של עומסי עבודה והמאפיינים שאתם מציינים כשאתם יוצרים מדיניות של עומסי עבודה.

ניהול המיקום והטופולוגיה של מופעי מחשוב

אחרי שיוצרים מדיניות של עומס עבודה ומחילים אותה על MIG, מדיניות של עומס עבודה עוזרת להשיג את הדברים הבאים:

  • יצירת מכונות חישוב קרובות זו לזו: אם יש קיבולת זמינה,‏ Compute Engine יוצר מכונות חישוב קרובות זו לזו. אחרת, מערכת Compute Engine תיצור רק חלק מהמכונות הווירטואליות שביקשתם או לא תיצור אף אחת מהן.

  • קבלת תצוגה של טופולוגיית מופע החישוב: אחרי שמחילים מדיניות עומס עבודה עם סוג של תפוקה גבוהה (HIGH_THROUGHPUT) על MIG, וה-MIG יוצר מופעי חישוב, אפשר לראות את המיקום של מופעי החישוב ביחס זה לזה. המידע הזה עוזר לכם לצמצם את זמן האחזור ברשת ולפתור שגיאות. למידע נוסף, ראו הצגת טופולוגיה של מכונות Compute Engine.

אפשר להחיל את אותה מדיניות של עומס עבודה על כמה קבוצות של מכונות מנוהלות (MIG). כשעושים את זה,‏ Compute Engine מחיל את כללי המיקום על כל MIG בנפרד.

בקטע הבא מתוארות המאפיינים שצריך לציין כשיוצרים מדיניות של עומסי עבודה.

הגדרת מאפיינים של מדיניות עומסי עבודה

כשיוצרים מדיניות של עומס עבודה, צריך לציין את המאפיינים הבאים:

  • סוג עומס העבודה (type): בשדה הזה מוגדרת המטרה הכללית של האשכול. אפשר לציין רק HIGH_THROUGHPUT, שמורה ל-Compute Engine למקם את מכונות החישוב כמה שיותר קרוב זו לזו כדי להאיץ את התקשורת.

  • בהתאם לסדרת המכונות שבה נעשה שימוש במכונות לחישוב ב-MIG, אפשר לציין באופן אופציונלי את אחד מהמאפיינים הבאים:

    • טופולוגיית מאיץ (acceleratorTopology): המאפיין הזה עוזר להשיג ביצועים גבוהים לעומסי עבודה מבוזרים שפועלים בכמה מופעי A4X Max או A4X, או בפרוסות TPU מרובות מארחים, שמשתמשים בהגדרת רשת מיוחדת בין מאיצים. מידע נוסף זמין במאמר מאפיין טופולוגיית המאיץ.

    • המרחק המקסימלי בטופולוגיה (maxTopologyDistance): המאפיין הזה מגדיר את הגבול הפיזי המחמיר ביותר ליצירת מופעי A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (עם 8 יחידות GPU) או H4D, כמו אותו בלוק או תת-בלוק. אם Compute Engine לא יכול לעמוד במגבלה המחמירה הזו בגלל שגיאות בזמינות המשאבים, הוא יוצר רק חלק ממכונות ה-Compute שביקשתם, או לא יוצר אותן בכלל. מידע נוסף זמין במאמר בנושא מאפיין המרחק המקסימלי בטופולוגיה.

מאפיין הטופולוגיה של המאיץ

כדי להשיג ביצועים ברשת ללא חסימות ובקנה מידה גדול, ב-Compute Engine המכונות מסוג A4X Max ומכונות מסוג A4X מאורגנות בהיררכיה פיזית של בלוקים ותת-בלוקים.

כדי ליצור קבוצת מופעים מנוהלת (MIG) עם מופעי A4X Max או A4X, או עם חלקי TPU מרובי-מארחים, צריך להחיל על ה-MIG מדיניות עומס עבודה שמציינת את מאפיין טופולוגיית המאיץ (acceleratorTopology). המאפיין הזה מגדיר את התצורה של הרשת הפיזית של פרוסת מופעי מחשוב. פרוסת TPU פועלת כמאיץ יחיד וגדול שמספק תפוקה מקסימלית לעומסי עבודה מבוזרים של AI או ML.

בטבלה הבאה מוצגים ערכי הטופולוגיה של המאיץ עבור A4X Max ו-A4X. מידע נוסף על ערכי טופולוגיה של פרוסות TPU מרובות מארחים זמין במאמר בנושא טופולוגיה של TPU.

ערך הטופולוגיה של המאיץ תיאור סדרות מכונות נתמכות מספר מקסימלי של מופעי מחשוב
1x72 מכונות Compute Engine מאורגנות בתת-בלוקים בצפיפות של 18 מכונות, בסך הכול 72 יחידות GPU. מכיוון שכל תת-בלוק דורש MIG משלו, אפשר ליצור עד 18 מופעי מחשוב לכל MIG. בלוק מלא מורכב מ-25 קבוצות של מכונות מנוהלות (MIG), ובסך הכול 450 מכונות וירטואליות. ‫A4X Max ו-A4X 18

מידע נוסף על מכונות A4X Max ו-A4X זמין במאמר בנושא סדרות המכונות A4X Max ו-A4X.

מאפיין המרחק הטופולוגי המקסימלי

כשיוצרים מדיניות של עומס עבודה ומחילים אותה על MIG, ‏ Compute Engine מנסה ככל האפשר ליצור את מופעי המחשוב קרוב זה לזה. אם אתם רוצים להשיג את הדחיסות המקסימלית באזור, מומלץ לציין את המאפיין של מרחק הטופולוגיה המקסימלי (maxTopologyDistance). ערך מרחק טופולוגי מקסימלי מציין ליצור מכונות A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (עם 8 כרטיסי GPU) או H4D באותו אשכול, בלוק או תת-בלוק.

בטבלה הבאה מוצגים ערכי המרחק המקסימלי בטופולוגיה וסדרות המכונות שהם תומכים בהן:

ערך המרחק המקסימלי בטופולוגיה תיאור סדרות מכונות נתמכות מספר מקסימלי של מופעי מחשוב
לא צוין (לא מומלץ) ‫Compute Engine עושה כל מאמץ למקם את מופעי המחשוב כמה שיותר קרוב זה לזה, אבל לא מבטיח מרחק מקסימלי בין מופעי מחשוב באזור. ‫A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs) ו-H4D 1,500
CLUSTER ‫Compute Engine יוצר מכונות חישוב בבלוקים סמוכים באותו אשכול. ‫A4 ו-H4D 1,500
BLOCK ‫Compute Engine יוצר מכונות וירטואליות באותה קבוצה. ‫A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs) או H4D
  • למכונות וירטואליות מסוג A4 או H4D: 150
  • ‫A3 Ultra,‏ A3 Mega או A3 High (8 יחידות GPU): ‫256
SUBBLOCK ‫Compute Engine יוצר מכונות חישוב באותו תת-בלוק, כדי לצמצם ככל האפשר את זמן האחזור ברשת. ‫A4,‏ A3 Ultra ו-H4D 22

תמחור

אין עלויות נוספות שקשורות ליצירה, למחיקה או להחלה של מדיניות עומסי עבודה על MIG.

סדרות מכונות נתמכות

אפשר להחיל מדיניות של עומסי עבודה רק על קבוצות MIG עם מופעי מחשוב שמשתמשים בשילובים הבאים של סדרות מכונות ומודלים להקצאת משאבים:

סדרת מכונות Flex-start Spot הזמנה בלבד רגילה
A4X Max לא לא כן לא
A4X לא לא כן לא
A4 כן כן כן לא
A3 Ultra כן כן כן לא
A3 Mega לא כן כן לא
‫A3 High (8 GPUs) לא כן כן לא
H4D כן כן כן לא
TPU7x כן כן כן כן
‫TPU v6e כן כן כן כן
‫TPU v5p כן כן כן כן

מגבלות

ההגבלות הבאות חלות על מדיניות של עומסי עבודה בקבוצות של מכונות מנוהלות (MIG):

  • אפשר להחיל מדיניות של עומס עבודה על MIG קיים, או לשנות את המדיניות של עומס העבודה שלו, רק אם אין מופעי מחשוב ב-MIG.

  • אפשר להחיל מדיניות של עומסי עבודה על קבוצות אזוריות של מכונות מופעלות רק אם הקבוצות האלה משתמשות בצורות היעד של ההפצה הבאות:

    • ל-MIG עם גודל יעד: ANY או ANY_SINGLE_ZONE

    • לגבי בקשות לשינוי גודל של MIG: ANY_SINGLE_ZONE

  • אי אפשר לעדכן מדיניות של עומס עבודה אחרי שיוצרים אותה.

  • אי אפשר להגדיר תבנית שנייה של הגדרות מכונה אם קבוצת ה-MIG משתמשת במדיניות של עומס עבודה.

  • אי אפשר להשתמש במדיניות עומסי עבודה יחד עם מדיניות מיקומי מודעות.

המאמרים הבאים