ניהול אשכולות GKE שעברו אופטימיזציה באמצעות AI

בדף הזה מוסבר איך לנהל אשכולות של Google Kubernetes Engine (GKE)‎ שמותאמים ל-AI במכונות מסוג A5X, ‏ A4X Max, ‏ A4X, ‏ A4, ‏ A3 Ultra, ‏ A3 Mega, ‏ A3 High (8 GPUs)‎ ו-G4 (g4-standard-384), כולל האירועים הנפוצים הבאים שרלוונטיים לאשכולות GKE ולעומסי עבודה של AI:

  • תחזוקת מארח
  • שדרוגי אשכולות
  • דיווח על מארח לא תקין

ניהול התחזוקה של המארח לעומסי עבודה של AI

צומתי GKE פועלים במכונות של Compute Engine שמתרחשים בהן מדי פעם אירועים במארח, שעלולים לשבש את עומסי העבודה של ה-AI. מכיוון שאירועים במארח מתרחשים בתשתית הבסיסית שלGoogle Cloud , הם עוקפים את חלונות הזמן לתחזוקה וההחרגות של GKE. ברוב המכונות, מדיניות התחזוקה של המארח מוגדרת למיגרציה פעילה, כדי לצמצם את ההפרעה לעומסי העבודה. עם זאת, יחידות GPU ו-TPU לא תומכות במיגרציה פעילה. כשהאירועים האלה במארח משפיעים על צומתי GKE שמריצים עומסי עבודה של AI, המערכת צריכה להפסיק את הצומת ואת ה-Pods שפועלים בו. אם ה-Pods נפרסו כחלק מעומס עבודה גדול יותר, כמו Job או Deployment, ‏GKE מנסה להפעיל מחדש את ה-Pods בצומת המושפע.

למידע נוסף על ניהול התחזוקה של המארח במכונות הבסיסיות, קראו את המאמר ניהול השיבושים בצומתי GKE בשביל GPUs ו-TPUs.

מעקב אחרי אירועי תחזוקה של מארחים

באשכולות שבהם פועלת גרסת GKE‏ 1.31.1-gke.2008000 ואילך, אפשר לראות את שעת ההתחלה המתוכננת של אירוע התחזוקה של המארח באופן הבא. שעת ההתחלה מיוצגת על ידי תוויות של צומת Kubernetes בצומת GKE התואם לכל ה-GPU וה-TPU.

פרטים נוספים זמינים במאמר מעקב אחרי התראות תחזוקה.

בעזרת תוויות הצמתים האלה, אתם יכולים:

הפעלה ידנית של אירוע תחזוקה במארח

אחרי ש-Compute Engine שולח התראה על אירוע תחזוקה מתוזמן, אתם יכולים להתחיל את התחזוקה באופן ידני בזמן שמתאים ללוח הזמנים שלכם. לדוגמה, אתם יכולים לבחור לבצע תחזוקה בתקופות של פעילות מופחתת.

אם לא תתחילו באופן ידני אירוע תחזוקה של מארח, Compute Engine ישלים באופן אוטומטי את התחזוקה המתוזמנת באופן קבוע.

פועלים לפי ההוראות במאמר הפעלה ידנית של אירוע תחזוקה במארח. בנוסף, כדאי להמשיך לקרוא את החלק הזה כדי ללמוד על:

שימוש במידע על תחזוקת המארח בזמן תזמון עומסי העבודה

כדי לצמצם את ההפרעה לעומסי העבודה, אתם יכולים להשתמש במידע על התחזוקה שמופיע בתוויות של צומתי GKE, יחד עם הגדרות של העדפה ודחייה של צמתים.

בקטעים הבאים מפורטות דוגמאות לשימוש במידע הזה.

תזמון Pods לצמתים שאין להם אירועי תחזוקה מתוזמנים בעתיד

אפשר להורות ל-GKE לתזמן Pods רק לצמתים שאין להם אירועי תחזוקה עתידיים מתוזמנים, כמו בקטע הקוד הבא:

spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: cloud.google.com/scheduled-maintenance-time
            operator: DoesNotExist

תזמון Pods לצמתים שנקבעה להם תחזוקה אחרי תאריך מסוים

כדי להורות ל-GKE לתזמן Pods רק לצמתים שנקבעה להם תחזוקה אחרי תאריך מסוים, צריך לציין את ראשית זמן יוניקס (Unix epoch):

spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: cloud.google.com/scheduled-maintenance-time
            operator: Gt
            values:
            - 1733296000

ניהול השדרוגים של אשכולות GKE לעומסי עבודה של AI

עומסי עבודה של AI רגישים לשיבושים.

במהלך מחזור החיים של אשכול GKE, עומסי העבודה של ה-AI צריכים להיות מוכנים לשיבושים במכונות הבסיסיות וגם באשכול GKE עצמו:

מומלץ להשאיר את האשכול רשום לערוץ הפצה. כברירת מחדל, אשכולות GKE רשומים לערוץ ההפצה הרגיל. למידע נוסף על היתרונות של ערוצי הפצה, ראו השוואה בין אשכולות שרשומים לערוץ הפצה לבין אשכולות שלא רשומים לערוץ הפצה.

ערוצי ההפצה מאפשרים לכם לגשת לתכונות נוספות, כולל היקפים נוספים של החרגות מתחזוקה. לעומסי עבודה של AI, מומלץ להשתמש בהיקף "ללא שדרוגים של גרסאות משניות או של צמתים".

דיווח על מארחים פגומים דרך GKE

בקטע הזה מוסבר איך אפשר לדווח באמצעות GKE על מארח פגום שיש לו מכונות שהוקצו באמצעות מודל הקצאה רגיל, התחלה גמישה (Flex-start) או מודל הקצאה שמוגבל להזמנה (לצומתי G4 g4-standard-384 יש תמיכה רק במודל הקצאה שמוגבל להזמנה). אם אתם רוצים לדווח על מארח פגום של צומת שהוקצה באמצעות מודל ההקצאה של Spot, או שמשתמש בסוג מכונה אחר של GPU כללי, פנו לצוות ניהול החשבון.

אם אתם רואים שגיאות בזיכרון של ה-GPU או שגיאות Xid בצומת, ורוצים לבדוק אם אפשר לפתור את הבעיה באמצעות פעולות שחזור ידניות כמו הפעלה מחדש של מערכת ההפעלה של האורח (kubectl label nodes NODE_NAME cloud.google.com/perform-reboot=true) לפני שאתם מדווחים על המארח כפגום, קראו את המאמר בדיקת הודעות Xid.

אתם יכולים להשתמש בתוויות של צמתים כדי:

  • כדי לדווח על המארח הפיזי כפגום ולהעביר את המכונה למארח תקין, משתמשים בתווית הצומת cloud.google.com/fault-behavior. בצמתים של g4-standard-384 שקשורים להזמנה, אתם יכולים להחיל את תווית הצומת הזו או לדווח על המארח הפגום ישירות במכונה הבסיסית של Compute Engine.
  • כדי להפעיל מחדש את מערכת ההפעלה של האורח באותו מארח פיזי בלי להחליף את המארח, משתמשים בתווית הצומת cloud.google.com/perform-reboot=true. כדי להשתמש בתווית הזו, צריך את GKE בגרסה ‎1.37.0-gke.3503000 ואילך.
  • כדי להתחיל באופן ידני אירוע תחזוקה של מארח שכבר תזמנתם ושאפשר לתזמן מחדש, משתמשים בתווית הצומת cloud.google.com/perform-maintenance=true כשהתווית cloud.google.com/scheduled-maintenance-time קיימת בצומת.

מארח הוא מכונת שרת פיזית אחת במרכז הנתונים, שמריצה מכונה שמארחת את הצומת של GKE. כדי לדווח על מארחים פגומים, אפשר להוסיף את תווית הצומת fault-behavior לצומת ה-GKE המושפע. אחרי שמחילים את תווית הצומת על צומת GKE מסוים, GKE מבצע את הפעולות הבאות:

  1. פינוי הדרגתי של עומסי עבודה מהצומת.
  2. מונעת תזמון של Pods חדשים בצומת.
  3. שליחת קריאה ל-API במכונה כדי לסמן את המארח כפגום.
  4. ממתין עד שהמכונה תופעל מחדש במכונה מארחת תקינה. במכונות שמוגדרות עם מצב הפעולה all capacity, אחרי שהתיקון מסתיים, Compute Engine מחזיר את המכונה לאותו צומת.
  5. הסרת ה-taint והתווית fault-behavior מהצומת.

אחרי זה, הצומת יהיה מוכן שוב להצגת עומסי עבודה.

דרישות

כדי לדווח על מארח פגום, צומת GKE צריך לעמוד בדרישות הבאות:

  • צריך להריץ את גרסת התיקון ‎1.32.3-gke.1057001 של GKE או גרסה חדשה יותר.
  • אתם צריכים להריץ אחד מסוגי המכונות של GPU הבאים: A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 מעבדי GPU) או G4 (g4-standard-384).
  • צריך להריץ את צומתי GKE במכונה שמוגבלת להזמנה.
  • הצומת ב-GKE חייב להיות במצב RUNNING. אם תנסו לדווח על מארח פגום אחרי שתמחקו את המכונה, תופיע הודעת שגיאה והמכונה המארחת לא תסומן כפגומה.
  • יכול להיות שיוגבל מספר הקריאות ל-API הזה לכל הזמנה בחודש, על סמך הערכה של תקינות הבלוקים שלכם. מגבלות הקצב לא חלות אם ההזמנה משתמשת במצב התפעולי all capacity.

דיווח על מארח לא תקין

כדי לדווח על מארח לא תקין:

  1. כדי לזהות את הצמתים ב-GKE שבהם יש בעיות בביצועים, אתם יכולים להשתמש בכלי התצפית של GKE, בכלי המעקב שלכם או ביומנים. שומרים את ה-NODE_NAME.

  2. מדווחים על הצומת כלא תקין באמצעות הפקודה הבאה. אתם יכולים לציין סיבה, ובגרסאות מאוחרות יותר, גם תיאור:

      kubectl patch node NODE_NAME --type merge -p '{
        "metadata": {
          "labels": {
            "cloud.google.com/fault-behavior": "FAULT_REASON"
          },
          "annotations": {
            "cloud.google.com/fault-description": "FAULT_DESCRIPTION"
          }
        }
      }'
    

    משנים את הפקודה באופן הבא:

    • מחליפים את NODE_NAME בשם של הצומת הפגום.
    • מחליפים את FAULT_REASON בסיבת התקלה המתאימה, באמצעות אחד או יותר מהערכים הבאים:
      • ‫PERFORMANCE: השתמשו בערך הזה אם המעבדים הגרפיים במכונה פועלים לאט יותר ממעבדים גרפיים אחרים באשכול, ואתם לא רואים שגיאות XID ביומנים, ולא מזוהים דפוסי כשל רגילים אחרים כמו פגיעה שקטה בנתונים.
      • ‫SDC: משתמשים בערך הזה אם יש פגיעה בנתונים אבל המערכת לא קורסת. הפגיעה בנתונים יכולה להיגרם בגלל פגמים במעבד, באגים בתוכנה כמו use-after-free או memory stomping, בעיות בליבה או פגמים אחרים. בדרך כלל, המונח הזה מתייחס לפגמים שנגרמים על ידי חומרה.
      • ‫XID: משתמשים בערך הזה אם זיהיתם שגיאת GPU שלא ניתנת לשחזור עם XID במכונה.
      • ‫unspecified: השתמשו בערך הזה אם אתם לא בטוחים איזו התנהגות גורמת לבעיה במכונה. זה ערך ברירת המחדל. עם זאת, מומלץ לציין אחד מהערכים האחרים, אם הוא רלוונטי.
    • משנים את הבלוק annotations בהתאם לגרסה של מישור הבקרה של אשכול GKE:
      • ‫1.35.6-gke.1017000 ואילך, או 1.36.0-gke.3251000 ואילך: משאירים את בלוק ההערות ומחליפים את FAULT_DESCRIPTION בתיאור טקסט של התקלה שנצפתה. המידע הזה יכול לכלול את קוד השגיאה של XID, תסמינים או חותמות זמן. התיאור הזה מועבר ל-Compute Engine כדי לעזור באבחון התיקון, והוא מוסר אוטומטית מהצומת אחרי שהפעולה מסתיימת. לדוגמה: GPU XID 48 observed on device nvidia0 at 2026-06-10T10:30:00Z.
      • גרסאות קודמות: מסירים את כל הבלוק annotations מהפקודה. השדה fault-description לא מועבר ל-Compute Engine בגרסאות האלה, ולא מוסר אוטומטית מהצומת. במקום זאת, פנו לצוות ניהול החשבון או ל-Cloud Customer Care כדי לספק את פרטי התקלה.
אחרי שמדווחים על מארח פגום של צומת, הזמן שבו הצומת מופעל מחדש משתנה בהתאם למצב התפעולי של ההזמנה שצוין בהזמנה שבה הצומת משתמש. כדי לבדוק את מצב הפעולה של ההזמנה, צפו בשדה reservationOperationalMode בהזמנה. בטבלה הבאה מפורט התהליך של מארח פגום בשני מצבי הפעולה של המאגרים: מצב כל הקיבולת ומצב מנוהל.
מצב קיבולת מלאה (ALL_CAPACITY) מצב מנוהל (HIGHLY_AVAILABLE_CAPACITY)
סוגי המכונות הנתמכים ‫A4X Max ו-A4X ‫A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 מעבדי GPU) ו-G4 (g4-standard-384)
הגבלת קצב של יצירת בקשות ב-Reporting API של המארח הפגום אין הגבלות על קצב יצירת הבקשות. יכול להיות שקצב הקריאות ל-API יהיה מוגבל.
תהליך הדיווח על מארח פגום

כשמדווחים על מארח פגום של צומת שפועל במצב "כל הקיבולת", קורים הדברים הבאים:

  1. פינוי Pods: אחרי שהתווית מוחלת על הצומת הפגום, GKE מסמן את הצומת כדי לחסום תזמון של Pods חדשים. בנוסף, GKE מתחיל לפנות בצורה מסודרת את ה-Pods שפועלים בצומת. ‫GKE מכבד את התקציבים לשיבוש Pod‏ (PDB) ואת השדה spec.terminationGracePeriodSeconds של מניפסט ה-Pod. מידע נוסף זמין במאמר הגדרת GKE לסגירה תקינה של עומסי העבודה.
  2. דיווח על המארח הפגום ותיקון שלו: GKE קורא ל-Compute Engine API כדי לדווח על המארח הפגום ולתקן אותו. רצף הפעולות הזה נמשך בדרך כלל בין 10 ל-12 דקות עד לדיווח על המארח הפגום, ובין 3 ל-14 ימים, ולפעמים אפילו יותר, עד לתיקון המארח.
  3. הפעלה מחדש של הצומת: אחרי שפעולת התיקון של המארח מסתיימת, מתרחש אחד מהמצבים הבאים:

    • אם הצומת במצב REPAIRING והמשאבים זמינים כשהתיקון מסתיים, Compute Engine מפעיל מחדש באופן אוטומטי את הצומת במארח המתוקן.
    • אחרת, אם הצומת במצב TERMINATED או אם המשאבים לא זמינים כשהתיקון מסתיים, מצב הצומת נשאר או משתנה ל-TERMINATED. צריך להפעיל מחדש את הצומת באופן ידני כשרוצים שהוא יפעל. עם זאת, אם המשאבים לא זמינים כשמפעילים מחדש את הצומת – לדוגמה, אם מכונות אחרות כבר משתמשות במארח המתוקן – יכול להיות שההפעלה מחדש תיכשל.

כשמדווחים על מארח פגום של צומת שפועל במצב מנוהל, קורים הדברים הבאים:

  1. פינוי Pods: אחרי שהתווית מוחלת על הצומת הפגום, GKE מסמן את הצומת כדי לחסום תזמון של Pods חדשים. ‫GKE גם מתחיל לפנות בצורה מסודרת את ה-Pods שפועלים בצומת. ‫GKE מכבד את התקציבים לשיבוש Pod‏ (PDB) ואת השדה spec.terminationGracePeriodSeconds של מניפסט ה-Pod. מידע נוסף זמין במאמר הגדרת GKE לסיום תקין של עומסי העבודה.
  2. דיווח על המארח הפגום ותחילת התיקון שלו: GKE קורא ל-Compute Engine API כדי לדווח על המארח הפגום ולתקן אותו. רצף הפעולות הזה נמשך בדרך כלל בין 10 ל-12 דקות עד לדיווח על המארח הפגום.

    ההתנהגות של הצומת כשפעולת התיקון של המארח מתחילה משתנה בהתאם לסדרת המכונות:

    • ‫A4 ו-A3 Ultra: המערכת של GKE מנסה לבצע מיגרציה פעילה של הצומת למארח אחר. אם אין לכם מספיק קיבולת שמורה או שאין קיבולת זמינה באזור של הצומת, הצומת יפסיק לפעול.
    • <!--A3 Mega, A3 High, and G4 (): GKE stops the node and restarts it on a healthy host.-->‫A3 Mega,‏ A3 High ו-G4‏ (g4-standard-384): GKE עוצר את הצומת ומפעיל אותו מחדש במארח תקין.

    תיקון המארח המקורי הפגום יכול להימשך בין 3 ל-14 ימים, ולפעמים אפילו יותר.

  3. העברה או הפעלה מחדש של הצומת: אחרי שפעולת התיקון של המארח מתחילה, Compute Engine מנסה להקצות מארח תקין שיחליף את המארח הפגום שדיווחתם עליו בקיבולת שהוקצתה לכם. אם Compute Engine מוצא מארח חלופי, מתרחשים הדברים הבאים:

    • ‫A4 ו-A3 Ultra: אם הצומת הועבר במיגרציה פעילה בשלב הקודם, הוא ממשיך לפעול במארח החלופי. אם הצומת הופסק, הוא יופעל מחדש במארח החלופי.
    • ‫A3 Mega,‏ A3 High ו-G4 (g4-standard-384): הצומת מופעל מחדש במארח החלופי.

    אם Compute Engine לא מוצא מארח חלופי באופן מיידי, הצומת מופעל מחדש באופן הבא:

    • אם הצומת נמצא במצב REPAIRING ויש משאבים זמינים לפני או אחרי שהתיקון מסתיים, Compute Engine מפעיל מחדש את הצומת באופן אוטומטי במארח תקין.
    • אחרת, אם הצומת במצב TERMINATED או אם המשאבים לא זמינים לפני התיקון או כשהוא מסתיים, מצב הצומת נשאר או משתנה ל-TERMINATED. צריך להפעיל מחדש את הצומת באופן ידני כשרוצים שהוא יפעל.

    בניגוד למצב "כל הקיבולת", אתם לא צריכים לחכות עד שהמארח המקורי הפגום יתוקן כדי להמשיך את עומס העבודה.

מעקב אחרי התקדמות הפעולה

כדי לעקוב אחרי התקדמות הפעולה של GKE, אפשר להשתמש בתווית הצומת cloud.google.com/report-and-replace-status בצומת GKE, שיכולה להכיל את אחד מהערכים הבאים:

  • ‫PodsEvicted: GKE סיים לפנות Pods מהצומת המושפע.
  • ‫OperationRUNNING: הפעולה לדיווח על המארח הפגום פועלת.
  • ‫OperationDONE: המארח הבסיסי דווח כפגום, והצומת של GKE מוכן להעברה למארח חדש.
  • ‫OperationFAILED: ה-API במכונה נכשל בגלל מגבלות מכסה או בעיות אחרות בתשתית. כדי להבין את השגיאה, קראו את המאמר פתרון בעיות שקשורות לשגיאות API של מארח פגום בדוחות. במאמר טיפול בשגיאות של דיווח והחלפה מוסבר איך לשחזר את הנתונים.
  • ‫Error: הקריאה ל-API נכשלה כי הבקשה לא עמדה באחת מהדרישות שמתוארות בסעיף הקודם.

אפשר גם להציג את התווית של הצומת node.gke.io/report-and-replace-operation כדי לראות את מזהה הפעולה של Compute Engine, ולעקוב אחרי סטטוס הפעולה.

אפשר להציג את שתי התוויות של הצמתים באמצעות הפקודה הבאה:

  kubectl get nodes NODE_NAME \
  -L cloud.google.com/report-and-replace-status,node.gke.io/report-and-replace-operation

אם מתרחשת שגיאת API, ‏ GKE מגדיר את תווית הצומת cloud.google.com/report-and-replace-status לערך Error. אם הפעולה נכשלת, GKE מגדיר את התווית כ-OperationFAILED. בשני המקרים, GKE מסיר את תווית הצומת cloud.google.com/fault-behavior. בנוסף, ב-GKE בגרסה ‎1.35.6-gke.1256000 ואילך, או בגרסה ‎1.36.0-gke.4060000 ואילך, GKE מחיל על הצומת את ה-taint‏ cloud.google.com/report-and-replace-failed:NoSchedule. הכתם הזה מונע תזמון של Pods חדשים בצומת, וכך מבטיח שעומסי עבודה לא ימוקמו בצומת עם מארח שעלול להיות פגום. מידע נוסף זמין במאמר טיפול בכשלים בדיווח ובהחלפה.

במאמר בדיקת הפעולות של דיווח על מארח פגום מוסבר איך לעקוב אחרי הסטטוס המפורט של פעולת דיווח על מארח פגום.

טיפול בכשלים בדיווח ובהחלפה

אם פעולת הדיווח וההחלפה נכשלת, GKE מחיל את ה-taint‏ cloud.google.com/report-and-replace-failed:NoSchedule על הצומת המושפע. הכתם הזה משאיר את הצומת מבודד כדי שלא יתוזמנו בו עומסי עבודה חדשים בזמן שהמארח הבסיסי עדיין פגום.

בדיקה אם יש טיינט של כשל

כדי לבדוק אם לצומת יש את הכתם report-and-replace, מריצים את הפקודה הבאה:

  kubectl describe node NODE_NAME | grep "report-and-replace-failed"

מה עושים אם הדיווח וההחלפה נכשלו

כדי להתאושש מכשל בדיווח ובהחלפה, מבצעים אחת מהפעולות הבאות:

  • מנסים שוב לבצע את הפעולה על ידי החלה מחדש של התווית cloud.google.com/fault-behavior על הצומת. אם הניסיון החוזר מצליח, GKE מסיר באופן אוטומטי את ה-taint של cloud.google.com/report-and-replace-failed:NoSchedule:

      kubectl label node NODE_NAME cloud.google.com/fault-behavior=FAULT_REASON
    
  • מסירים את הסימון באופן ידני אם קבעתם שהצומת תקין או שאתם רוצים להחזיר אותו לשירות:

      kubectl taint nodes NODE_NAME cloud.google.com/report-and-replace-failed:NoSchedule-
    

המאמרים הבאים