פתרון בעיות ב-GPU VMs

במדריך הזה מוסבר איך לאבחן ולפתור בעיות נפוצות במכונות וירטואליות ב-Compute Engine שמחוברים אליהן מעבדים גרפיים, כולל שגיאות חומרה וצווארי בקבוק בביצועים. אם נתקלים בשגיאה ZONE_RESOURCE_POOL_EXHAUSTED או בשגיאות קיבולת אחרות כשיוצרים מכונות וירטואליות של GPU, אפשר לעיין במאמרים פתרון בעיות שקשורות לזמינות של משאבים או פתרון בעיות שקשורות לניצול של הזמנות.

פתרון בעיות במכונות וירטואליות עם GPU באמצעות NVIDIA DCGM

‫NVIDIA Data Center GPU Manager‏ (DCGM) היא חבילת כלים לניהול ולמעקב אחרי יחידות ה-GPU של מרכז הנתונים של NVIDIA בסביבות של אשכולות.

כדי להשתמש ב-DCGM לפתרון בעיות בסביבת ה-GPU:

  • ודאו שאתם משתמשים בגרסה העדכנית ביותר של מנהל ההתקן המומלץ של NVIDIA לדגם ה-GPU שמחובר למכונה הווירטואלית. כדי לבדוק את גרסאות הדרייברים, ראו גרסאות מומלצות של דרייברים של NVIDIA.
  • מוודאים שמותקנת הגרסה העדכנית של DCGM. כדי להתקין את הגרסה העדכנית, קראו את המאמר התקנת DCGM.

אבחון בעיות

כשמריצים פקודת אבחון של dcgmi, הבעיות שמדווחות על ידי כלי האבחון כוללות את השלבים הבאים לטיפול בבעיה. בדוגמה הבאה מוצג הפלט שניתן לפעול לפיו מהפקודה dcgmi diag -r memory -j.

{
  ........
   "category":"Hardware",
   "tests":[
      {
         "name":"GPU Memory",
         "results":[
            {
               "gpu_id":"0",
               "info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
               "status":"Fail",
               ""warnings":[
                  {
                     "warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
                     "error_id":83,
                     "error_category":10,
                     "error_severity":6
                  }
               ]
            }
  .........

בקטע הקוד של הפלט שלמעלה, אפשר לראות שב-GPU 0 יש דפים בהמתנה להוצאה משימוש שנגרמו בגלל שגיאה שלא ניתן לשחזר. בפלט מופיע הערך הייחודי של error_id ועצות לניפוי באגים בבעיה. בפלט לדוגמה הזה, מומלץ לרוקן את ה-GPU ולהפעיל מחדש את ה-VM. ברוב המקרים, ביצוע ההוראות בקטע הזה של הפלט יכול לעזור לפתור את הבעיה.

פתרון בעיות בביצועי ה-GPU במכונות וירטואליות מסוג A3

סדרת המכונות A3 זמינה עם מעבדי GPU מסוג NVIDIA H200 או H100. הסדרה הזו כוללת את סוגי המכונות A3 Ultra (H200)‎,‏ A3 Mega (H100)‎,‏ A3 High (H100)‎ ו-A3 Edge (H100)‎.

איך מזהים צומת פגום

משימות אימון או השוואה לשוק בקנה מידה גדול באשכול GPU עם כמה צמתים עלולות להפסיק להגיב או לפעול בצורה לא טובה. זה קורה בדרך כלל כי צומת אחד או יותר לא פועלים כמו שצריך ומאטים את כל הפעולה. בקטע הזה מוסבר איך לזהות צומת או מכונה מארחת פגומים באמצעות הפעלת בדיקת השוואה (benchmark) של NCCL או ניתוח של יומני NCCL.

הרצת בדיקת השוואה של NCCL

כדי לזהות את קבוצת הצמתים שגורמת לכשל, בודקים באופן שיטתי קבוצות משנה של האשכול באמצעות נקודות השוואה של NCCL כמו all_reduce_perf.

  1. כדי לזהות את קבוצות הצמתים, מקבצים את הצמתים לקבוצות לוגיות, למשל מחיצות ב-Slurm.
  2. כדי ליצור קובצי מארחים, יוצרים קובץ מארח נפרד לכל קבוצת צמתים, ומציינים את שמות המארחים ואת מספר יחידות ה-GPU לכל צומת. מספר המשבצות שצריך לציין תלוי במספר ה-GPU של סוג ה-VM מסוג A3. לדוגמה, למכונות וירטואליות מסוג a3-highgpu-8g יש 8 יחידות GPU, ולכן צריך לציין slots=8.
  3. כדי להריץ נקודות השוואה, מריצים את נקודת ההשוואה all_reduce_perf לכל קבוצת צמתים בנפרד.
    mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \
        ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODE
              

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫HOSTFILE_NAME: השם של קובץ המארח שמכיל את רשימת הצמתים ואת מספר המעבדים הגרפיים לכל צומת בקבוצת הצמתים.
    • ‫TOTAL_PROCESSES: המספר הכולל של תהליכי MPI שיופעלו בכל המארחים בקבוצת הצמתים.
    • ‫NUM_GPUS_PER_NODE: מספר המעבדים הגרפיים לכל צומת. לכל סוגי המכונות מסוג A3, הערך הוא 8.
  4. כדי לנתח את התוצאות, אם משימה נתקעת או מציגה רוחב פס נמוך משמעותית (busbw) בקבוצת צמתים מסוימת, סביר להניח שהקבוצה הזו פגומה.
  5. כדי לחלק את קבוצת הצמתים, אם היא פגומה, מחלקים את קובץ המארח שלה לשניים ובודקים שוב כדי לצמצם את החיפוש הבינארי עד שמאתרים את הצומת הבעייתי.

ניתוח יומני NCCL

אם שיטת ההשוואה לא מצביעה על צומת, צריך לנתח את יומני ה-NCCL המפורטים.

  1. כדי להפעיל את יומן ניפוי הבאגים, מגדירים את משתני הסביבה הבאים בסשן המעטפת שבו מתכננים להריץ את עומס העבודה:
    export NCCL_DEBUG=INFO
            export NCCL_DEBUG_SUBSYS=INIT,NET,COLL
            export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"
            

    מחליפים את LOG_DIRECTORY בספרייה שבה רוצים לאחסן את היומנים.

    הגדרה של NCCL_DEBUG_FILE עם %h ו-%p יוצרת קובצי יומן ייחודיים ולא משולבים לכל תהליך.

    אם אתם מריצים עומס עבודה עם כמה צמתים באמצעות mpirun, אתם צריכים להפיץ את המשתנים האלה לכל הצמתים באמצעות הדגל -x. לדוגמה:

    mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ...
              
  2. כדי למצוא את השגיאה הראשונה, משתמשים בפקודה הבאה כדי למצוא את אירועי הזמן הקצוב לתפוגה או הכישלון המוקדמים ביותר בכל קובצי היומן:
    grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \
      | sort | head -n 20
              

    מחליפים את LOG_DIRECTORY בספרייה שבה מאוחסנים היומנים.

  3. כדי לספור פעולות קולקטיביות, צומת איטי משלים פחות פעולות קולקטיביות. ספירת "opCount" רשומות לדירוגים חשודים:
    grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -l
              

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫LOG_DIRECTORY: הספרייה שבה מאוחסנים היומנים
    • ‫HOSTNAME: שם המארח של הצומת
    • ‫PID: מזהה התהליך של תהליך ה-NCCL
  4. כדי לאסוף יותר נתוני רישום ביומן לפני שמשימה נכשלת, אפשר להגדיל באופן זמני את הזמן הקצוב לתפוגה של העברת הנתונים:
    export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
            

מעקב אחרי ויסות נתונים (throttle) תרמי של ה-GPU

אם המכונות הווירטואליות מסדרת A3 מגיעות באופן עקבי לטמפרטורות גבוהות מ-87°C תחת עומס, יכולה להיות ירידה בביצועים שלהן. כדי לבדוק אם יש ויסות תרמי של ה-GPU בצמתים באשכול, אפשר להשתמש ב-nvidia-smi או ב-dcgmi.

שימוש ב-nvidia-smi

כדי לבדוק את הטמפרטורה הנוכחית ואת סטטוס הוויסות של כל ה-GPU בצומת, מריצים את הפקודה הבאה:

nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
    

בפלט, הערך Active בעמודה clocks_throttle_reasons.hw_slowdown מציין שה-GPU מוגבל בגלל טמפרטורות גבוהות.

שימוש ב-dcgmi

חבילת האבחון של NVIDIA Data Center GPU Manager (DCGM) כוללת בדיקות של חריגות תרמיות. כדי להריץ אבחון ברמה 1, מריצים את הפקודה הבאה:

dcgmi diag -r 1

אם התוצאה היא Warn או Fail בקטע Thermal, זה אומר שהייתה חריגה תרמית במהלך הבדיקה. אם חריגה תרמית מלווה בהאטה של השעון, סביר להניח שה-GPU מתחמם יתר על המידה וצריך לבדוק את זה.

שגיאות Xid

אחרי שיוצרים מכונה וירטואלית עם יחידות GPU, צריך להתקין מנהלי התקנים של NVIDIA במכונות הווירטואליות עם יחידות ה-GPU כדי שהאפליקציות יוכלו לגשת ליחידות ה-GPU. עם זאת, לפעמים מנהלי ההתקנים האלה מחזירים הודעות שגיאה.

הודעת Xid היא דוח שגיאות ממנהל ההתקן של NVIDIA, שמופיע ביומן הליבה של מערכת ההפעלה או ביומן האירועים של ה-VM של Linux. ההודעות האלה מופיעות בקובץ /var/log/messages. למידע נוסף על הודעות Xid, כולל סיבות אפשריות, עיינו במסמכי התיעוד של NVIDIA.

איך Google מטפלת בשגיאות Xid

‫Google משתמשת בבדיקות תקינות פסיביות כדי להעריך מערכות GPU. אם צריך להחליף חומרה, Google מתחילה באופן אוטומטי תחזוקת חירום. ‫Google מזהה שגיאות Xid ושולחת באופן יזום מכונות לתיקון כשקודי השגיאה מצביעים על סבירות גבוהה לכשל בחומרה, כמו Xid 74,‏ 79 ו-140. חלק מקודי ה-Xid יכולים להיגרם מבעיות בתוכנה או בחומרה, ולכן Google משתמשת בהתאמת דפוסים כדי להפעיל תיקונים, ולא כל אירוע גורם לתיקון אוטומטי.

סוגי שגיאות Xid

ברשימה הבאה מתוארות שלוש הקטגוריות העיקריות של שגיאות Xid והפעולות המומלצות לתיקון:

  • שגיאות באפליקציה: מצביעות על בעיות בקוד האפליקציה. שגיאות באפליקציה כוללות מזהי Xid כמו Xid 13,‏ 31,‏ 94,‏ 95 ו-137, שמציינים סוגים שונים של הפרות גישה לזיכרון, בדומה לשגיאת פילוח (segmentation fault). הן לא מצביעות על שגיאת ECC. כדי לפתור את השגיאות האלה, NVIDIA ממליצה להשתמש באחת מגישות ניפוי הבאגים הבאות:

    • ניפוי באגים ישיר: מריצים את האפליקציה ישירות ב-cuda-gdb או מריצים את הכלי memcheck של Compute Sanitizer.
    • ניפוי באגים לאחר חריגה: מריצים את האפליקציה עם CUDA_DEVICE_WAITS_ON_EXCEPTION=1. כשיש חריגה, מנהל ההתקן של ה-GPU מקפיא את מצב האפליקציה בלי לצאת, כדי שתוכלו לצרף מנפה באגים מאוחר יותר (cuda-gdb -p <PID>) ולבדוק את דוח הקריסות בזמן אמת.
  • שגיאות בדרייבר: שגיאות שנגרמות בגלל הדרייבר של NVIDIA GPU. כדי לפתור את השגיאות האלה, ודאו שאתם משתמשים בגרסה האחרונה של מנהל ההתקן של NVIDIA. ‫Google עוקבת אחרי השגיאות האלה ומשתפת פעולה עם NVIDIA כדי לתקן את הדרייבר.

  • שגיאות בקושחה או בחומרה שניתנות לשחזור: שגיאות בקושחה או בחומרה שמאפשרות שחזור בלי להחליף את החומרה. כדי לפתור את השגיאות האלה, צריך לבצע פעולות שחזור ידניות כמו איפוס ה-GPU או הפעלה מחדש של המכונה. שגיאות שניתן לשחזר בקושחה או בחומרה כוללות שגיאות של קוד תיקון שגיאות (ECC) (רלוונטיות ל-Xid כמו Xid 48,‏ 63 ו-64) שמציינות שלבים שונים של זיהוי והפחתת שגיאות ECC. למידע נוסף על הוצאת דפים משימוש ועל הפחתת שגיאות ECC, קראו את השאלות הנפוצות של NVIDIA בנושא הוצאת דפים דינמיים משימוש.

בדיקת ההודעות ב-Xid

כדי לאבחן במהירות למה עומס עבודה של GPU נכשל, הפסיק להגיב או חווה ירידה בביצועים, בודקים את יומני הליבה של המכונה (dmesg או /var/log/kern.log) ומחפשים קודי שגיאה מספריים של NVIDIA Xid.

כדי לזהות מיד את הבעיה, כדאי לעיין בטבלאות של שגיאות ה-Xid בסעיפי המשנה הבאים:

  • לזהות את שורש הבעיה: לזהות אם הכשל נגרם בגלל באג באפליקציה (כמו גישה לא חוקית לזיכרון), התנגשות בין מנהלי התקנים או תקלה פיזית בחומרה (כמו שגיאות זיכרון ECC של שני ביטים).
  • קביעת הבעלות התפעולית: בודקים אילו פעולות שחזור ידניות מיידיות צריך לבצע, כמו איפוס של יחידות ה-GPU, הפעלה מחדש של המכונות הווירטואליות או הפעלת מנפי שגיאות (debuggers), לעומת פעולות התיקון האוטומטיות והחלפת החומרה ש-Google מנהלת באופן פעיל במארח.
  • ביצוע שלבי השחזור הנכונים: הימנעות מתהליכים מיותרים לפתרון בעיות, וידיעה מדויקת מתי מספיק לבצע שחזור ידני ומתי צריך לדווח על המארח כפגום. לפעמים, שחזור ידני לא מספיק. לדוגמה, אם מקור השגיאה הוא במטמון של ה-GPU‏ (SRAM), שאי אפשר למפות מחדש, כפי שמצוין ב-Xid 48 עם SRAM Threshold Exceeded=Yes, או אם ה-GPU מיצה את בנק המיפוי מחדש שלו, כפי שמצוין ב-Xid 64: All reserved rows for bank are remapped. במקרים כאלה, Google מזהה שה-GPU עומד בדרישות להחלפת חומרה ושולחת את המכונה לתיקון באופן יזום. אם בעומסי העבודה שלכם יש שגיאות חוזרות או אם אתם מבחינים בתקלות חוזרות בזיכרון, אתם יכולים לדווח על המארח הפגום כדי להפעיל תיקון או החלפה אוטומטיים. ב-GKE, קראו את המאמר איך מדווחים על מארחים פגומים ב-GKE.

טיפול ב-Xid

בקטעים הבאים, הודעות השגיאה הנפוצות של Xid מקובצות לפי קטגוריה טכנית, לצד הפתרונות המוסמכים ותחומי האחריות שלהן:

שגיאות בזיכרון ה-GPU

זיכרון GPU הוא הזיכרון שזמין ב-GPU, שאפשר להשתמש בו לאחסון זמני של נתונים. זיכרון ה-GPU מוגן באמצעות קוד תיקון שגיאות (ECC), שמזהה ומתקן שגיאות של סיבית אחת (SBE), ומזהה ומדווח על שגיאות של שתי סיביות שלא ניתנות לתיקון (DBE).

שגיאות הזיכרון האלה צפויות להתרחש במהלך חיי המעבד הגרפי. לפני שהושקו מעבדי ה-GPU של NVIDIA A100, הייתה תמיכה בהוצאה דינמית של דפים משימוש. במעבדי GPU של NVIDIA A100 וגרסאות מאוחרות יותר (כמו NVIDIA H100), יש התאוששות משגיאות של מיפוי מחדש של שורות לשגיאות HBM‏ (DRAM). כברירת מחדל, ECC מופעל, ו-Google ממליצה מאוד להשאיר אותו מופעל.

בטבלה הבאה מפורטות שגיאות נפוצות שקשורות לזיכרון של ה-GPU והצעות לפתרון:

הודעת שגיאה של Xid פעולה של הלקוח פעולה של Google
Xid 48: Double Bit ECC

ה-ECC זיהה שגיאת זיכרון של שני ביטים (שלא ניתנת לתיקון). השגיאה הזו תמיד קוטעת את עומס העבודה שפועל ויוצרת את Xid 48.

  1. עוצרים את עומסי העבודה.
  2. בהתאם לסביבה שלכם, מאפסים את ה-GPU או מפעילים מחדש את ה-VM כדי לשחזר ולהמשיך את עומסי העבודה:

‫Google עוקבת אחרי המקרים שבהם ה-GPU עומד בדרישות להחלפת חומרה, למשל אם בנק המיפוי מחדש של HBM מוצה או אם ה-GPU חורג מסף השגיאות של SRAM במהלך חייו, ושולחת באופן יזום את המכונה לתיקון כדי להחליף את ה-GPU.

Xid 63: ECC page retirement or row remapping recording event

מציין שתועד אירוע של הוצאה משימוש של דף דינמי או מיפוי מחדש של שורה בגלל שגיאת זיכרון.

  1. עוצרים את עומסי העבודה.
  2. בהתאם לסביבה שלכם, מאפסים את ה-GPU או מפעילים מחדש את ה-VM כדי לשחזר ולהמשיך את עומסי העבודה:

‫Google עוקבת אחרי ספי השגיאות ושולחת את המכונה לתיקון כשה-GPU דורש תיקון פיזי או החלפה.

Xid 64: ECC page retirement or row remapper recording failure

ההודעה כוללת את הפרטים הבאים:

Xid 64: All reserved rows for bank are remapped
  1. עוצרים את עומסי העבודה.
  2. בהתאם לסביבה שלכם, מאפסים את ה-GPU או מפעילים מחדש את ה-VM כדי לשחזר ולהמשיך את עומסי העבודה:

כשהמאגר של המיפוי מחדש מתרוקן (All reserved rows for bank are remapped), Google מזהה שה-GPU עומד בדרישות להחלפת חומרה ושולחת את המכונה לתיקון באופן יזום.

אם אתם מקבלים לפחות שתיים מהודעות ה-Xid הבאות ביחד:

  • Xid 48
  • Xid 63
  • Xid 64

ההודעה כוללת את הפרטים הבאים:

Xid XX: row remap pending
  1. עוצרים את עומסי העבודה.
  2. בהתאם לסביבה שלכם, מאפסים את ה-GPU או מפעילים מחדש את ה-VM כדי לשחזר ולהמשיך את עומסי העבודה:

‫Google שולחת את המכונה לתיקון אם מאגר המיפוי מחדש מוצה או כשה-GPU דורש תיקון או החלפה פיזיים.

Xid 92: High single-bit ECC error rate הודעת ה-Xid הזו מוחזרת אחרי שמנהל ההתקן של ה-GPU מתקן שגיאה שניתנת לתיקון, והיא לא אמורה להשפיע על עומסי העבודה. הודעת ה-Xid הזו היא לידיעה בלבד. לא צריך לעשות כלום.

ללא

Xid 94: Contained error

מציין שאירעה שגיאה ב-GPU ואם השגיאה הייתה מוגבלת לאפליקציה אחת.

הודעת Xid 94 לבדה לא מצביעה על שורש הבעיה. צריך לפרש אותה לצד שגיאות Xid אחרות שמתרחשות במקביל כדי לקבוע מהי הסיבה הבסיסית.

  1. מכיוון שהשגיאה הייתה באפליקציה אחת, צריך להפעיל מחדש את האפליקציה כדי לשחזר אותה.
  2. אם צריך, מאפסים את ה-GPU או מפסיקים את עומסי העבודה.
  3. כדי לקבל שלבים נוספים לשחזור ולקבוע את שורש הבעיה, צריך לבדוק שגיאות Xid אחרות שמתרחשות בו-זמנית.

ללא

Xid 95: Uncontained error

מציין שאירעה שגיאת GPU שלא הוגבלה לאפליקציה אחת.

הודעת Xid 95 לבדה לא מצביעה על שורש הבעיה. צריך לפרש אותה לצד שגיאות Xid אחרות שמתרחשות במקביל כדי לקבוע מהי הסיבה הבסיסית.

  1. השגיאה לא נכללה, לכן צריך לעצור את עומסי העבודה ולאפס את ה-GPU או להפעיל מחדש את ה-VM כדי לשחזר.
  2. כדי לזהות את שורש הבעיה ואת השלבים הבאים לשחזור, צריך לבדוק שגיאות Xid אחרות שמתרחשות במקביל.

ללא

שגיאות GSP

מעבד מערכת GPU (GSP) הוא מיקרו-בקר שפועל על יחידות GPU ומטפל בחלק מפונקציות הניהול של החומרה ברמה נמוכה.

הודעת שגיאה של Xid פעולה של הלקוח פעולה של Google
Xid 119: GSP RPC timeout
  1. עוצרים את עומסי העבודה.
  2. כדאי לבדוק את ההמלצות לענפים של מנהלי התקנים של NVIDIA כדי לוודא שאתם משתמשים בענף נתמך ובגרסה עדכנית או בגרסה האחרונה של מנהל ההתקן, כי באגים במנהלי התקנים בגרסאות קודמות הם גורם עיקרי לשגיאות GSP.
  3. אם השגיאה נמשכת אחרי שבדקתם או עדכנתם את מנהל ההתקן, מחקו וצרו מחדש את ה-VM. אם השגיאה נמשכת, אוספים את דוח איתור הבאגים של NVIDIA ופותחים בקשת תמיכה ב-Cloud Customer Care.

אין. אם השגיאה נמשכת ושלחתם בקשת תמיכה, Google תבדוק את מצב החומרה או מנהל ההתקן באמצעות תהליך העבודה של התמיכה.

Xid 120: GSP error

שגיאות גישה לא חוקית לזיכרון

מזהי ה-Xid הבאים מוחזרים כשיש באפליקציות שגיאות בגישה לא חוקית לזיכרון:

הודעת שגיאה של Xid פעולה של הלקוח פעולה של Google

Xid 13: Graphics Engine Exception

Xid 31: GPU memory page fault

Xid 137: Memory access fault

זוהתה הפרה של גישה לזיכרון, בדומה לשגיאת פילוח. השגיאות האלה בדרך כלל מעידות על באג באפליקציה שבו יש גישה לזיכרון של ה-GPU מחוץ לתחום, או במאגרים ששוחררו, כמו ביטול הפניה של מצביע לא חוקי או מערך מחוץ לתחום. הן לא מייצגות שגיאות ECC, אלא אם גם Xid 48 מופיעה.

כדי לפתור את הבעיה, צריך לנפות באגים בשגיאות הגישה לזיכרון באפליקציה. אפשר להשתמש ב-cuda-gdb, ב-Compute Sanitizer או ב-cuda-memcheck.

פרטים נוספים זמינים במאמרי העזרה של NVIDIA Xid.

אין. במקרים נדירים שבהם פגיעה בחומרה עלולה לגרום לדיווח שגוי על שגיאות גישה לא חוקית לזיכרון, אפשר להשתמש ב-NVIDIA Data Center GPU Manager (DCGM)‎ כדי להריץ את dcgmi diag -r 3 או את dcgmi diag -r 4 לרמות שונות של כיסוי ומשך בדיקה. אם זיהיתם בעיה בחומרה, שלחו בקשת תמיכה ל-Customer Care.

הודעות שגיאה נפוצות אחרות של Xid

הודעת שגיאה של Xid פעולה של הלקוח פעולה של Google
Xid 74: NVLINK error
  1. עוצרים את עומסי העבודה.
  2. מאפסים את יחידות ה-GPU.

ללא

Xid 79: GPU has fallen off the bus

זה אומר שמנהל ההתקן לא יכול לתקשר עם ה-GPU כי בעיית חומרה גרמה ל-GPU להיעלם מאפיק ה-PCI.

כדי לשחזר את עומסי העבודה, אתם יכולים להשתמש באחת מהשיטות הבאות, בהתאם להגדרה של תחזוקת חירום בפרויקט:

  • בקשה לתחזוקת חירום: אם בפרויקט שלכם מתבצעת תחזוקת חירום, אתם יכולים להפעיל את אירוע התחזוקה מתי שנוח לכם.
  • המתנה לתחזוקה אוטומטית: אחרת, צריך להמתין לאירוע תחזוקה לא מתוכנן במכונה עצמה.

‫Google מזהה שה-GPU נפל מאפיק ה-PCI ושולחת את המכונה לתיקון.

Xid 109: Context switch timeout

‫Xid 109 היא שגיאה כללית שמדווחת על ידי מנהל ההתקן של ה-GPU של NVIDIA, ונוצרת כשמכונה של GPU לא מצליחה להקדים או להחליף משימות בתוך תקופת הזמן הקצוב לתפוגה הצפויה.

ל-Google יש היסטוריה ארוכה של חקירת Xid 109 עם NVIDIA, והגורמים הידועים לבאגים בדרייברים תוקנו בדרייברים העדכניים ביותר. הסיבה ל-Xid 109 היא לא בעיה בחומרה.

  1. עוצרים את עומסי העבודה.
  2. בהתאם לסביבה שלכם, מאפסים את ה-GPU או מפעילים מחדש את ה-VM כדי לשחזר ולהמשיך את עומסי העבודה:
  3. מומלץ לשדרג לגרסה חדשה יותר של מנהל ההתקן של NVIDIA בסביבה שלכם, למשל להתקין את מנהל ההתקן העדכני במכונה הווירטואלית של Compute Engine או לשדרג את מאגר הצמתים או את DaemonSet של מנהל ההתקן ב-GKE.

ללא

Xid 149 שמוזכר בו 0x02a, כמו בדוגמה הבאה:
Xid (PCI:0000:c0:00): 149,NETIR_LINK_EVT Fatal XC0 i0 Link 04 (0x02a485c6 0x00000000 0x00000000 0x00000000 0x00000000 0x00000000)

זו בעיה ידועה שמשפיעה על הקושחה של מעבדי GPU מסוג NVIDIA B200.

  1. עוצרים את עומסי העבודה.
  2. מאפסים את יחידות ה-GPU.

ללא

פתרון בעיות שקשורות לכשל ב-nvidia-smi אחרי תיקון של מערכת ההפעלה או שדרוג הליבה

אם הפקודה nvidia-smi נכשלת עם השגיאה NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver אחרי חלון זמן לתחזוקה, הפעלה של תיקון מערכת ההפעלה או הפעלה מחדש של ה-VM, צריך לבדוק את חבילות הליבה שמוחזקות. נעילות של חבילות מהתקנה קודמת של מנהל התקן במצב binary יכולות למנוע התקנה של כותרות ליבה תואמות.

כדי לאבחן ולפתור את הבעיה, בוחרים את מערכת ההפעלה:

Ubuntu

  1. בודקים את גרסת הליבה שפועלת:

    uname -r
    
  2. בודקים אם התקנה קודמת של מנהל התקן במצב binary נעלה את חבילות הליבה, למשל כשמשתמשים במכונות --force-version, --installation-branch=lts או NVIDIA RTX Virtual Workstation (vWS):

    apt-mark showhold
    

    בודקים אם linux-image-gcp או linux-headers-gcp מופיעים ברשימה.

  3. בודקים אם כותרות הליבה מותקנות בליבה שפועלת:

    dpkg -l | grep "linux-headers-$(uname -r)"
    
  4. אם מטא-חבילות הליבה מוחזקות, צריך להסיר את נעילות החבילות:

    sudo apt-mark unhold linux-image-gcp linux-headers-gcp
    
  5. מתקינים את כותרות הליבה של הליבה שפועלת:

    sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)
    
  6. בונים מחדש וטוענים את מודול הליבה (kernel) של NVIDIA:

    • אם מקורות המודולים של DKMS רשומים (בודקים את sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • אם הפקודה sudo dkms status לא מציגה מודול NVIDIA רשום (לדוגמה, אם מנהל ההתקן הותקן בעבר באמצעות קובץ בינארי של .run ללא --dkms), מריצים מחדש את מנהל ההתקנה של מנהל ההתקן של ה-GPU של Google Cloud :

      sudo python3 cuda_installer.pyz install_driver
      

Debian

  1. בודקים את גרסת הליבה שפועלת:

    uname -r
    
  2. בודקים אם התקנה קודמת של מנהל התקן במצב binary נעלה את חבילות הליבה, למשל כשמשתמשים במכונות --force-version, --installation-branch=lts או NVIDIA RTX Virtual Workstation (vWS):

    apt-mark showhold
    

    בודקים אם linux-image-cloud-amd64 או linux-headers-cloud-amd64 מופיעים ברשימה.

  3. בודקים אם כותרות הליבה מותקנות בליבה שפועלת:

    dpkg -l | grep "linux-headers-$(uname -r)"
    
  4. אם מטא-חבילות הליבה מוחזקות, צריך להסיר את נעילות החבילות:

    sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64
    
  5. מתקינים את כותרות הליבה של הליבה שפועלת:

    sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)
    
  6. בונים מחדש וטוענים את מודול הליבה (kernel) של NVIDIA:

    • אם מקורות המודולים של DKMS רשומים (בודקים את sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • אם הפקודה sudo dkms status לא מציגה מודול NVIDIA רשום (לדוגמה, אם מנהל ההתקן הותקן בעבר באמצעות קובץ בינארי של .run ללא --dkms), מריצים מחדש את מנהל ההתקנה של מנהל ההתקן של ה-GPU של Google Cloud :

      sudo python3 cuda_installer.pyz install_driver
      

‫RHEL ו-Rocky Linux

  1. בודקים את גרסת הליבה שפועלת:

    uname -r
    
  2. בודקים אם התקנה קודמת של מנהל התקן במצב binary נעלה את חבילות הליבה, למשל כשמשתמשים במכונות --force-version, --installation-branch=lts או NVIDIA RTX Virtual Workstation (vWS):

    grep "^exclude=.*kernel" /etc/dnf/dnf.conf
    
  3. בודקים אם כותרות הליבה מותקנות בליבה שפועלת:

    rpm -qa | grep "kernel-devel-$(uname -r)"
    
  4. אם חבילות הליבה מוחרגות, מסירים את kernel* מהשורה exclude= בקובץ /etc/dnf/dnf.conf.

  5. מתקינים את כותרות הליבה של הליבה שפועלת:

    sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)
    
  6. בונים מחדש וטוענים את מודול הליבה (kernel) של NVIDIA:

    • אם מקורות המודולים של DKMS רשומים (בודקים את sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • אם הפקודה sudo dkms status לא מציגה מודול NVIDIA רשום (לדוגמה, אם מנהל ההתקן הותקן בעבר באמצעות קובץ בינארי של .run ללא --dkms), מריצים מחדש את מנהל ההתקנה של מנהל ההתקן של ה-GPU של Google Cloud :

      sudo python3 cuda_installer.pyz install_driver
      

פתרון בעיות באתחול מאובטח

אם מתקינים את מנהל ההתקן של NVIDIA במכונה שמופעל בה אתחול מאובטח, ו-nvidia-smi לא מצליח לתקשר עם מנהל ההתקן של NVIDIA, יכול להיות שהאתחול המאובטח יחסום את הטעינה של מודול הליבה (kernel) הלא חתום.

כדי לזהות ולפתור את הבעיה, מבצעים את השלבים הבאים:

  1. בודקים אם מודול הליבה נדחה על ידי "אתחול מאובטח" בגלל חתימה חסרה או לא חוקית:

    sudo dmesg | grep -iE 'secure boot|nvidia'
    
  2. אם האתחול המאובטח חסם את המודול, צריך לחתום באופן ידני על מודולי הדרייבר ולרשום את מפתח הבעלים של המכונה (MOK), או להשתמש בקובץ אימג' של מערכת ההפעלה עם מודולים של ליבה (kernel) שנחתמו מראש. להוראות, ראו התקנת מנהלי התקנים של GPU (מכונות וירטואליות עם אתחול מאובטח).

איפוס מעבדי ה-GPU

יכול להיות שתצטרכו לאפס את ה-GPU כדי לפתור בעיות מסוימות. כדי לאפס את ה-GPU:

  • במכונות וירטואליות מסוג N1,‏ G2,‏ A2 ו-G4 שמחוברות ליחידת GPU אחת או יותר, מפעילים מחדש את המכונה הווירטואלית.
  • במכונות וירטואליות מסוג G4 עם מעבדי GPU חלקיים (פחות ממעבד GPU אחד מצורף), מבצעים את השלבים הבאים:
    1. מוחקים את המכונה הווירטואלית.
    2. יוצרים מחדש את ה-VM.
  • במכונות A3,‏ A4,‏ A4X ו-A4X Max, מריצים את הפקודה sudo nvidia-smi --gpu-reset.
    • ברוב המכונות הווירטואליות של Linux, קובץ ההפעלה nvidia-smi נמצא בספרייה /var/lib/nvidia/bin.
    • בצומתי GKE, קובץ ההפעלה nvidia-smi נמצא בספרייה /home/kubernetes/bin/nvidia.
  • במכונות A3,‏ A4,‏ A4X ו-A4X Max בצומתי GKE, אתם יכולים להשתמש גם ב-gpu-reset-tool כדי לאפס באופן אוטומטי את כל ה-GPU בצומת. בכלי הזה צריך רק לציין את שם צומת היעד.

אפשר גם לאפס את ה-GPU כשמאפסים את ה-VM או כשעוצרים ומפעילים מחדש את ה-VM. למידע נוסף על מצבי מחזור החיים של מכונות וירטואליות ועל ההבדלים בין פעולות השחזור של מכונות וירטואליות, קראו את המאמרים מחזור החיים של מכונות Compute Engine והשהיה, עצירה או איפוס של מכונות Compute Engine.

פתיחה של בקשת תמיכה

אם לא הצלחתם לפתור את הבעיות בעזרת ההנחיות שבדף הזה, אספו את המידע הבא ופתחו בקשת תמיכה:

  • מזהה הפרויקט שבו נמצאים המכונות שהושפעו.
  • רשימה של כל השמות או המזהים של המכונות באשכול.
  • רשימה של צמתים חשודים שזוהו במהלך פתרון הבעיות.
  • יומני NCCL מלאים, לא משולבים עם הגדרות ניפוי באגים מופעלות.
  • פלט מבדיקות תקינות של החומרה (dcgmi, nvidia-smi).
  • הפקודה המדויקת של נקודת ההשוואה או עומס העבודה שנכשלה.
  • קובצי יומן רלוונטיים, כמו יומני מנוע מארח ויומני אבחון. כדי לאסוף את הנתונים האלה, מריצים את gather-dcgm-logs.sh, שנמצא ב-/usr/local/dcgm/scripts בהתקנות שמוגדרות כברירת מחדל.
  • דוח על באג של NVIDIA. מריצים את nvidia-bug-report.sh. במעבדים גרפיים מדגם Blackwell ואילך, פועלים לפי ההוראות במאמר יצירת דוח על באג במעבדים גרפיים מדגם Blackwell ואילך.
  • פרטים על שינויים שבוצעו לאחרונה בסביבה לפני הכשל.

המאמרים הבאים

בודקים את סוגי המכונות של GPU.