במסמך הזה מוסבר איך ליצור דוח איתור באגים מקיף ב-GPU למכונות וירטואליות של Compute Engine ולצמתים של Google Kubernetes Engine (GKE) שמשתמשים ב-NVIDIA Blackwell GPUs ובארכיטקטורות מתקדמות יותר. כדי לזהות את דגם ה-GPU שבו משתמש סוג המכונה, ראו דגמי GPU.
בארכיטקטורות של NVIDIA Blackwell ושל מעבדים גרפיים מתקדמים יותר, הסקריפט הרגיל nvidia-bug-report.sh לא מתעד את כל נתוני החומרה והמארג ברמה הנמוכה שנדרשים כדי לפתור בעיות כמו שגיאות GPU Xid או פגיעה בביצועים של כמה צמתים. דוח מקיף על באג ב-GPU כולל את נתוני האבחון הבאים:
- אבחון רגיל של GPU ומערכת: מצב ה-GPU, יומני מנהלי ההתקנים, מידע על אפיק PCI ויומני ליבה (kernel) מ-
nvidia-bug-report.sh, יחד עם טופולוגיית הקישוריות של GPU, NIC ו-CPU, נתונים סטטיסטיים של קלט/פלט באחסון, ומצב המכשיר והיציאה של RDMA (שימושי לסוגי מכונות עם קישורי NVIDIA ConnectX NIC). - נתונים של NVIDIA Firmware Tools (MFT): ב-GPU מסוג Blackwell ואילך,
nvidia-bug-report.shמשתמש ב-NVIDIA MFT כדי לאסוף את סטטוס השכבה הפיזית של חיבורי NVLink, ערכי רישום פנימיים של GPU וקטעי אבחון גולמיים מהקושחה. - אבחון דומיין של NVIDIA IMEX: סוגי מכונות NVLink עם כמה צמתים, כמו A4X ו-A4X Max, מסתמכים על הדימון (daemon) של NVIDIA Internode Memory Exchange (IMEX) כדי לנהל את דומיין ה-NVLink עם כמה צמתים. כדי לאבחן בעיות בדומיין NVLink, צריך את סטטוס הדומיין של IMEX בצמתים ואת יומני הדימון של IMEX.
לפני שמתחילים
כדי לקרוא את כל הדרישות המוקדמות וההוראות להגדרה, עיינו בקובץ README של דוח איתור הבאגים של ה-GPU. ברשימה הבאה מפורטים התנאים המוקדמים:
- מוודאים שמנהל ההתקן של NVIDIA GPU מותקן ב-VM של Compute Engine או בצומת של GKE.
- במכונות הווירטואליות של Compute Engine, מגדירים את Docker לאימות ב-Artifact Registry כדי ש-Docker יוכל לשלוף את קובץ האימג' של הקונטיינר של ה-collector.
- אופציונלי: במכונות וירטואליות של Compute Engine שפועלות במערכת הפעלה שהיא לא COS (לדוגמה, Ubuntu, Debian או מערכת הפעלה ממשפחת RHEL), מתקינים ומגדירים את NVIDIA Container Toolkit ל-Docker. אם ערכת הכלים לא זמינה,
run-goog-gpu-bug-report.shמנסה במקום זאת לטעון את ספריות מנהלי ההתקנים של NVIDIA במארח. - אופציונלי: כדי להעלות את דוח איתור הבאגים לקטגוריה של Cloud Storage, ודאו שלחשבון השירות של ה-VM או של צומת GKE יש גישת כתיבה לקטגוריה.
יצירת דוח איתור באגים מקיף ב-GPU
אתם יכולים להשתמש בכלי הקוד הפתוח Google Cloud GPU Bug Report Collector כדי לאסוף את כל יומני האבחון שצוינו קודם בפקודה אחת, במערכת ההפעלה שמותאמת לקונטיינרים (COS) ובהפצות אחרות של Linux, כולל Ubuntu, Debian ומערכות הפעלה של אורחים ממשפחת RHEL (כמו Rocky Linux), גם במכונות x86 (linux/amd64) וגם במכונות Arm (linux/arm64).
איך המערכת מטפלת במודולים של ליבת (kernel) MFT
במעבדים גרפיים מסוג Blackwell ואילך, הכלי לאיסוף נתונים מתקין באופן אוטומטי את כלי מרחב המשתמשים של MFT בתוך הקונטיינר, ומטפל במודולים של ליבת (kernel) ה-MFT (mst_pci ו-mst_pciconf) על סמך מערכת ההפעלה של האורח:
- מערכת הפעלה שמותאמת לקונטיינרים (COS): מורידה וטוענת את מודולי הליבה של MFT שעברו הידור מראש ונחתמו על ידי COS, שתואמים לגרסת הליבה של COS שפועלת.
- הפצות אחרות של Linux (כולל מערכות הפעלה ממשפחת Ubuntu, Debian ו-RHEL): ניסיונות ליצור ולטעון את מודולי הליבה של MFT מהמקור באמצעות DKMS, בהתאם לכותרות הליבה שפועלות במארח.
- חזרה אוטומטית למצב ללא מנהל התקן: גם ב-COS וגם בהפצות אחרות של Linux, אם הטעינה או ה-build של מודולי הליבה של MFT נכשלים, ה-collector חוזר באופן אוטומטי למצב MFT ללא מנהל התקן, שעדיין אוסף את אבחון ה-NVLink של ה-GPU דרך מנהל ההתקן של NVIDIA.
הפעלת ה-collector
מריצים את הכלי לאיסוף נתונים בסביבה שלכם:
במכונה וירטואלית של Compute Engine: מורידים ומריצים את
run-goog-gpu-bug-report.sh:bash run-goog-gpu-bug-report.shכדי להעלות גם את הארכיון שנוצר ב-
.tar.gzלקטגוריה של Cloud Storage, מעבירים את--gcs_bucketאחרי--:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMEבאשכול GKE: מעדכנים את
GKE_NODE_NAMEואתNUMBER_OF_GPUSבקובץbug-report-pod.yamlומחילים את המניפסט של ה-Pod (פרטים נוספים זמינים בקובץ README):kubectl apply -f bug-report-pod.yaml
דגלי איסוף ומיקום הפלט
כברירת מחדל, ה-collector כותב את קובצי האבחון הנפרדים ומאגד אותם לארכיון אחד בנתיב הבא ב-VM המארח:
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
אפשר להעביר את הדגלים הבאים של ה-collector (אחרי -- כשמשתמשים ב-run-goog-gpu-bug-report.sh):
| דגל אספן | תיאור |
|---|---|
--gcs_bucket=BUCKET_NAME |
העלאת הארכיון של דוח איתור הבאגים של .tar.gz לקטגוריה של Cloud Storage שצוינה (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/). |
--mft_kernel_modules=auto |
ברירת מחדל. מנסה לטעון מודולים של ליבת (kernel) MFT (מודולים חתומים על ידי COS ב-COS, או גרסת DKMS בהפצות אחרות של Linux) וחוזר באופן אוטומטי ל-MFT ללא מנהל התקן אם טעינת המודול נכשלת. |
--mft_kernel_modules=never |
דילוג על בנייה או טעינה של מודולים של ליבת (kernel) MFT במארח (ופריקה שלהם אם הם כבר נטענו), הפעלת MFT במצב ללא מנהל התקן. |
לדוגמה, כדי להריץ את MFT במצב ללא מנהל התקן בלי לטעון מודולים של ליבה (kernel) במארח ולהעלות את הדוח לקטגוריה של Cloud Storage:
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
כדי לקבל פקודות ישירות של docker run, גרסאות build של קובצי אימג' בהתאמה אישית והוראות לאימות הפלט של MFT בתוך nvidia-bug-report.log.gz, קראו את הקובץ README של הכלי לאיסוף נתונים.