יצירת פרופיל של המודל במכונות וירטואליות של Cloud TPU

יצירת פרופילים היא אחד הכלים העיקריים לאופטימיזציה של ביצועי המודלים ב-Cloud TPU. כלי הפרופיילינג העיקרי נקרא XProf, והוא זמין במאגר OpenXLA/XProf ב-GitHub. ב-XProf יש תמיכה בפרופיילינג של כל ה-frameworks שמבוססים על XLA, כולל JAX, ‏ PyTorch ו-TensorFlow/Keras. למידע נוסף על כלי XProf, קראו את המסמכים של XProf.

תיעוד פרופילים

כדי להשתמש ב-XProf, קודם צריך לתעד פרופיל של המודל. יש שתי דרכים לתעד פרופילים:

  1. צילום פרוגרמטי
  2. תיעוד לפי דרישה (נקרא גם תיעוד ידני)

כדי להשתמש בתיעוד פרוגרמטי, צריך להוסיף הערות לקוד המודל כדי לציין איפה בקוד רוצים לתעד פרופילים. בדרך כלל, מתעדים פרופיל לכמה שלבי אימון, או יוצרים פרופיל של בלוק קוד ספציפי במודל. יש דרכים שונות לתעד מעקבים במסגרות השונות JAX,‏ PyTorch ו-TensorFlow – מעקב התחלה או עצירה מבוסס-API או מבוסס-מנהל הקשר. במסגרות ברמה גבוהה יותר כמו MaxText, אתם יכולים להפעיל תיעוד פרופיל פשוט על ידי הפעלת הדגל profiler=xplane כשמריצים את MaxText, או הדגל --profiler.enable_profiling כשמריצים את TorchTitan ב-TorchTPU.

אתם יכולים להשתמש בפרופילים לפי דרישה כשאתם רוצים לתעד פרופילים באופן אד-הוק, או כשלא הפעלתם תיעוד פרופילים פרוגרמטי. האפשרות הזו שימושית כשמזהים בעיה במדדי המודל במהלך ההרצה, ורוצים לתעד פרופילים באותו רגע למשך זמן מסוים כדי לאבחן את הבעיה.

כדי להפעיל תיעוד פרופיל על פי דרישה, עדיין צריך להפעיל את שרת XProf בתוך הקוד. הפעלת profiler.start_server תפעיל שרת XProf בעומס העבודה של למידת המכונה, שמאזין לטריגר של תיעוד לפי דרישה כדי להתחיל לתעד פרופילים. אפשר להפעיל תיעוד פרופיל על פי דרישה דרך ממשק המשתמש של TensorBoard או דרך CLI באמצעות הכלי XProfiler.

בקישורים הבאים מוסבר איך להפעיל תיעוד פרוגרמטי ותיעוד על פי דרישה בסביבות פיתוח שונות:

גם כשמתעדים פרופילים באופן פרוגרמטי וגם כשמתעדים אותם על פי דרישה, צריך לציין את המיקום שבו רוצים לאחסן את הפרופילים המתועדים. אתם יכולים לאחסן את הפרופילים בספרייה ב-TPU VM עם נתיב שדומה ל-/profiles/run-name, או להשתמש ב-Cloud Storage עם נתיב שדומה ל-gs://bucket-name/run-name/.

בנתיבים שצוינו למעלה, הפרופילים שלכם יתועדו במיקומים הבאים:

/profiles/run-name/plugins/profile/session1/<profile.xplane.pb>

או

gs://bucket-name/run-name/plugins/profile/session1/<profile.xplane.pb>.

סשן מייצג תיעוד אחד של פרופילים במהלך הרצה של המודל. לדוגמה, אם אתם מתעדים פרופילים בהרצת אימון משלבים 1-3, ואחר כך מתעדים פרופילים משלבים 8-10, אלה פרופילים של אותה הרצה, אבל התיעוד הראשון משלבים 1-3 יהיה session1 והתיעוד השני משלבים 8-10 יהיה session2.

הסשנים השונים יסומנו בחותמות תאריך שונות מתחת לכל הפעלה. אתם יכולים לתעד פרופילים בסשנים שונים באופן פרוגרמטי, על פי דרישה או בשילוב של שתי הדרכים. האפשרות הזו שימושית כשרוצים להשוות בין פרופילים מחלקים שונים של אימון המודל. לדוגמה, השוואה בין פרופילים מתחילת האימון לפרופילים מסוף האימון.

המחשה חזותית של פרופילים באמצעות TensorBoard

כדי להציג את הפרופילים שנוצרו ב- Google Cloud, מומלץ להשתמש ב-TensorBoard ב-TPU VM או להשתמש בכלי XProfiler כדי לארח את TensorBoard ב-VM או ב-Pod של GKE.

אם תיעדתם את הפרופילים ב-TPU VM, אתם יכולים לצפות בהם באמצעות TensorBoard באותו TPU VM.

התקנת XProf ו-TensorBoard

כדי להציג פרופילי XProf ב-TensorBoard, צריך להתקין את החבילה xprof (שפורסמה בעבר בתור tensorboard-plugin-profile) ואת TensorBoard. כדי להתקין אותם ב-TPU VM, מריצים את הפקודה:

pip install xprof tensorboard

הצגת פרופילים ב-TPU VM

כדי לראות את הפרופילים שתועדו ב-TensorBoard, מריצים את הפקודה:

tensorboard --logdir=/profiles/run-name

או

tensorboard --logdir=/profiles

כדי לטעון כמה פרופילים מכמה הרצות, צריך להפנות את TensorBoard לתיקיית השורש שמכילה את כל ההרצות והפרופילים, ולא לתת-הספרייה שמכילה פרופילים של הרצה ספציפית.

ספריית Cloud-Diagnostics-XProf להצגת פרופילים של TensorBoard ב- Google Cloud

cloud-diagnostics-xprof (שנקראת גם XProfiler Library) מאפשרת לארח את TensorBoard ולהציג פרופילים ב- Google Cloudבקלות. למידע נוסף, עיינו במאגר cloud-diagnostics-xprof ב-GitHub.

המאגר cloud-diagnostics-xprof מספק את השיפורים הבאים בהשוואה להרצה של XProf ו-TensorBoard באופן מקומי:

  • הגדרה ואריזה של יחסי תלות של XProf ו-TensorBoard
  • אחסון הפרופילים ב-Cloud Storage, שיכול להיות שימושי לשמירה לטווח ארוך ולניתוח לאחר ההרצה (הפרופילים המקומיים שנתפסו יימחקו אחרי שהחוקר יסיים את ההרצה)
  • טעינה מהירה של פרופילים גדולים ושל כמה פרופילים, על ידי הקצאת TensorBoard במכונה וירטואלית של Compute Engine או ב-Pod של GKE, עם אפשרות לשנות את סוג המכונה בהתאם לצורכי המשתמש מבחינת מהירות הטעינה והעלות
  • יצירת קישור לשיתוף פרופילים ולשיתוף פעולה עם חברי הצוות ועם מהנדסי Google
  • יצירת פרופילים קלה יותר על פי דרישה של עומסי עבודה ב-GKE וב-Compute Engine, כדי לבחור כל מארח שמריץ את עומס העבודה שלכם לצורך תיעוד פרופילים

לפני שמשתמשים בספריית XProfiler, צריך לתעד פרופילים של קוד עומס העבודה באופן פרוגרמטי או על ידי הפעלת שרת הפרופילים, כדי שתוכלו לבצע תיעוד פרופילים על פי דרישה בשלב מאוחר יותר.

כדי להגדיר את ספריית XProfiler, צריך להגדיר את Google Cloud CLI וסביבה וירטואלית של Python, ואז פשוט להריץ את הפקודה:

pip install cloud-diagnostics-xprof

הפעולה הזו מתקינה את ה-CLI של xprofiler. אין צורך להתקין את XProf או את TensorBoard באופן מקומי. ה-VM או ה-Pod של GKE ש-xprofiler create מקצה מגיעים עם XProf ו-TensorBoard מותקנים מראש.

כדי ליצור VM או pod של GKE לאירוח של TensorBoard, מריצים את הפקודה הבאה:

xprofiler create -z $ZONE -l $GCS_PATH

או

xprofiler create --gke -z $ZONE -l $GCS_PATH

מחליפים את $ZONE בכל אזור ואת $GCS_PATH בנתיב לעקבות הפרופיל. אפשר לציין את תיקיית השורש שמכילה את כל קובצי המעקב של הפרופיל לכמה הרצות, או קבוצה ספציפית של קובצי מעקב של הפרופיל להרצה אחת.

לדוגמה, אם אתם מתעדים פרופילים בספריות הבאות:

gs://bucket-name/run1/plugins/profile/session1/<profile.xplane.pb>
gs://bucket-name/run1/plugins/profile/session2/<profile.xplane.pb>
gs://bucket-name/run2/plugins/profile/session1/<profile.xplane.pb>

אתם יכולים להגדיר את הנתיב של Cloud Storage לתיקיית השורש (gs://bucket-name):

xprofiler create -z $ZONE -l gs://bucket-name/

בממשק המשתמש של TensorBoard, כל הפרופילים של כל ההפעלות והסשנים יופיעו בתור run1/session1,‏ run1/session2,‏ run2/session1.

כברירת מחדל, xprofiler create יוצר מכונה וירטואלית של Compute Engine, ובאופן ספציפי מכונה וירטואלית מסוג c4-highmem-8. אפשר לשנות את סוג המכונה באמצעות הדגל -m. אם רוצים ליצור מכונה של TensorBoard בפוד של GKE במקום במכונה וירטואלית של Compute Engine, אפשר להעביר את הדגל --gke אל xprofiler create. אירוח של מכונה של TensorBoard ב-Pod של GKE יכול להקל על הניהול של TensorBoard, יחד עם שאר עומס העבודה שנפרס ב-GKE.

ה-VM או ה-Pod של GKE שמארחים את TensorBoard מאפשרים לטעון פרופילים גדולים ומספר פרופילים ב- Google Cloud הרבה יותר מהר מאשר ב-TensorBoard שמתארח באופן מקומי. על סמך הבדיקות שלנו, פרופילים של טעינה בסדר גודל של 1GB יופיעו תוך כמה דקות בטעינה הראשונה באמצעות ה-VM שמוגדר כברירת מחדל, c4-highmem-8. בנוסף, אתם יכולים לבחור את סוג המכונה שמתאים לצרכים שלכם מבחינת ביצועים ועלות.

אחרי שמריצים את xprofiler create, הפלט אמור להיראות כך:

Instance for gs://<bucket> has been created.
You can access it via the following:
1. https://<id>-dot-us-<region>.notebooks.googleusercontent.com.
2. xprofiler connect -z <zone> -l gs://bucket-name -m ssh
Instance is hosted at xprof-97db0ee6-93f6-46d4-b4c4-6d024b34a99f VM.

האפשרות הראשונה היא קישור שאפשר ללחוץ עליו כדי להציג את הפרופילים של XProf ב-TensorBoard. הקישור הזה מאפשר לשתף פרופילים עם הצוות שלכם וגם עם מהנדסי Google שעוזרים לשפר את הביצועים ב- Google Cloud.

אתם קובעים למי תהיה גישה לקישור, על סמך ההרשאות שהוגדרו לקטגוריה של Cloud Storage שבה מאוחסנים נתוני הפרופיל שלכם. אם הקישור לא פועל מסיבה כלשהי, אנחנו מספקים גם דרך להתחבר למכונה של TensorBoard באמצעות SSH כדי להציג את הפרופילים באמצעות הפקודה xprofiler connect.

אם הפעלתם את שרת XProf בקוד של עומס העבודה (נדרש לצורך תיעוד על פי דרישה) ואתם רוצים לבצע פרופיילינג על פי דרישה, אתם יכולים לעשות זאת בשתי דרכים:

א. לוחצים על הלחצן Capture profile ב-TensorBoard. עכשיו אפשר לבחור כל מארח מכשיר שעומס העבודה פועל בו כדי ליצור פרופיל. אנחנו תומכים באיסוף לפי דרישה של עומסי עבודה שפועלים ב-GKE או ב-Compute Engine.

ב. משתמשים בפקודת התיעוד של XProfiler, ומספקים מידע כמו אזור, קטגוריה של Cloud Storage, מסגרת, שמות של מארח VM או Pod ומשך התיעוד באלפיות השנייה. אלה אותם פרטים שצריך להזין בממשק המשתמש של TensorBoard.

בדף הזה ב-GitHub מוסבר איך משתמשים בספרייה cloud-diagnostics-xprof.