Pathways היא מערכת שנועדה לאפשר יצירה של מערכות למידת מכונה (ML) בקנה מידה גדול, עם ריבוי משימות והפעלה דלילה. הוא מאפשר להשתמש באלפי או בעשרות אלפי מאיצים, עם יכולת להקצות באופן דינמי כמויות שונות של משאבי מחשוב למשימות שונות, בהתאם לדרישות העיבוד שלהן.
Pathways מפשט חישובי למידת מכונה בקנה מידה גדול, ומאפשר ללקוח JAX יחיד לתזמר עומסי עבודה על פני פרוסות TPU גדולות, שיכולות לכלול אלפי שבבי TPU.
Google משתמשת ב-Pathways באופן פנימי כדי לאמן מודלים גדולים כמו Gemini. השימוש ב-Pathways ב-Cloud מעניק את אותם יתרונות ללקוחות Google Cloud .
לפני שמתחילים
-
צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:
gcloud
התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם. אחרי שנכנסתם לחשבון, אתחלו את ה-CLI של Google Cloud באמצעות הפקודה הבאה:
gcloud initREST
כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.
התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם.
מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .
לפני שמתחילים
אתם יכולים להריץ את Pathways ב-Google Kubernetes Engine (GKE) או באשכול Cluster Director עם Slurm. בוחרים את הכרטיסייה של הפלטפורמה הרלוונטית.
GKE
מבצעים את הפעולות הבאות:
במאמר הזה מוסבר איך להשתמש ביחידות TPU שמנוהלות על ידי Pathways ב-GKE לעומסי עבודה באצווה, בזמן אמת ובאופן אינטראקטיבי. ההנחה היא שאתם כבר יודעים איך להשתמש ביחידות TPU ב-GKE, כולל יחידות TPU עם פרוסה אחת ועם כמה פרוסות ב-GKE, ושיש לכם ניסיון כללי עם יחידות TPU עם כמה פרוסות.
Cluster Director
מבצעים את הפעולות הבאות:
במאמר הזה מוסבר איך להשתמש ב-Pathways עם יחידות TPU באשכול של Cluster Director לעומסי עבודה אינטראקטיביים ובאצווה. ההנחה היא שאתם כבר מכירים את Cluster Director, את מכונות ה-TPU ב-Cluster Director ואת הרצת המשימות באמצעות Slurm, ושיש לכם ניסיון כללי עם מערכי TPU עם כמה פרוסות.
נאמן מידע יחיד וכמה נאמני מידע
יש שתי דרכים עיקריות לנהל ולתזמר חישובים בכמה מכשירים:
| תכונה | נאמן מידע יחיד (מסלולים) | Multi-controller (ברירת המחדל של JAX) |
|---|---|---|
בקרה |
נקודת בקרה אחת: תוכנת לקוח אחת פועלת כבקר המרכזי. |
בקרה מבוזרת: כמה תהליכים משתתפים, לכל אחד מהם יש מכונה משלו של מפרש Python. |
תצוגה |
תצוגה מאוחדת: הלקוח רואה את כל המכשירים כמערכת אחת מאוחדת. |
תצוגה מקומית: כל תהליך Python רואה רק את המכשירים שמחוברים אליו. |
תכנות |
תכנות פשוט: אתם יוצרים אינטראקציה עם לקוח אחד, כך שהמערכת נראית כמו מכונה אחת גדולה עם הרבה מאיצים מקומיים. |
תוכנית אחת, נתונים מרובים (SPMD): משתמשת בעיקר בפרדיגמת SPMD, שדורשת שכל המכשירים יריצו את אותה תוכנית. |
גמישות |
תמיכה בתבניות חישוב מורכבות מעבר ל-SPMD, כולל מקביליות אסימטרית של צינור עיבוד נתונים ודלילות חישובית. |
ניהול המשאבים יכול להיות פחות גמיש, במיוחד בפרוסות TPU שונות. |
רכיבי Pathways
בקטעים הבאים מתוארים הרכיבים העיקריים של ארכיטקטורת Pathways.
מנהל המשאבים של Pathways
הרכיב הזה הוא מישור הבקרה המרכזי של מערכת Pathways. הוא מנהל את כל משאבי המאיצים ומתאם את הקצאת המאיצים למשימות שלכם. הוא עוקב אחרי התקינות של ה-workers ומטפל בתזמון, בהשהיה ובהמשך של משימות. הוא משמש כנקודת קשר אחת לשגיאות ולסטטוס המערכת. הרכיב הזה דורש רק משאבי מעבד (CPU).
לקוח Pathways
הרכיב הזה הוא הטמעה של Interim Framework Runtime (IFRT), שמשמש כנקודת הכניסה למערכת Pathways. הוא מקבל פעולות ברמה גבוהה (HLO) מהתוכנית שלכם. הלקוח של Pathways מתואם עם מנהל המשאבים של Pathways כדי לקבוע איפה למקם תוכנות מקומפלות להפעלה על סמך הקוד שלכם. הוא מציג תצוגה מאוחדת של המערכת ללקוח JAX נתון. הרכיב הזה דורש רק משאבי מעבד (CPU).
עובד ב-Pathways
תהליכי ה-worker של Pathways פועלים במכונות המאיצים (מכונות וירטואליות של TPU). הם מקבלים קובצי הפעלה מקומפלים של התוכנית משרת ה-proxy של IFRT ומבצעים את החישובים ב-TPU. ה-workers של Pathways שולחים נתונים בחזרה לתוכנית דרך שרת ה-proxy של IFRT. הרכיב הזה דורש משאבי מאיץ.
לקוח proxy של IFRT
לקוח ה-proxy של IFRT הוא הטמעה בקוד פתוח של ה-API של Interim Framework Runtime (IFRT), שמפריד בין קוד המשתמש לבין סביבת זמן הריצה הבסיסית ומשפר את הניידות והשקיפות של הקוד. JAX משתמש בהטמעה הזו כחלופה לסביבת זמן הריצה שמוגדרת כברירת מחדל עם כמה בקרים. לקוח ה-proxy של IFRT משמש כגשר תקשורת בין התוכנית שלכם לבין רכיבי Pathways. הוא שולח בקשות לשרת ה-proxy של IFRT ומקבל ממנו תוצאות. הרכיב הזה דורש רק משאבי מעבד (CPU).
שרת proxy של IFRT
שרת ה-proxy של IFRT הוא שרת gRPC שמקבל בקשות מלקוח ה-proxy של IFRT ומעביר אותן ללקוח Pathways, שמטפל בהפצת העבודה. הרכיב הזה דורש רק משאבי מעבד (CPU).
שרת Sidecar
שרת ה-sidecar הוא שרת gRPC שנמצא באותו מיקום של ה-worker של Pathways במכונה הווירטואלית של המאיץ. הוא מריץ קוד Python שהמשתמשים מציינים ישירות ב-VM של המאיץ, כדי לצמצם את זמן האחזור של העברת הנתונים בין הבקר למאיצים. שרת ה-sidecar יוצר אינטראקציה עם ה-worker של Pathways באמצעות פרוטוקול מותאם אישית עם גרסאות בטרנספורט של gRPC.
רכיבי Pathways ב-GKE
בקטע הזה ממופים רכיבי Pathways לרכיבי GKE כמו קונטיינרים ו-Pods.
אפשר למצוא קובצי אימג' של קונטיינרים של Pathways במיקומים הבאים:
| סוג המאגר | מיקום |
|---|---|
שרת proxy של IFRT |
|
מנהל/ת או עובד/ת משאבים ב-Pathways |
|
מנהל המשאבים של Pathways
אחרי שיוצרים אשכול GKE, אפשר להשתמש ב-containerSpec הבא כדי לפרוס את מנהל המשאבים של Pathways:
- name: pathways-rm image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest imagePullPolicy: Always env: - name: HOST_ADDRESS valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']" - name: TPU_SKIP_MDS_QUERY value: "true" args: - --server_port=29001 - --node_type=resource_manager - --instance_count=WORKLOAD_NODEPOOL_COUNT - --instance_type=SLICE_TOPOLOGY - --gcs_scratch_location=gs://BUCKET_NAME
הקונטיינר משתמש בארגומנטים הבאים:
-
--server_port: היציאה שבה מנהל המשאבים של Pathways משתמש כדי לתקשר עם רכיבים אחרים של Pathways. -
--node_type: סוג הצומת. צריך להגדיר את הארגומנט הזה כ-resource_managerלמנהל המשאבים של Pathways. הוא לא נדרש למאגרי התגים האחרים. -
--instance_count: מספר פרוסות ה-TPU. -
--instance_type: סוג ה-TPU והטופולוגיה של הפרוסה, בפורמטtpuTPU_TYPE:TOPOLOGY, לדוגמהtpuv5e:4x4. -
--gcs_scratch_location: קטגוריה של Cloud Storage שמשמשת לקבצים זמניים.
שרת proxy של IFRT
אפשר להשתמש בcontainerSpec הבא כדי לפרוס שרת proxy של IFRT:
- name: pathways-proxy image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:latest imagePullPolicy: Always env: - name: PATHWAYS_HEAD valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']" args: - --resource_manager_address=$(PATHWAYS_HEAD):29001 - --server_port=29000 - --gcs_scratch_location=gs://BUCKET_NAME ports: - containerPort: 29000
הקונטיינר משתמש בארגומנטים הבאים:
-
--resource_manager_address: שם המארח והיציאה שבהם שרת ה-proxy משתמש כדי לתקשר עם מנהל המשאבים של Pathways. היציאה צריכה להתאים לערך--server_portשמשמש למאגר של מנהל המשאבים של Pathways. -
--server_port: היציאה שבה שרת ה-proxy של IFRT משתמש כדי לתקשר עם לקוח ה-proxy של IFRT. -
--gcs_scratch_location: קטגוריה של Cloud Storage שמשמשת לקבצים זמניים.
עובד ב-Pathways
אפשר להשתמש ב-containerSpec הבא כדי לפרוס את ה-workers של Pathways:
- name: worker image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest imagePullPolicy: Always env: - name: PATHWAYS_HEAD valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']" - name: MEGASCALE_NUM_SLICES valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/replicatedjob-replicas']" - name: MEGASCALE_SLICE_ID valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/job-index']" - name: MEGASCALE_COORDINATOR_ADDRESS value: "$(PATHWAYS_HEAD)" args: - --server_port=29001 - --resource_manager_address=$(PATHWAYS_HEAD):29001 - --gcs_scratch_location=gs://BUCKET_NAME ports: - containerPort: 29001 resources: limits: google.com/tpu: "4"
הקונטיינר משתמש בארגומנטים הבאים:
-
--resource_manager_address: שם המארח והיציאה שבהם משתמשים ה-TPU workers כדי לתקשר עם מנהל המשאבים של Pathways. היציאה צריכה להתאים לערך--server_portשמשמש למאגר של מנהל המשאבים של Pathways. -
--server_port: היציאה שבה משתמשים ה-workers כדי לתקשר עם שרת ה-proxy ועם מנהל המשאבים של Pathways. -
--gcs_scratch_location: קטגוריה של Cloud Storage שמשמשת לקבצים זמניים.
למנהל המשאבים של Pathways, לשרת ה-proxy של IFRT ול-workers של Pathways יכולות להיות יציאות שונות, אבל בדוגמה הזו מנהל המשאבים של Pathways וה-worker של Pathways משתפים את אותה יציאה.
רכיבי Pathways ב-Cluster Director
בקטע הזה מוסבר איך למפות רכיבי Pathways למשימות Slurm באשכול של Cluster Director.
הסקריפטים של Pathways מריצים את הרכיבים של Pathways באמצעות Enroot. הסקריפט setup_env.sh משתמש בקובצי האימג' הבאים של קונטיינרים, שתואמים לגרסת JAX (0.11.1) של סביבת Python שהוא יוצר:
| סוג המאגר | מיקום |
|---|---|
שרת proxy של IFRT |
|
מנהל/ת או עובד/ת משאבים ב-Pathways |
|
כדי להפעיל את רכיבי Pathways, שולחים את הסקריפט start_pathways.sh כמשימת שירות של Pathways. אתם לא כותבים את הפקודות הבאות בעצמכם: הסקריפטים שואבים את הארגומנטים ממשתני הסביבה שהגדרתם כששלחתם את start_pathways.sh, כמו SLICE_SHAPE, MIN_SLICES, MAX_SLICES ו-GCS_BUCKET.
מנהל המשאבים של Pathways
משימת השירות של Pathways מריצה את מנהל המשאבים של Pathways בצומת מעבד אחד. היא מריצה את הפקודה הבאה במאגר התגים בצד השרת של Pathways:
/pathways/server \ --server_port=29001 \ --node_type=resource_manager \ --instance_type=tpuTPU_TYPE:TOPOLOGY \ --instance_count=MAX_SLICES \ --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \ --enable_gcs_olm=false
הפקודה משתמשת בארגומנטים הבאים:
-
--server_port: היציאה שבה מנהל המשאבים של Pathways מאזין. שרת ה-proxy של IFRT וה-workers של Pathways מתחברים ליציאה הזו. -
--node_type: סוג הצומת,resource_manager. רק מנהל המשאבים של Pathways מגדיר את הארגומנט הזה. -
--instance_type: סוג ה-TPU והטופולוגיה של כל פרוסה, מתוךSLICE_SHAPE. לדוגמה,SLICE_SHAPE=2x4מגדיר אתtpuv6e:2x4. -
--instance_count: מספר פרוסות ה-TPU, מ-MAX_SLICES. -
--gcs_scratch_location: נתיב בקטגוריה של Cloud Storage, מ-GCS_BUCKET, שמשמש לקבצים זמניים כמו המטמון של הקומפילציה. -
--enable_gcs_olm: אם Pathways יוצר כללי מחזור חיים של אובייקטים ב-Cloud Storage כדי לנקות רשומות ישנות במטמון של הקומפילציה. הסקריפט משבית את האפשרות הזו כי היא דורשת הרשאות נוספות בקטגוריה.
שרת proxy של IFRT
המשימה של שירות Pathways מריצה את שרת ה-proxy של IFRT באותו צומת מעבד (CPU) כמו מנהל המשאבים של Pathways. היא מריצה את הפקודה הבאה במאגר התגים בצד השרת של שרת ה-proxy של IFRT:
/pathways/proxy_server \ --server_port=29000 \ --resource_manager_address=RM_IP:29001 \ --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \ --num_elastic_instances=MAX_SLICES
הפקודה משתמשת בארגומנטים הבאים:
-
--server_port: היציאה שבה שרת ה-proxy של IFRT מאזין. תוכנית JAX מתחברת ליציאה הזו. -
--resource_manager_address: הכתובת של מנהל המשאבים של Pathways. RM_IPהיא כתובת ה-IP הפנימית של צומת ה-CPU. -
--gcs_scratch_location: אותו נתיב ב-Cloud Storage כמו של מנהל המשאבים של Pathways. -
--num_elastic_instances: מספר הפרוסות שיכולות להיות לא זמינות בלי לעצור את הסשן של שרת ה-proxy של IFRT, מתוךMAX_SLICES. עומס העבודה שלכם אוכף אתMIN_SLICES.
כשפועלות לפחות MIN_SLICES פרוסות, משימת השירות כותבת את כתובת שרת ה-proxy של IFRT ב-~/pathways/cluster.env. תוכנית JAX, לקוח ה-proxy של IFRT, קוראת את הקובץ הזה כדי להתחבר ל-Pathways. תוכנית JAX פועלת כעומס העבודה שלכם, לדוגמה run_maxtext.sh, או ב-Jupyter Notebook.
עובד ב-Pathways
משימת השירות של Pathways שולחת מערך משימות של Slurm (run_worker_slice.sh) עם משימת מערך אחת לכל פרוסת TPU. כל משימה במערך מריצה את הפקודה הבאה במאגר השרת של Pathways בכל מכונת TPU וירטואלית בפרוסה שלה:
/pathways/server \ --server_port=29001 \ --resource_manager_address=RM_IP:29001 \ --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \ --enable_gcs_olm=false
הפקודה משתמשת בארגומנטים הבאים:
-
--server_port: היציאה שבה ה-worker של Pathways מאזין. מנהל המשאבים של Pathways ושרת ה-proxy של IFRT מתחברים ליציאה הזו. -
--resource_manager_address: הכתובת של מנהל המשאבים של Pathways, זהה לזו של שרת ה-proxy של IFRT. -
--gcs_scratch_location, --enable_gcs_olm: כמו במנהל המשאבים של Pathways.
הסקריפט גם מגדיר את הטופולוגיה של ה-TPU ואת משתני הסביבה של MEGASCALE_* לכל וורקר מהצמתים של הפרוסה ומאינדקס המשימות של המערך.
אם פרוסת TPU נקטעת או נכשלת, Slurm מוסיף מחדש את משימת המערך לתור. אם יש לכם sudo ללא סיסמה בצומתי האשכול, משימת השירות גם מכבה את הצמתים של הפרוסה כדי ש-Slurm יוכל ליצור אותם מחדש. מנהל המשאבים של Pathways ושרת ה-proxy של IFRT ממשיכים לפעול, כך שתוכנית JAX לא צריכה להתחבר לכתובת חדשה.
המאמרים הבאים
- יצירת אשכול GKE באמצעות Pathways
- יצירת אשכול Cluster Director באמצעות Pathways
- הרצת עומס עבודה באצווה באמצעות Pathways
- הרצת עומס עבודה אינטראקטיבי באמצעות Pathways
- אימון עמיד באמצעות Pathways
- העברת עומסי עבודה של JAX ל-Pathways
- פתרון בעיות ב-Pathways on Cloud
- הפעלת עומסי עבודה עם Pathways ב-Cluster Toolkit