מבוא לתוכניות הלימודים ב-Cloud

‫Pathways היא מערכת שנועדה לאפשר יצירה של מערכות למידת מכונה (ML) בקנה מידה גדול, עם ריבוי משימות והפעלה דלילה. הוא מאפשר להשתמש באלפי או בעשרות אלפי מאיצים, עם יכולת להקצות באופן דינמי כמויות שונות של משאבי מחשוב למשימות שונות, בהתאם לדרישות העיבוד שלהן.

‫Pathways מפשט חישובי למידת מכונה בקנה מידה גדול, ומאפשר ללקוח JAX יחיד לתזמר עומסי עבודה על פני פרוסות TPU גדולות, שיכולות לכלול אלפי שבבי TPU.

‫Google משתמשת ב-Pathways באופן פנימי כדי לאמן מודלים גדולים כמו Gemini. השימוש ב-Pathways ב-Cloud מעניק את אותם יתרונות ללקוחות Google Cloud .

לפני שמתחילים

לפני שמתחילים

אתם יכולים להריץ את Pathways ב-Google Kubernetes Engine ‏(GKE) או באשכול Cluster Director עם Slurm. בוחרים את הכרטיסייה של הפלטפורמה הרלוונטית.

GKE

מבצעים את הפעולות הבאות:

במאמר הזה מוסבר איך להשתמש ביחידות TPU שמנוהלות על ידי Pathways ב-GKE לעומסי עבודה באצווה, בזמן אמת ובאופן אינטראקטיבי. ההנחה היא שאתם כבר יודעים איך להשתמש ביחידות TPU ב-GKE, כולל יחידות TPU עם פרוסה אחת ועם כמה פרוסות ב-GKE, ושיש לכם ניסיון כללי עם יחידות TPU עם כמה פרוסות.

Cluster Director

מבצעים את הפעולות הבאות:

במאמר הזה מוסבר איך להשתמש ב-Pathways עם יחידות TPU באשכול של Cluster Director לעומסי עבודה אינטראקטיביים ובאצווה. ההנחה היא שאתם כבר מכירים את Cluster Director, את מכונות ה-TPU ב-Cluster Director ואת הרצת המשימות באמצעות Slurm, ושיש לכם ניסיון כללי עם מערכי TPU עם כמה פרוסות.

איך יוצרים אשכול ב-Cluster Director באמצעות Pathways

נאמן מידע יחיד וכמה נאמני מידע

יש שתי דרכים עיקריות לנהל ולתזמר חישובים בכמה מכשירים:

תכונה נאמן מידע יחיד (מסלולים) Multi-controller (ברירת המחדל של JAX)

בקרה

נקודת בקרה אחת: תוכנת לקוח אחת פועלת כבקר המרכזי.

בקרה מבוזרת: כמה תהליכים משתתפים, לכל אחד מהם יש מכונה משלו של מפרש Python.

תצוגה

תצוגה מאוחדת: הלקוח רואה את כל המכשירים כמערכת אחת מאוחדת.

תצוגה מקומית: כל תהליך Python רואה רק את המכשירים שמחוברים אליו.

תכנות

תכנות פשוט: אתם יוצרים אינטראקציה עם לקוח אחד, כך שהמערכת נראית כמו מכונה אחת גדולה עם הרבה מאיצים מקומיים.

תוכנית אחת, נתונים מרובים (SPMD): משתמשת בעיקר בפרדיגמת SPMD, שדורשת שכל המכשירים יריצו את אותה תוכנית.

גמישות

תמיכה בתבניות חישוב מורכבות מעבר ל-SPMD, כולל מקביליות אסימטרית של צינור עיבוד נתונים ודלילות חישובית.

ניהול המשאבים יכול להיות פחות גמיש, במיוחד בפרוסות TPU שונות.

רכיבי Pathways

בקטעים הבאים מתוארים הרכיבים העיקריים של ארכיטקטורת Pathways.

מנהל המשאבים של Pathways

הרכיב הזה הוא מישור הבקרה המרכזי של מערכת Pathways. הוא מנהל את כל משאבי המאיצים ומתאם את הקצאת המאיצים למשימות שלכם. הוא עוקב אחרי התקינות של ה-workers ומטפל בתזמון, בהשהיה ובהמשך של משימות. הוא משמש כנקודת קשר אחת לשגיאות ולסטטוס המערכת. הרכיב הזה דורש רק משאבי מעבד (CPU).

לקוח Pathways

הרכיב הזה הוא הטמעה של Interim Framework Runtime (IFRT), שמשמש כנקודת הכניסה למערכת Pathways. הוא מקבל פעולות ברמה גבוהה (HLO) מהתוכנית שלכם. הלקוח של Pathways מתואם עם מנהל המשאבים של Pathways כדי לקבוע איפה למקם תוכנות מקומפלות להפעלה על סמך הקוד שלכם. הוא מציג תצוגה מאוחדת של המערכת ללקוח JAX נתון. הרכיב הזה דורש רק משאבי מעבד (CPU).

עובד ב-Pathways

תהליכי ה-worker של Pathways פועלים במכונות המאיצים (מכונות וירטואליות של TPU). הם מקבלים קובצי הפעלה מקומפלים של התוכנית משרת ה-proxy של IFRT ומבצעים את החישובים ב-TPU. ה-workers של Pathways שולחים נתונים בחזרה לתוכנית דרך שרת ה-proxy של IFRT. הרכיב הזה דורש משאבי מאיץ.

לקוח proxy של IFRT

לקוח ה-proxy של IFRT הוא הטמעה בקוד פתוח של ה-API של Interim Framework Runtime (IFRT), שמפריד בין קוד המשתמש לבין סביבת זמן הריצה הבסיסית ומשפר את הניידות והשקיפות של הקוד. ‫JAX משתמש בהטמעה הזו כחלופה לסביבת זמן הריצה שמוגדרת כברירת מחדל עם כמה בקרים. לקוח ה-proxy של IFRT משמש כגשר תקשורת בין התוכנית שלכם לבין רכיבי Pathways. הוא שולח בקשות לשרת ה-proxy של IFRT ומקבל ממנו תוצאות. הרכיב הזה דורש רק משאבי מעבד (CPU).

שרת proxy של IFRT

שרת ה-proxy של IFRT הוא שרת gRPC שמקבל בקשות מלקוח ה-proxy של IFRT ומעביר אותן ללקוח Pathways, שמטפל בהפצת העבודה. הרכיב הזה דורש רק משאבי מעבד (CPU).

שרת Sidecar

שרת ה-sidecar הוא שרת gRPC שנמצא באותו מיקום של ה-worker של Pathways במכונה הווירטואלית של המאיץ. הוא מריץ קוד Python שהמשתמשים מציינים ישירות ב-VM של המאיץ, כדי לצמצם את זמן האחזור של העברת הנתונים בין הבקר למאיצים. שרת ה-sidecar יוצר אינטראקציה עם ה-worker של Pathways באמצעות פרוטוקול מותאם אישית עם גרסאות בטרנספורט של gRPC.

דיאגרמת ארכיטקטורה שמראה את האינטראקציה בין לקוח JAX, שרת proxy של IFRT, מנהל המשאבים של Pathways ו-Pathways workers.
רכיבי Pathways

רכיבי Pathways ב-GKE

בקטע הזה ממופים רכיבי Pathways לרכיבי GKE כמו קונטיינרים ו-Pods.

אפשר למצוא קובצי אימג' של קונטיינרים של Pathways במיקומים הבאים:

סוג המאגר מיקום

שרת proxy של IFRT

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-JAX_VERSION

מנהל/ת או עובד/ת משאבים ב-Pathways

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-JAX_VERSION

מנהל המשאבים של Pathways

אחרי שיוצרים אשכול GKE, אפשר להשתמש ב-containerSpec הבא כדי לפרוס את מנהל המשאבים של Pathways:

  - name: pathways-rm
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
    imagePullPolicy: Always
    env:
    - name: HOST_ADDRESS
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    - name: TPU_SKIP_MDS_QUERY
      value: "true"
    args:
    - --server_port=29001
    - --node_type=resource_manager
    - --instance_count=WORKLOAD_NODEPOOL_COUNT
    - --instance_type=SLICE_TOPOLOGY
    - --gcs_scratch_location=gs://BUCKET_NAME

הקונטיינר משתמש בארגומנטים הבאים:

  • ‫--server_port: היציאה שבה מנהל המשאבים של Pathways משתמש כדי לתקשר עם רכיבים אחרים של Pathways.
  • ‫--node_type: סוג הצומת. צריך להגדיר את הארגומנט הזה כ-resource_manager למנהל המשאבים של Pathways. הוא לא נדרש למאגרי התגים האחרים.
  • ‫--instance_count: מספר פרוסות ה-TPU.
  • ‫--instance_type: סוג ה-TPU והטופולוגיה של הפרוסה, בפורמט tpuTPU_TYPE:TOPOLOGY, לדוגמה tpuv5e:4x4.
  • ‫--gcs_scratch_location: קטגוריה של Cloud Storage שמשמשת לקבצים זמניים.

שרת proxy של IFRT

אפשר להשתמש בcontainerSpec הבא כדי לפרוס שרת proxy של IFRT:

  - name: pathways-proxy
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:latest
    imagePullPolicy: Always
    env:
    - name: PATHWAYS_HEAD
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    args:
    - --resource_manager_address=$(PATHWAYS_HEAD):29001
    - --server_port=29000
    - --gcs_scratch_location=gs://BUCKET_NAME
    ports:
    - containerPort: 29000

הקונטיינר משתמש בארגומנטים הבאים:

  • ‫--resource_manager_address: שם המארח והיציאה שבהם שרת ה-proxy משתמש כדי לתקשר עם מנהל המשאבים של Pathways. היציאה צריכה להתאים לערך --server_port שמשמש למאגר של מנהל המשאבים של Pathways.
  • ‫--server_port: היציאה שבה שרת ה-proxy של IFRT משתמש כדי לתקשר עם לקוח ה-proxy של IFRT.
  • ‫--gcs_scratch_location: קטגוריה של Cloud Storage שמשמשת לקבצים זמניים.

עובד ב-Pathways

אפשר להשתמש ב-containerSpec הבא כדי לפרוס את ה-workers של Pathways:

- name: worker
  image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
  imagePullPolicy: Always
  env:
  - name: PATHWAYS_HEAD
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
  - name: MEGASCALE_NUM_SLICES
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/replicatedjob-replicas']"
  - name: MEGASCALE_SLICE_ID
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/job-index']"
  - name: MEGASCALE_COORDINATOR_ADDRESS
    value: "$(PATHWAYS_HEAD)"
  args:
  - --server_port=29001
  - --resource_manager_address=$(PATHWAYS_HEAD):29001
  - --gcs_scratch_location=gs://BUCKET_NAME
  ports:
  - containerPort: 29001
  resources:
    limits:
      google.com/tpu: "4"

הקונטיינר משתמש בארגומנטים הבאים:

  • ‫--resource_manager_address: שם המארח והיציאה שבהם משתמשים ה-TPU workers כדי לתקשר עם מנהל המשאבים של Pathways. היציאה צריכה להתאים לערך --server_port שמשמש למאגר של מנהל המשאבים של Pathways.
  • ‫--server_port: היציאה שבה משתמשים ה-workers כדי לתקשר עם שרת ה-proxy ועם מנהל המשאבים של Pathways.
  • ‫--gcs_scratch_location: קטגוריה של Cloud Storage שמשמשת לקבצים זמניים.

למנהל המשאבים של Pathways, לשרת ה-proxy של IFRT ול-workers של Pathways יכולות להיות יציאות שונות, אבל בדוגמה הזו מנהל המשאבים של Pathways וה-worker של Pathways משתפים את אותה יציאה.

רכיבי Pathways ב-Cluster Director

בקטע הזה מוסבר איך למפות רכיבי Pathways למשימות Slurm באשכול של Cluster Director.

הסקריפטים של Pathways מריצים את הרכיבים של Pathways באמצעות Enroot. הסקריפט setup_env.sh משתמש בקובצי האימג' הבאים של קונטיינרים, שתואמים לגרסת JAX‏ (0.11.1) של סביבת Python שהוא יוצר:

סוג המאגר מיקום

שרת proxy של IFRT

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-0.11.1

מנהל/ת או עובד/ת משאבים ב-Pathways

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-0.11.1

כדי להפעיל את רכיבי Pathways, שולחים את הסקריפט start_pathways.sh כמשימת שירות של Pathways. אתם לא כותבים את הפקודות הבאות בעצמכם: הסקריפטים שואבים את הארגומנטים ממשתני הסביבה שהגדרתם כששלחתם את start_pathways.sh, כמו SLICE_SHAPE, MIN_SLICES, MAX_SLICES ו-GCS_BUCKET.

מנהל המשאבים של Pathways

משימת השירות של Pathways מריצה את מנהל המשאבים של Pathways בצומת מעבד אחד. היא מריצה את הפקודה הבאה במאגר התגים בצד השרת של Pathways:

/pathways/server \
    --server_port=29001 \
    --node_type=resource_manager \
    --instance_type=tpuTPU_TYPE:TOPOLOGY \
    --instance_count=MAX_SLICES \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

הפקודה משתמשת בארגומנטים הבאים:

  • ‫--server_port: היציאה שבה מנהל המשאבים של Pathways מאזין. שרת ה-proxy של IFRT וה-workers של Pathways מתחברים ליציאה הזו.
  • ‫--node_type: סוג הצומת, resource_manager. רק מנהל המשאבים של Pathways מגדיר את הארגומנט הזה.
  • ‫--instance_type: סוג ה-TPU והטופולוגיה של כל פרוסה, מתוך SLICE_SHAPE. לדוגמה, SLICE_SHAPE=2x4 מגדיר את tpuv6e:2x4.
  • ‫--instance_count: מספר פרוסות ה-TPU, מ-MAX_SLICES.
  • ‫--gcs_scratch_location: נתיב בקטגוריה של Cloud Storage, מ-GCS_BUCKET, שמשמש לקבצים זמניים כמו המטמון של הקומפילציה.
  • ‫--enable_gcs_olm: אם Pathways יוצר כללי מחזור חיים של אובייקטים ב-Cloud Storage כדי לנקות רשומות ישנות במטמון של הקומפילציה. הסקריפט משבית את האפשרות הזו כי היא דורשת הרשאות נוספות בקטגוריה.

שרת proxy של IFRT

המשימה של שירות Pathways מריצה את שרת ה-proxy של IFRT באותו צומת מעבד (CPU) כמו מנהל המשאבים של Pathways. היא מריצה את הפקודה הבאה במאגר התגים בצד השרת של שרת ה-proxy של IFRT:

/pathways/proxy_server \
    --server_port=29000 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --num_elastic_instances=MAX_SLICES

הפקודה משתמשת בארגומנטים הבאים:

  • ‫--server_port: היציאה שבה שרת ה-proxy של IFRT מאזין. תוכנית JAX מתחברת ליציאה הזו.
  • ‫--resource_manager_address: הכתובת של מנהל המשאבים של Pathways. ‫RM_IP היא כתובת ה-IP הפנימית של צומת ה-CPU.
  • ‫--gcs_scratch_location: אותו נתיב ב-Cloud Storage כמו של מנהל המשאבים של Pathways.
  • ‫--num_elastic_instances: מספר הפרוסות שיכולות להיות לא זמינות בלי לעצור את הסשן של שרת ה-proxy של IFRT, מתוך MAX_SLICES. עומס העבודה שלכם אוכף את MIN_SLICES.

כשפועלות לפחות MIN_SLICES פרוסות, משימת השירות כותבת את כתובת שרת ה-proxy של IFRT ב-~/pathways/cluster.env. תוכנית JAX, לקוח ה-proxy של IFRT, קוראת את הקובץ הזה כדי להתחבר ל-Pathways. תוכנית JAX פועלת כעומס העבודה שלכם, לדוגמה run_maxtext.sh, או ב-Jupyter Notebook.

עובד ב-Pathways

משימת השירות של Pathways שולחת מערך משימות של Slurm‏ (run_worker_slice.sh) עם משימת מערך אחת לכל פרוסת TPU. כל משימה במערך מריצה את הפקודה הבאה במאגר השרת של Pathways בכל מכונת TPU וירטואלית בפרוסה שלה:

/pathways/server \
    --server_port=29001 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

הפקודה משתמשת בארגומנטים הבאים:

  • ‫--server_port: היציאה שבה ה-worker של Pathways מאזין. מנהל המשאבים של Pathways ושרת ה-proxy של IFRT מתחברים ליציאה הזו.
  • ‫--resource_manager_address: הכתובת של מנהל המשאבים של Pathways, זהה לזו של שרת ה-proxy של IFRT.
  • ‫--gcs_scratch_location, ‏--enable_gcs_olm: כמו במנהל המשאבים של Pathways.

הסקריפט גם מגדיר את הטופולוגיה של ה-TPU ואת משתני הסביבה של MEGASCALE_* לכל וורקר מהצמתים של הפרוסה ומאינדקס המשימות של המערך.

אם פרוסת TPU נקטעת או נכשלת, Slurm מוסיף מחדש את משימת המערך לתור. אם יש לכם sudo ללא סיסמה בצומתי האשכול, משימת השירות גם מכבה את הצמתים של הפרוסה כדי ש-Slurm יוכל ליצור אותם מחדש. מנהל המשאבים של Pathways ושרת ה-proxy של IFRT ממשיכים לפעול, כך שתוכנית JAX לא צריכה להתחבר לכתובת חדשה.

המאמרים הבאים