חיבור אחסון בלוקים עמיד ל-TPU VM
TPU VM כולל דיסק אתחול בנפח 10GB. בתרחישים מסוימים נדרש נפח אחסון נוסף לאימון או לעיבוד מראש. הוספת נפח של Google Cloud Hyperdisk או של Persistent Disk (PD) כדי להרחיב את קיבולת הדיסק המקומי.
כדי ליהנות מהביצועים הכי טובים ומתכונות מתקדמות, כדאי להשתמש ב-Hyperdisk אם הוא זמין בגרסת ה-TPU שלכם. אחרת, משתמשים ב-Persistent Disk. למידע נוסף על אפשרויות אחסון בלוקים ב-Compute Engine, קראו את המאמר בחירת סוג דיסק.
תמיכה ב-TPU ל-Hyperdisk ול-Persistent Disk
בטבלה הבאה מוצגים סוגי הדיסקים שנתמכים בכל גרסת TPU:
| גרסת ה-TPU | סוגי הדיסקים הנתמכים | מספר הדיסקים המקסימלי לכל מכונה וירטואלית: (כולל דיסק האתחול) |
|---|---|---|
| TPU7x | Hyperdisk Balanced Hyperdisk ML |
128 |
| v6e | Hyperdisk Balanced Hyperdisk ML |
32 |
| v5p | Hyperdisk ML דיסק אחסון מתמיד מאוזן |
128 |
מצבי גישה
מגדירים דיסק שמחובר ל-TPU VM יחיד (שנקרא גם פרוסת TPU של מארח יחיד), למשל ct6e-standard-4t, במצב קריאה וכתיבה (rw) או במצב קריאה בלבד (ro).
כשמצרפים דיסק לפרוסת TPU עם כמה מארחים, הדיסק מצורף לכל מכונה וירטואלית בפרוסה. כדי למנוע ממספר TPU VM לכתוב לדיסק בו-זמנית, צריך להגדיר את כל הדיסקים שמחוברים לפרוסת TPU עם כמה מארחים כ"לקריאה בלבד" (ro). דיסקים לקריאה בלבד שימושיים לאחסון קבוצת נתונים לעיבוד בפרוסת TPU.
דרישות מוקדמות
לפני שמשתמשים בהליכים האלה, צריך להגדיר חשבון ופרויקט ב- Google Cloud . למידע נוסף, קראו את המאמר הגדרת סביבת Cloud TPU.
יצירת דיסק
כדי ליצור דיסק, משתמשים בפקודה הבאה:
gcloud compute disks create DISK_NAME \
--size DISK_SIZE \
--zone ZONE \
--type DISK_TYPE
מחליפים את ה-placeholders הבאים:
- DISK_NAME: השם של הדיסק החדש.
- DISK_SIZE: גודל הדיסק החדש. הערך חייב להיות מספר שלם ואחריו יחידת גודל של GB לגיביבייט או TB לטביבייט. אם לא מציינים יחידת מידה, המערכת מניחה שמדובר ב-GB.
- ZONE: שם האזור שבו רוצים ליצור את הדיסק החדש. האזור הזה צריך להיות זהה לאזור שבו אתם יוצרים את ה-TPU.
- DISK_TYPE: סוג הדיסק.
משתמשים באחד מהערכים הבאים:
hyperdisk-balanced,hyperdisk-mlאוpd-balanced.
ב-Hyperdisk, אפשר לציין את הדגל --access-mode עם אחד מהערכים הבאים:
- READ_WRITE_SINGLE: גישת קריאה וכתיבה ממכונה אחת (ברירת המחדל).
- READ_ONLY_MANY: (רק ב-Hyperdisk ML) גישה בו-זמנית לקריאה בלבד ממספר מכונות.
מידע נוסף על יצירת דיסקים זמין במאמרים יצירת נפח Hyperdisk חדש ויצירת נפח Persistent Disk חדש.
צירוף דיסק
אתם יכולים לצרף אמצעי אחסון ל-TPU VM או לפרוסה בזמן היצירה, או לצרף אותו אחרי היצירה.
חיבור דיסק כשיוצרים TPU VM
כשיוצרים TPU VM או תבנית של הגדרות מכונה, משתמשים בדגל --disk כדי לצרף אמצעי אחסון של דיסק.
צירוף דיסק כשיוצרים מכונה וירטואלית אחת של TPU VM
בדוגמה הבאה מוסבר איך לחבר נפח אחסון של דיסק כשיוצרים TPU VM יחיד:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--maintenance-policy=TERMINATE \
--disk=name=DISK_NAME,device-name=DEVICE_NAME,mode=MODE
מחליפים את ה-placeholders הבאים:
- TPU_NAME: שם ל-TPU VM.
- MACHINE_TYPE: סוג המכונה של ה-TPU VM (לדוגמה,
ct6e-standard-8t). - IMAGE_FAMILY: משפחת קובצי האימג' של מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל
--image. מידע נוסף על קובצי אימג' של מערכת ההפעלה - IMAGE_PROJECT: הפרויקט שמכיל את קובץ האימג' של מערכת ההפעלה.
בתמונות TPU, הערך הוא
ubuntu-os-accelerator-images. - ZONE: האזור של ה-TPU VM.
- DEVICE_NAME: שם המכשיר שבו רוצים להשתמש בשביל הדיסק. השם הזה מזהה את הדיסק במערכת ההפעלה.
- MODE: מצב הדיסק. הערך יכול להיות
rw(קריאה-כתיבה) אוro(קריאה בלבד). מידע נוסף זמין במאמר מצבי גישה.
צירוף דיסק כשיוצרים פרוסת TPU עם כמה מארחים
כשיוצרים פרוסת TPU עם כמה מארחים, צריך לציין את mode=read-only (רק Hyperdisk ML ודיסק אחסון מתמיד מאוזן). למידע נוסף, קראו את המאמר מצבי גישה.
כדי לצרף דיסק לפרוסת TPU עם כמה מארחים, יוצרים תבנית של הגדרות מכונה עם הדיסק המצורף, יוצרים מדיניות של עומסי עבודה ואז יוצרים MIG:
יצירת תבנית של הגדרות מכונה
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME --machine-type=MACHINE_TYPE \ --maintenance-policy=TERMINATE \ --image-family=IMAGE_FAMILY \ --image-project=IMAGE_PROJECT \ --disk=name=DISK_NAME,mode=MODEמחליפים את ה-placeholders הבאים:
- INSTANCE_TEMPLATE_NAME: השם של התבנית של הגדרות המכונה.
- MACHINE_TYPE: סוג המכונה של ה-TPU VM, לדוגמה
ct6e-standard-8t. - IMAGE_FAMILY: משפחת קובצי האימג' של מערכת ההפעלה של ה-TPU VM. כדי להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל
--image. מידע נוסף על קובצי אימג' של מערכת ההפעלה - IMAGE_PROJECT: הפרויקט שמכיל את קובץ האימג' של מערכת ההפעלה.
בתמונות TPU, הערך הוא
ubuntu-os-accelerator-images. - DISK_NAME: שם הדיסק שרוצים לצרף ל-TPU VM.
- MODE: מצב הדיסק. המצב חייב להיות
ro(לקריאה בלבד) לפרוסות TPU עם כמה מארחים.
יצירת מדיניות עומס עבודה
gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \ --type=high-throughput \ --accelerator-topology=TOPOLOGY \ --region=WORKLOAD_POLICY_REGIONמחליפים את ה-placeholders הבאים:
- WORKLOAD_POLICY_NAME: השם של מדיניות עומסי העבודה.
- TOPOLOGY: הטופולוגיה של ה-TPU VM, לדוגמה
4x4x8. מידע נוסף על הטופולוגיה של כל גרסת TPU זמין במאמר ארכיטקטורת המערכת. - WORKLOAD_POLICY_REGION: האזור של מדיניות עומסי העבודה. צריך להשתמש באזור שמכיל את האזור של ה-MIG.
יוצרים MIG:
gcloud compute instance-groups managed create MIG_NAME \ --project=PROJECT_ID \ --zone=ZONE \ --template=TEMPLATE_NAME \ --size=SIZE \ --workload-policy=WORKLOAD_POLICY_NAMEמחליפים את ה-placeholders הבאים:
- MIG_NAME: השם של קבוצת ה-MIG.
- PROJECT_ID: מזהה הפרויקט.
- ZONE: האזור שבו נמצא ה-Cloud TPU.
- TEMPLATE_NAME: השם של התבנית של הגדרות המכונה.
- SIZE: מספר המכונות הווירטואליות בפרוסת ה-TPU עם כמה מארחים.
- WORKLOAD_POLICY_NAME: השם של מדיניות עומסי העבודה.
צירוף דיסק כשיוצרים MIG עם כמה פרוסות TPU במארח יחיד
אם יוצרים פרוסת TPU עם מארח יחיד, אפשר לציין את הערך mode=read-only (רק ב-Hyperdisk ML ובדיסק אחסון מתמיד מאוזן) או את הערך mode=read-write.
כדי לחבר אחסון עמיד ל-MIG עם פרוסות TPU עצמאיות במארח יחיד, מגדירים את תבנית של הגדרות מכונה כך שייווצר דיסק חדש לכל מכונה באמצעות הדגל --create-disk:
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
--machine-type=MACHINE_TYPE \
--maintenance-policy=TERMINATE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--disk=name=DISK_NAME,mode=MODE
מחליפים את ה-placeholders הבאים:
- INSTANCE_TEMPLATE_NAME: השם של התבנית של הגדרות המכונה.
- MACHINE_TYPE: סוג המכונה של ה-TPU VM (לדוגמה,
ct6e-standard-8t). - IMAGE_FAMILY: משפחת קובצי האימג' של מערכת ההפעלה ל-TPU VM.
- IMAGE_PROJECT: הפרויקט שמכיל את קובץ האימג' של מערכת ההפעלה (
ubuntu-os-accelerator-images). - DISK_NAME: השם הבסיסי של הדיסק שרוצים ליצור ולצרף לכל TPU VM.
- DISK_SIZE: גודל הדיסק ב-GB.
- DISK_TYPE: סוג הדיסק (לדוגמה,
pd-balanced,hyperdisk-balanced).
אחר כך יוצרים את ה-MIG כמו שמוסבר בחלק הקודם, ומגדירים את --size למספר ה-TPU VMs שבחרתם.
חיבור דיסק ל-TPU VM קיים
כדי לחבר דיסק ל-TPU VM קיים, משתמשים בפקודה gcloud compute instances attach-disk.
gcloud compute instances attach-disk VM_NAME \
--zone=ZONE \
--disk=DISK_NAME \
--mode=MODE
מחליפים את ה-placeholders הבאים:
- VM_NAME: השם של ה-TPU VM.
- ZONE: האזור שבו נמצא ה-Cloud TPU.
- DISK_NAME: שם הדיסק שרוצים לצרף ל-TPU VM.
- MODE: מצב הדיסק. למידע נוסף, קראו את המאמר מצבי גישה.
אם המכונה הווירטואלית מושבתת מסיבה כלשהי, יכול להיות שתצטרכו לטעון את הדיסק אחרי שתפעילו מחדש את המכונה הווירטואלית. למידע על הגדרת הדיסק כך שייטען באופן אוטומטי בהפעלה מחדש של ה-VM, ראו הגדרת טעינה אוטומטית בהפעלה מחדש של המערכת.
למידע נוסף על מחיקה אוטומטית של דיסק, ראו שינוי הגדרת המחיקה האוטומטית של דיסק.
פרמוט וטעינה של דיסק
אם אתם מצרפים דיסק חדש וריק ל-TPU VM, אתם צריכים לפרמט ולטעון את הדיסק לפני שתוכלו להשתמש בו. אם אתם מצרפים דיסק שכבר מכיל נתונים, אתם צריכים לטעון אותו לפני שתוכלו להשתמש בו.
מידע נוסף על עיצוב וטעינה של דיסק שאינו דיסק אתחול זמין במאמר עיצוב וטעינה של דיסק שאינו דיסק אתחול ב-VM של Linux.
ניתוק דיסק
כדי לנתק דיסק מה-TPU VM, מריצים את הפקודה הבאה:
gcloud compute instances detach-disk VM_NAME \
--zone=ZONE \
--disk=DISK_NAME
מחליפים את ה-placeholders הבאים:
- VM_NAME: השם של ה-TPU VM.
- ZONE: האזור שבו נמצא ה-Cloud TPU.
- DISK_NAME: שם הדיסק שרוצים לנתק מה-TPU VM.
מידע נוסף על ניתוק דיסק זמין במאמר ניתוק דיסק.
הסרת המשאבים
בסיום השימוש, מחקו את המשאבים של Cloud TPU ו-Compute Engine.
אם עדיין לא התנתקתם מ-Cloud TPU, עשו זאת עכשיו:
exitמוחקים את ה-TPU VM:
gcloud compute instances delete VM_NAME \ --zone=ZONEמחליפים את ה-placeholders הבאים:
- VM_NAME: השם של ה-TPU VM.
- ZONE: האזור שבו נמצא ה-Cloud TPU.
אם יצרתם פרוסת TPU עם כמה מארחים באמצעות MIG, מחקו את קבוצת המכונות:
gcloud compute instance-groups managed delete MIG_NAME \ --zone=ZONEמחליפים את ה-placeholders הבאים:
- MIG_NAME: השם של קבוצת המכונות המנוהלת.
- ZONE: האזור שבו נמצא ה-Cloud TPU.
מוודאים שה-Cloud TPU נמחק. המחיקה עשויה להימשך כמה דקות.
gcloud compute instances list --zone=ZONEכדי לוודא שהדיסק נמחק באופן אוטומטי כשמוחקים את ה-TPU VM, מציגים את כל הדיסקים באזור שבו יצרתם את הדיסק:
gcloud compute disks list --filter="zone:( ZONE )"מחליפים את ה-placeholders הבאים:
- ZONE: האזור שבו נמצא ה-Cloud TPU.
אם הדיסק לא נמחק כשמוחקים את ה-TPU VM, אפשר למחוק אותו באמצעות הפקודה הבאה:
gcloud compute disks delete DISK_NAME \ --zone=ZONEמחליפים את ה-placeholders הבאים:
- DISK_NAME: שם הדיסק שרוצים למחוק.
- ZONE: האזור שבו נמצא ה-Cloud TPU.