מעבדי TPU זמניים שניתנים להפסקה

העלות של Preemptible TPU נמוכה בהרבה מהעלות של TPU שאי אפשר להפסיק. שירות Cloud TPU עשוי לבצע הקצאה מראש (לסגור) את יחידות ה-TPU האלה בכל שלב, אם הוא זקוק למשאבי TPU נוספים.

יצירת מכונת TPU וירטואלית שניתן לקטוע את הפעולה שלה

gcloud

$ gcloud compute tpus tpu-vm create demo-tpu \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.17.1-pjrt \
  --preemptible

where:

  • ‫demo-tpu הוא שם ל-TPU.
  • ‫accelerator-type הוא סוג ה-TPU. מידע נוסף על סוגי המאיצים הנתמכים לכל גרסת TPU זמין במאמר גרסאות TPU.
  • ‫version היא גרסת התוכנה של Cloud TPU שרוצים להתקין.
  • ‫preemptible מאפשרת ל-Cloud TPU לבצע הקצאה מראש של ה-TPU.

תמחור ומכסת שימוש של יחידות TPU שניתן להפסיק

המחיר של TPUs מסוג Preemptible נמוך משמעותית מהמחיר של TPUs רגילים. פרטים נוספים זמינים בדף התמחור. לא מחויבים על TPU אם הן נדחקות בדקה הראשונה אחרי שיוצרים אותן.

המכסה ל-TPU שניתן להפסיק את השימוש בהם בדרך כלל גבוה יותר, והוא נפרד מהמכסה ל-TPU רגילים. אפשר לעיין בדף המכסות.

איך בודקים אם בוצעה הפסקה זמנית של TPU

משתמשים בפקודה gcloud הבאה כדי לבדוק אם שירות Cloud TPU ביצע קדימה של ה-TPU:

מציגים את יחידות ה-TPU הזמינות:

gcloud compute tpus tpu-vm list
  --zone=us-central1-b

בפלט של הפקודה מוצגים הפרטים של יחידות ה-TPU שנוצרו בפרויקט. אם בוצעה קדימה (preemption) של TPU, הסטטוס משתנה מ-READY ל-PREEMPTED.

לדוגמה: 

NAME       ZONE           ACCELERATOR_TYPE  NETWORK_ENDPOINT   NETWORK  RANGE          STATUS
demo-tpu   us-central1-b  v2-8              10.240.1.2:8470    default  10.240.1.0/29  PREEMPTED

תכנון אפליקציית למידת מכונה להרצה ב-TPU עם אפשרות קדימה

כדי לוודא שהאפליקציה עמידה בפני הפעלה מחדש של המכונה הווירטואלית ושל ה-TPU, צריך לשמור נקודות ביקורת של המודל באופן קבוע ולהגדיר את האפליקציה כך שתשחזר את נקודת הביקורת האחרונה בהפעלה מחדש.