יצירת MIG עם פלח TPU מרובה מארחים

במאמרי עזרה הזה נסביר איך ליצור קבוצת מופעי מכונה מנוהלים (MIG) שיוצרת פרוסה (slice) של TPU עם כמה מארחים.

לפני שמתחילים

• כדאי לעיין במגבלות על יצירת קבוצות של מכונות מופעלות (MIG) עם מופעי TPU.
• אם עדיין לא עשיתם את זה, תצטרכו להגדיר אימות. אימות הוא תהליך שבו מאמתים את הזהות שלכם כדי לקבל גישה לממשקי API ולשירותים של Google Cloud . כדי להריץ קוד או דוגמאות מסביבת פיתוח מקומית, אפשר לבצע אימות ל-Compute Engine באחת מהדרכים הבאות:

  1. התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם. אחרי שנכנסתם לחשבון, אתחלו את ה-CLI של Google Cloud באמצעות הפקודה הבאה:

     gcloud init

     הערה: אם התקנתם את ה-CLI של gcloud, השתמשו בפקודה gcloud components update כדי לבדוק אם מותקנת הגרסה העדכנית.
  2. הגדרת אזור ותחום כברירת מחדל

דרישות מוקדמות

לפני שיוצרים פלח TPU עם כמה מארחים, צריך לבצע את הפעולות הבאות:

1. בחירת גרסת ה-TPU: בוחרים את גרסת ה-TPU שמתאימה לעומס העבודה. רשימה של גרסאות TPU לפי סוג עומס העבודה זמינה במאמר גרסאות TPU מומלצות לפי סוגי עומסי עבודה.

2. מוודאים שה-TPU זמין במיקום המועדף: מכשירי TPU זמינים באזורים ספציפיים של Google Cloud Google Cloud. כדי להשתמש בגרסת TPU, צריך לוודא שהיא זמינה באזור המועדף. כאן מפורטת רשימת המיקומים של TPU.

3. מוודאים שיש בפרויקט מכסת TPU מספקת: אם יוצרים פלח TPU מרובה מארחים עם מכונות וירטואליות לפי דרישה או מכונות וירטואליות מסוג Spot, צריך לוודא שיש מכסת TPU מספקת באזור שבו רוצים להשתמש. כשיוצרים פלח TPU עם כמה מארחים שצורכת הזמנת TPU, לא נדרשת מכסת TPU כי המכסה משמשת כשיוצרים את ההזמנה. רשימה של שמות מכסות TPU מופיעה במאמר מכסת TPU. במאמר איך רואים ומנהלים את המכסות מוסבר איך לראות את המכסה.

4. בחירת אפשרות צריכה של TPU: בוחרים את אפשרות הצריכה שהכי מתאימה לעומס העבודה, למשך הזמן ולצרכים שלכם מבחינת עלויות. רשימת האפשרויות לצריכה לפי גרסאות TPU זמינה במאמר אפשרויות צריכה של TPU.

5. בחירת טופולוגיה: בוחרים טופולוגיה שנתמכת בגרסת ה-TPU שנבחרה. במאמר בנושא טופולוגיית TPU מפורטת רשימה של הטופולוגיות שזמינות לכל גרסת TPU.

יצירת MIG עם פרוסות TPU מרובות מארחים

1. יוצרים תבנית של הגדרות מכונה.
2. יוצרים מדיניות של עומס עבודה.
3. יוצרים את ה-MIG.

יצירת תבנית של הגדרות מכונה

הפקודה ליצירת תבנית של הגדרות מכונה תלויה באפשרות הצריכה שבה משתמשים: על פי דרישה, Spot, מכונה שמשויכת למקום שמור או מכונה עם התחלה גמישה (Flex-start). מידע נוסף על אפשרויות הצריכה זמין במאמר מידע על מודלים להקצאת מכונות וירטואליות.

יצירת תבנית של הגדרות מכונה עבור TPU VM לפי דרישה

הפקודה הבאה יוצרת תבנית של הגדרות מכונה באמצעות האפשרות של צריכה על פי דרישה:

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "scheduling": {
        "onHostMaintenance": "TERMINATE"
      },
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫INSTANCE_TEMPLATE_NAME: השם של תבנית הגדרות המכונה.
• ‫MACHINE_TYPE: סוג המכונה של מכונת ה-TPU VM, לדוגמה, ct6e-standard-8t.
• ‫IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל --image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה.
• ‫IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה. בתמונות TPU, הערך הוא ubuntu-os-accelerator-images.

יצירת תבנית של הגדרות מכונה עבור VM במודל Spot של TPU

הפקודה הבאה יוצרת תבנית של הגדרות מכונה באמצעות האפשרות של צריכת Spot:

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=STOP \
  --provisioning-model=SPOT \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "SPOT",
        "instanceTerminationAction": "STOP"
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫INSTANCE_TEMPLATE_NAME: השם של תבנית הגדרות המכונה.
• ‫MACHINE_TYPE: סוג המכונה של מכונת ה-TPU VM, לדוגמה, ct6e-standard-8t.
• ‫IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל --image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה.
• ‫IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה. בתמונות TPU, הערך הוא ubuntu-os-accelerator-images.

יצירת תבנית של הגדרות מכונה למכונה וירטואלית שמשויכת למקום שמור של TPU

הפקודה הבאה יוצרת תבנית של הגדרות מכונה באמצעות אפשרות הצריכה שמוגבלת להזמנה:

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=DELETE \
  --reservation-affinity=specific \
  --provisioning-model=reservation-bound \
  --reservation=RESERVATION_NAME \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE"
      },
      "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION_NAME"
        ]
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫INSTANCE_TEMPLATE_NAME: השם של תבנית הגדרות המכונה.
• ‫MACHINE_TYPE: סוג המכונה של מכונת ה-TPU VM, לדוגמה, ct6e-standard-8t.
• ‫RESERVATION_NAME: השם של ההזמנה הספציפית שרוצים להשתמש בה.
• ‫IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל --image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה.
• ‫IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה. בתמונות TPU, הערך הוא ubuntu-os-accelerator-images.

יצירת תבנית של מכונה וירטואלית עם TPU Flex-start

הפקודה הבאה יוצרת תבנית של הגדרות מכונה באמצעות אפשרות הצריכה flex-start:

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "FLEX_START",
        "instanceTerminationAction": "DELETE",
        "maxRunDuration": {
          "seconds": "DURATION"
        }
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫INSTANCE_TEMPLATE_NAME: השם של תבנית הגדרות המכונה.
• ‫MACHINE_TYPE: סוג המכונה של מכונת ה-TPU VM, לדוגמה, ct6e-standard-8t.
• ‫DURATION: משך הזמן המקסימלי שבו אפשר להריץ את TPU VM. ב-REST, מציינים את זה כמספר שניות (לדוגמה, 3600 לשעה אחת או 604800 ל-7 ימים).
• ‫IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל --image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה.
• ‫IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה. בתמונות TPU, הערך הוא ubuntu-os-accelerator-images.

יצירת מדיניות של עומס עבודה

צריך ליצור מדיניות של עומס עבודה עם הפרמטר accelerator-topology (לדוגמה, 4x4,‏ 8x8 או 4x4x4). טופולוגיית המאיץ מגדירה את ה-MIG כך שהמופעים יטופלו כפלח יחיד ומקושר.

הפקודה הבאה יוצרת מדיניות עומס עבודה לטופולוגיה ספציפית:

gcloud

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY \
  --region=REGION

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "WORKLOAD_POLICY_NAME",
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "TOPOLOGY"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫WORKLOAD_POLICY_NAME: השם של מדיניות עומס העבודה.
• ‫TOPOLOGY: הטופולוגיה של מכונות ה-TPU הווירטואליות, לדוגמה, 4x4x8. מידע נוסף על הטופולוגיה של כל גרסה של TPU זמין במאמר בנושא טופולוגיית TPU.
• ‫REGION: האזור של מדיניות עומס העבודה.

יצירת קבוצת מופעים מנוהלת (MIG)

כדי ליצור קבוצת MIG אזורית שמכילה פלח TPU עם כמה מארחים, משתמשים בפקודה הבאה:

gcloud

gcloud compute instance-groups managed create MIG_NAME \
   --size=MIG_SIZE \
   --target-size-policy-mode=bulk \
   --template=INSTANCE_TEMPLATE_URL \
   --zone=ZONE \
   --default-action-on-vm-failure=do-nothing \
   --workload-policy=WORKLOAD_POLICY_URL

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "MIG_NAME",
    "targetSize": MIG_SIZE,
    "targetSizePolicy": {
      "mode": "BULK"
    },
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    },
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫MIG_NAME: השם של קבוצת ה-MIG.
• ‫MIG_SIZE: הגודל של ה-MIG.
• ‫INSTANCE_TEMPLATE_URL: כתובת ה-URL של תבנית של הגדרות מכונה שרוצים להשתמש בה כדי ליצור מכונות ב-MIG. כתובת ה-URL יכולה להכיל את המזהה או את השם של תבנית של הגדרות מכונה. מציינים אחד מהערכים הבאים:
  • לתבנית של הגדרות מכונה אזורית: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • לתבנית גלובלית של הגדרות מכונה: INSTANCE_TEMPLATE_ID
• ‫ZONE: האזור של ה-MIG.
• ‫WORKLOAD_POLICY_URL: כתובת ה-URL של מדיניות העומס שרוצים להשתמש בה כדי ליצור מכונות ב-MIG. לדוגמה: projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME.

כדי ליצור קבוצת MIG אזורית שמכילה פלח TPU עם כמה מארחים, משתמשים בפקודה הבאה:

gcloud

gcloud compute instance-groups managed create MIG_NAME \
   --size=MIG_SIZE \
   --target-size-policy-mode=bulk \
   --template=INSTANCE_TEMPLATE_URL \
   --region=REGION \
   --default-action-on-vm-failure=do-nothing \
   --workload-policy=WORKLOAD_POLICY_URL \
   --target-distribution-shape=any-single-zone \
   --instance-redistribution-type=none

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "MIG_NAME",
    "targetSize": MIG_SIZE,
    "targetSizePolicy": {
      "mode": "BULK"
    },
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    },
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    },
    "distributionPolicy": {
      "targetShape": "ANY_SINGLE_ZONE"
    },
    "updatePolicy": {
      "instanceRedistributionType": "NONE"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers"

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫MIG_NAME: השם של קבוצת ה-MIG.
• ‫MIG_SIZE: מספר המכונות הווירטואליות ב-MIG.
• ‫INSTANCE_TEMPLATE_URL: כתובת ה-URL של תבנית של הגדרות מכונה שרוצים להשתמש בה כדי ליצור מכונות ב-MIG. כתובת ה-URL יכולה להכיל את המזהה או את השם של תבנית של הגדרות מכונה. מציינים אחד מהערכים הבאים:
  • לתבנית של הגדרות מכונה אזורית: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • לתבנית גלובלית של הגדרות מכונה: INSTANCE_TEMPLATE_ID
• ‫ZONE: האזור של ה-MIG.
• ‫REGION: האזור של ה-MIG.
• ‫WORKLOAD_POLICY_URL: כתובת ה-URL של מדיניות העומס שרוצים להשתמש בה כדי ליצור מכונות ב-MIG. לדוגמה: projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME.

יצירת מכונות וירטואליות עם שמות בהתאמה אישית ב-MIG

אפשר ליצור מכונות וירטואליות ב-MIG על ידי ציון שמות בהתאמה אישית לכל מכונה וירטואלית. האפשרות הזו שימושית לניפוי באגים ולוודא שהמופעים נוצרים בסדר מסוים.

קבוצות MIG שמכילות פלח TPU עם כמה מארחים משתמשות במצב 'כמות גדולה' של מדיניות גודל היעד. כשיוצרים מכונות וירטואליות עם שמות בהתאמה אישית בקבוצת MIG כזו, חלים הכללים הבאים:

• קודם צריך לוודא שאין מכונות וירטואליות בקבוצת ה-MIG. אם יש מכונות וירטואליות ב-MIG, צריך לשנות את הגודל של ה-MIG לגודל היעד 0 או ליצור עוד MIG עם גודל היעד 0.

• אפשר להשתמש ב-API בארכיטקטורת REST רק כדי ליצור מכונות וירטואליות עם שמות בהתאמה אישית.

כדי ליצור מכונות וירטואליות עם שמות בהתאמה אישית, משתמשים באחת מהשיטות הבאות של API בארכיטקטורת REST:

• בשביל MIG אזורי, משתמשים ב-instanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

• ל-MIG אזורי, משתמשים ב-regionInstanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

מחליפים את ה-placeholders הבאים:

• ‫PROJECT_ID: מזהה הפרויקט שבו קיימת קבוצת ה-MIG.
• ‫ZONE: האזור של ה-MIG.
• ‫REGION: האזור של ה-MIG.
• ‫INSTANCE_NAME_1,2,..: השמות של המכונות הווירטואליות שרוצים להוסיף לקבוצת ה-MIG שצוינה.

המאמרים הבאים

• התחברות למופע TPU
• הצגת המאפיינים של קבוצת מופעים מנוהלת
• הצגת הסטטוס של פרוסת TPU
• מעקב אחרי TPU
• מחיקת קבוצת מופעים מנוהלת (MIG)