En este documento, se describe cómo crear un grupo de instancias administrado (MIG) que forme una porción de TPU de varios hosts.
Antes de comenzar
- Revisa las limitaciones para crear MIG con instancias de TPU.
-
Si aún no lo hiciste, configura la autenticación.
La autenticación verifica tu identidad para acceder a los servicios y las APIs de Google Cloud . Para ejecutar
código o muestras desde un entorno de desarrollo local, puedes autenticarte en
Compute Engine seleccionando una de las siguientes opciones:
-
Instala Google Cloud CLI y, luego, accede a gcloud CLI con tu identidad federada. Después de acceder, inicializa Google Cloud CLI con el siguiente comando:
gcloud init - Configura una región y una zona predeterminadas.
-
Requisitos previos
Antes de continuar con la creación de una porción de TPU de varios hosts, debes hacer lo siguiente:
Elige la versión de TPU: selecciona la versión de TPU que sea adecuada para tu carga de trabajo. Para obtener una lista de las versiones de TPU por tipo de carga de trabajo, consulta Versiones de TPU recomendadas por tipos de carga de trabajo.
Elige una opción de consumo de TPU: Elige la opción de consumo que mejor se adapte a tu carga de trabajo, su duración y tus necesidades de costo. Para obtener una lista de la disponibilidad de las opciones de consumo por versiones de TPU, consulta Opciones de consumo de TPU.
Valida la disponibilidad de las TPU en tu ubicación preferida: Las TPU están disponibles en regiones específicas de Google Cloud . Para usar una versión de TPU, asegúrate de que esté disponible en tu región preferida. Para obtener una lista de las ubicaciones de TPU, consulta Disponibilidad de TPU.
Asegúrate de que tu proyecto tenga suficiente cuota de TPU: si creas una porción de TPU de varios hosts con VMs a pedido, VM de inicio flexible o VM Spot, debes tener suficiente cuota de TPU disponible en la región que deseas usar. Crear una porción de TPU de varios hosts que consuma una reserva de TPU no requiere ninguna cuota de TPU, ya que la cuota se usa cuando se crea la reserva. Para obtener una lista de los nombres de las cuotas de TPU, consulta Cuota de TPU y, para obtener instrucciones sobre cómo ver la cuota, consulta Visualiza y administra cuotas.
Elige una topología: Selecciona una topología compatible con la versión de TPU elegida. Para obtener una lista de las topologías disponibles para cada versión de TPU, consulta Topología de TPU.
Crea un MIG con porciones de TPU de varios hosts
- Crea una plantilla de instancias.
- Crea una política de cargas de trabajo.
- Crea el MIG.
Crea una plantilla de instancias
El comando para crear una plantilla de instancias depende de la opción de consumo que uses: a pedido, Spot, vinculada a la reserva o de inicio flexible. Para obtener más información sobre las opciones de consumo, consulta Acerca de los modelos de aprovisionamiento de VMs.
Crea una plantilla de instancias para una VM de TPU a pedido
Con el siguiente comando, se crea una plantilla de instancias con la opción de consumo on demand:
gcloud
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
--machine-type=MACHINE_TYPE \
--maintenance-policy=TERMINATE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "INSTANCE_TEMPLATE_NAME",
"properties": {
"machineType": "MACHINE_TYPE",
"scheduling": {
"onHostMaintenance": "TERMINATE"
},
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .INSTANCE_TEMPLATE_NAME: Es el nombre de la plantilla de instancias.MACHINE_TYPE: Es el tipo de máquina para la VM de TPU, por ejemplo,ct6e-standard-8t.IMAGE_FAMILY: Es la familia de imágenes de SO para la VM de TPU. Si quieres instalar una versión específica del SO, usa la marca--image. Para obtener más información sobre las imágenes de SO, consulta Imágenes de SO.IMAGE_PROJECT: Es el proyecto que contiene la imagen de SO. Para las imágenes de TPU, esubuntu-os-accelerator-images.
Crea una plantilla de instancias para una VM Spot de TPU
Con el siguiente comando, se crea una plantilla de instancias con la opción de consumo Spot:
gcloud
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
--machine-type=MACHINE_TYPE \
--maintenance-policy=TERMINATE \
--instance-termination-action=STOP \
--provisioning-model=SPOT \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "INSTANCE_TEMPLATE_NAME",
"properties": {
"machineType": "MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "SPOT",
"instanceTerminationAction": "STOP"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .INSTANCE_TEMPLATE_NAME: Es el nombre de la plantilla de instancias.MACHINE_TYPE: Es el tipo de máquina para la VM de TPU, por ejemplo,ct6e-standard-8t.IMAGE_FAMILY: Es la familia de imágenes de SO para la VM de TPU. Si quieres instalar una versión específica del SO, usa la marca--image. Para obtener más información sobre las imágenes de SO, consulta Imágenes de SO.IMAGE_PROJECT: Es el proyecto que contiene la imagen de SO. Para las imágenes de TPU, esubuntu-os-accelerator-images.
Crea una plantilla de instancias para una VM de TPU vinculada a una reserva
Con el siguiente comando, se crea una plantilla de instancias con la opción de consumo vinculada a la reserva:
gcloud
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
--machine-type=MACHINE_TYPE \
--maintenance-policy=TERMINATE \
--instance-termination-action=DELETE \
--reservation-affinity=specific \
--provisioning-model=reservation-bound \
--reservation=RESERVATION_NAME \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "INSTANCE_TEMPLATE_NAME",
"properties": {
"machineType": "MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "RESERVATION_BOUND",
"instanceTerminationAction": "DELETE"
},
"reservationAffinity": {
"consumeReservationType": "SPECIFIC_RESERVATION",
"key": "compute.googleapis.com/reservation-name",
"values": [
"RESERVATION_NAME"
]
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .INSTANCE_TEMPLATE_NAME: Es el nombre de la plantilla de instancias.MACHINE_TYPE: Es el tipo de máquina para la VM de TPU, por ejemplo,ct6e-standard-8t.RESERVATION_NAME: Es el nombre de la reserva específica que se consumirá. En el caso de las reservas en el modo All Capacity, puedes segmentar un bloque o subbloque especificando la URL de reserva de la siguiente manera:Especifica un bloque:
RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAMEEspecifica un subbloque:
RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
IMAGE_FAMILY: Es la familia de imágenes de SO para la VM de TPU. Si deseas instalar una versión específica del SO, usa la marca--image. Para obtener más información sobre las imágenes de SO, consulta Imágenes de SO.IMAGE_PROJECT: Es el proyecto que contiene la imagen del SO. Para las imágenes de TPU, esubuntu-os-accelerator-images.
Crea una plantilla de instancias para una VM de TPU de inicio flexible
Con el siguiente comando, se crea una plantilla de instancias con la opción de consumo de inicio flexible:
gcloud
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
--machine-type=MACHINE_TYPE \
--maintenance-policy=TERMINATE \
--instance-termination-action=DELETE \
--provisioning-model=FLEX_START \
--max-run-duration=DURATION \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "INSTANCE_TEMPLATE_NAME",
"properties": {
"machineType": "MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "FLEX_START",
"instanceTerminationAction": "DELETE",
"maxRunDuration": {
"seconds": "DURATION"
}
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .INSTANCE_TEMPLATE_NAME: Es el nombre de la plantilla de instancias.MACHINE_TYPE: Es el tipo de máquina para la VM de TPU, por ejemplo,ct6e-standard-8t.DURATION: Es la duración máxima durante la que se puede ejecutar la VM de TPU. Para REST, especifica esto como una cantidad de segundos (por ejemplo,3600para 1 hora o604800para 7 días).IMAGE_FAMILY: Es la familia de imágenes de SO para la VM de TPU. Si quieres instalar una versión específica del SO, usa la marca--image. Para obtener más información sobre las imágenes de SO, consulta Imágenes de SO.IMAGE_PROJECT: Es el proyecto que contiene la imagen de SO. Para las imágenes de TPU, esubuntu-os-accelerator-images.
Crear una política de cargas de trabajo
Debes crear una política de carga de trabajo con el parámetro accelerator-topology (por
ejemplo, 4x4, 8x8 o 4x4x4). La topología del acelerador configura el MIG
para que trate las instancias como una sola porción interconectada.
Con el siguiente comando, se crea una política de carga de trabajo para una topología específica:
gcloud
gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
--type=high-throughput \
--accelerator-topology=TOPOLOGY \
--region=REGION
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "WORKLOAD_POLICY_NAME",
"workloadPolicy": {
"type": "HIGH_THROUGHPUT",
"acceleratorTopology": "TOPOLOGY"
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .WORKLOAD_POLICY_NAME: Es el nombre de tu política de cargas de trabajo.TOPOLOGY: Es la topología de las VMs de TPU, por ejemplo,4x4x8. Para obtener más información sobre la topología de cada versión de TPU, consulta Topología de TPU.REGION: Es la región de tu política de carga de trabajo.
Crear un MIG
Para crear un MIG zonal que contenga una porción de TPU de varios hosts, usa el siguiente comando:
gcloud
gcloud compute instance-groups managed create MIG_NAME \
--size=MIG_SIZE \
--target-size-policy-mode=bulk \
--template=INSTANCE_TEMPLATE_URL \
--zone=ZONE \
--default-action-on-vm-failure=do-nothing \
--workload-policy=WORKLOAD_POLICY_URL
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "MIG_NAME",
"targetSize": MIG_SIZE,
"targetSizePolicy": {
"mode": "BULK"
},
"instanceTemplate": "INSTANCE_TEMPLATE_URL",
"instanceLifecyclePolicy": {
"defaultActionOnFailure": "DO_NOTHING"
},
"resourcePolicies": {
"workloadPolicy": "WORKLOAD_POLICY_URL"
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .MIG_NAME: Es el nombre de tu MIG.MIG_SIZE: Es el tamaño del MIG.INSTANCE_TEMPLATE_URL: Es la URL de la plantilla de instancias que deseas usar para crear instancias en el MIG. La URL puede contener el ID o el nombre de la plantilla de instancias. Especifica uno de los siguientes valores:- Para una plantilla de instancias regional:
projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID - Para una plantilla de instancias global:
INSTANCE_TEMPLATE_ID
- Para una plantilla de instancias regional:
ZONE: Es la zona del MIG.WORKLOAD_POLICY_URL: Es la URL de la política de carga de trabajo que deseas usar para crear instancias en el MIG. Por ejemplo:projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME
Para crear un MIG regional que contenga una porción de TPU de varios hosts, usa el siguiente comando:
gcloud
gcloud compute instance-groups managed create MIG_NAME \
--size=MIG_SIZE \
--target-size-policy-mode=bulk \
--template=INSTANCE_TEMPLATE_URL \
--region=REGION \
--default-action-on-vm-failure=do-nothing \
--workload-policy=WORKLOAD_POLICY_URL \
--target-distribution-shape=any-single-zone \
--instance-redistribution-type=none
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "MIG_NAME",
"targetSize": MIG_SIZE,
"targetSizePolicy": {
"mode": "BULK"
},
"instanceTemplate": "INSTANCE_TEMPLATE_URL",
"instanceLifecyclePolicy": {
"defaultActionOnFailure": "DO_NOTHING"
},
"resourcePolicies": {
"workloadPolicy": "WORKLOAD_POLICY_URL"
},
"distributionPolicy": {
"targetShape": "ANY_SINGLE_ZONE"
},
"updatePolicy": {
"instanceRedistributionType": "NONE"
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers"
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto de Google Cloud .MIG_NAME: Es el nombre de tu MIG.MIG_SIZE: Es la cantidad de VMs en el MIG.INSTANCE_TEMPLATE_URL: Es la URL de la plantilla de instancias que deseas usar para crear instancias en el MIG. La URL puede contener el ID o el nombre de la plantilla de instancias. Especifica uno de los siguientes valores:- Para una plantilla de instancias regional:
projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID - Para una plantilla de instancias global:
INSTANCE_TEMPLATE_ID
- Para una plantilla de instancias regional:
ZONE: Es la zona del MIG.REGION: Es la región de tu MIG.WORKLOAD_POLICY_URL: Es la URL de la política de carga de trabajo que deseas usar para crear instancias en el MIG. Por ejemplo:projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME
Crea VMs con nombres personalizados en un MIG
Puedes crear VMs en un MIG especificando nombres personalizados para cada VM. Esto es útil para depurar y garantizar que las instancias se creen en un orden específico.
Los MIG que contienen una porción de TPU de varios hosts usan el modo masivo de la política de tamaño objetivo. Cuando creas VMs con nombres personalizados en un MIG de este tipo, se aplica lo siguiente:
Primero, debes verificar que el MIG no tenga VMs. Si el MIG tiene VMs, debes cambiar el tamaño del MIG al tamaño objetivo
0o crear otro MIG con el tamaño objetivo0.Solo puedes usar la API de REST para crear VMs con nombres personalizados.
Crea VMs con nombres personalizados con uno de los siguientes métodos de la API de REST:
Para un MIG zonal, usa el
instanceGroupManagers.createInstances.POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances { "instances": [ { "name": "INSTANCE_NAME_1" }, { "name": "INSTANCE_NAME_2" }, ... ] }Para un MIG regional, usa el
regionInstanceGroupManagers.createInstances.POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances { "instances": [ { "name": "INSTANCE_NAME_1" }, { "name": "INSTANCE_NAME_2" }, ... ] }
Reemplaza los marcadores de posición que se indican más abajo:
PROJECT_ID: Es el ID del proyecto en el que existe el MIG.ZONE: Es la zona del MIG.REGION: Es la región del MIG.INSTANCE_NAME_1,2,..: Son los nombres de las VMs que se agregarán al MIG especificado.