Mejora la capacidad de obtención con la flexibilidad de las instancias

En este documento, se describe cómo crear y ejecutar un trabajo por lotes que use la flexibilidad de instancias. La flexibilidad de instancias te permite permitir que un trabajo se ejecute en varios tipos de máquinas que especifiques y que, de manera opcional, puedas clasificar.

Si permites más tipos de máquinas para un trabajo, puedes usar la flexibilidad de instancias para mejorar la disponibilidad, que es la probabilidad de que los recursos estén disponibles para ejecutar tu trabajo. Para obtener más información sobre cómo elegir qué funciones de obtención usar para tu carga de trabajo, consulta Mejora la obtención de recursos. Por ejemplo, usar la flexibilidad de instancias puede ayudarte a hacer lo siguiente:

  • Reduce la probabilidad de que se produzcan errores de disponibilidad de recursos y retrasos relacionados con la programación.
  • Selecciona recursos con mayor disponibilidad para ayudar a que los trabajos finalicen antes, por ejemplo:
    • Aumentar la probabilidad de obtener más instancias para los trabajos que admiten el procesamiento paralelo
    • Obtén VMs Spot que tengan menos probabilidades de interrumpirse.

Antes de comenzar

  1. Si nunca usaste Batch, consulta Comienza a usar Batch y habilita Batch completando los requisitos previos para proyectos y usuarios.
  2. Para obtener los permisos que necesitas para crear un trabajo, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Restricciones

Cuando un trabajo usa la flexibilidad de instancias, se aplican todas las restricciones siguientes:

  • La mejora de la disponibilidad aumenta con la cantidad de tipos de máquinas que permites que use un trabajo.

  • El trabajo no puede especificar el modelo de aprovisionamiento FLEX_START ni el modelo de aprovisionamiento RESERVATION_BOUND.

  • El trabajo no puede consumir una reserva con una orientación específica. (El campo reservation debe estar sin definir o configurado como NO_RESERVATION).

    Una reserva con una orientación específica incluye todas las reservas para el modelo de aprovisionamiento RESERVATION_BOUND y algunas reservas para el modelo de aprovisionamiento STANDARD. Estas funciones son incompatibles por naturaleza, ya que la creación de instancias solo puede tener éxito para el tipo de máquina de la reserva.

  • Cada trabajo puede tener hasta 50 selecciones de instancias.

  • Cada selección de instancia en un trabajo debe tener un nombre único, una clasificación única y uno o más tipos de máquinas únicos.

  • Los tipos de máquinas no se pueden repetir. Incluye cada tipo de máquina en solo una selección de instancias por trabajo.

  • Cada trabajo puede tener hasta 200 tipos de máquinas únicos en sus selecciones de instancias.

  • Aunque especificar varios tipos de máquinas en la misma selección de instancias es opcional, es obligatorio si quieres recursos con mayor capacidad de obtención.

    • Batch intenta seleccionar uno o más tipos de máquinas con la mayor disponibilidad solo cuando la selección de instancias para una clasificación tiene varios tipos de máquinas. Por ejemplo, esta selección es importante si deseas que tu trabajo tenga VMs Spot que tengan menos probabilidades de interrumpirse o más instancias para un trabajo que pueda ejecutar tareas en paralelo.
    • De lo contrario, cuando la selección de instancias para un rango solo tiene un tipo de máquina, la flexibilidad de instancias solo ayuda a evitar errores de disponibilidad de recursos.
  • El trabajo no puede incluir el campo machineType, y se ignora el tipo de máquina de cualquier plantilla de instancias que especifique el trabajo.

  • Debes verificar que cada propiedad que especifiques para el trabajo sea compatible con cada tipo de máquina permitido. De lo contrario, el trabajo podría fallar después de enviarse porque no puede crear instancias. Por ejemplo, te recomendamos que verifiques que, al menos, las siguientes propiedades de un trabajo sean compatibles con todos los tipos de máquinas:

    • ubicación (si se especifica, el campo allowedLocations[]; de lo contrario, location)
    • recursos de procesamiento por tarea (campo computeResource)
    • discos e imágenes (campo volumes[], campo disk[] y campo bootDisk)
    • red (campo network)
    • todas las demás propiedades de la instancia (subcampos instances[]):

      • plataforma de CPU mínima (campo minCpuPlatform)
      • modelo de aprovisionamiento (campo provisioningModel)
      • GPU (campo accelerators[])
  • No puedes anular discos ni plataformas de CPU mínimas para los trabajos por lotes. Todos los tipos de máquinas usan los valores especificados (en los subcampos policy o en una plantilla de instancias) o, si no se especifican, usan los valores predeterminados para un tipo de máquina en la selección de instancias de mayor prioridad. Por lo tanto, te recomendamos que sigas todos los pasos que se indican a continuación:

    • Verifica que el tipo de disco de arranque sea compatible con cada tipo de máquina permitido. En resumen, los tipos de máquinas de 4ª generación y posteriores no admiten discos persistentes, los tipos de máquinas de 2ª generación y anteriores no admiten Hyperdisk, y los tipos de máquinas de 3ª generación y anteriores usan discos de arranque persistentes de forma predeterminada.

    • No especifiques una plataforma de CPU mínima ni discos opcionales, a menos que hayas verificado que son compatibles con todos tipo de máquina permitidos.

  • Para crear un trabajo que pueda usar varios tipos de máquinas de GPU, debes usar Google Cloud CLI o la API de Batch.

  • Si permites que un trabajo use un tipo de máquina con GPU fraccionarias (por ejemplo, g4-standard-6 tiene 1/8 de una GPU) y un tipo de máquina con GPU completas (la mayoría de los tipos de máquinas con GPU), el trabajo debe instalar los controladores de GPU de forma manual.

Crea un trabajo que pueda usar varios tipos de máquinas

Para crear un trabajo que pueda usar varios tipos de máquinas, selecciona uno de los siguientes métodos.

Console

Para usar la consola de Google Cloud y crear un trabajo que use varios tipos de máquinas, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Lista de trabajos.

    Ir a la lista de trabajos

  2. Haz clic en Crear. Se abrirá la página Crear trabajo por lotes. En el panel izquierdo, se selecciona la página Detalles del trabajo.

  3. Configura el trabajo para que use varios tipos de máquinas de la siguiente manera:

    1. En el panel izquierdo, haz clic en Especificaciones de recursos. Se abrirá la página Especificaciones de recursos.

    2. En Configuración del tipo de máquina, selecciona Tipos de máquinas flexibles. Aparecerá la sección Selecciones.

    3. Haz clic en Agregar selecciones. Se abrirá el panel Selecciones de instancias.

    4. En la sección Selección de instancia nueva, configura una selección de instancia de la siguiente manera:

      1. Opcional: En el campo Nombre, ingresa un nombre único.

      2. En el campo Rango, ingresa un rango único. La clasificación es un número entero de cero o más que representa la prioridad para esta selección de instancias, en la que el valor más bajo es la prioridad más alta.

      3. Para agregar un tipo de máquina a esta selección de instancias, completa los siguientes pasos:

        1. Haz clic en Agregar tipo de máquina. Se abrirá el panel Agregar tipo de máquina.

        2. En Serie, selecciona una serie de máquinas.

        3. En el campo Tipo de máquina, selecciona el tipo de máquina. Puedes incluir cada tipo de máquina en solo una selección de instancias por trabajo.

        4. Haz clic en Listo. Se cerrará el panel Agregar tipo de máquina.

      4. Opcional: Para cada máquina adicional que quieras agregar a esta selección de instancias (esta clasificación), repite el paso anterior.

    5. Opcional: Para cada selección de instancia adicional (rango adicional) que quieras agregar a este trabajo, haz clic en Agregar selección de instancia. Luego, repite el paso anterior.

    6. Haz clic en Listo. Se cerrará el panel Selecciones de instancias.

  4. Especifica las otras opciones de configuración para el trabajo. Para obtener más información, consulta Opciones de creación de trabajos.

  5. Para crear y enviar el trabajo, haz clic en Crear.

En la página Detalles del trabajo, se muestra el trabajo que creaste.

gcloud

Para configurar varios tipos de máquinas mientras usas Google Cloud CLI con el objetivo de crear un trabajo, completa los siguientes pasos:

  1. Incluye el campo instanceFlexibilityPolicy y los subcampos en el campo allocationPolicy del archivo JSON que especifica los detalles de configuración de tu trabajo. El campo instanceFlexibilityPolicy admite una o más selecciones de instancias, cada una con un nombre único, una clasificación única y una lista de uno o más tipos de máquinas.

    "allocationPolicy":{
      "instanceFlexibilityPolicy":{
        "instanceSelections":{
          "INSTANCE_SELECTION_NAME":{
            "rank": RANK,
            "machineTypes": [MACHINE_TYPES]
          }
        }
      }
    }
    

    Reemplaza lo siguiente:

    • INSTANCE_SELECTION_NAME: Es un nombre para la selección de instancias. Si el trabajo tiene varias selecciones de instancias, asegúrate de que cada nombre en este trabajo sea único.

    • RANK: Es opcional. Es un número entero igual o mayor que cero que representa la prioridad de esta selección de instancia, en la que el valor más bajo es la prioridad más alta. Si no se especifica, el valor predeterminado es 0 (prioridad más alta). Si el trabajo tiene varias selecciones de instancias, asegúrate de que cada rango en este trabajo sea único.

    • MACHINE_TYPES: Es una lista separada por comas de uno o más tipos de máquinas, que se escriben como cadenas, para esta selección de instancias. Puedes incluir cada tipo de máquina en una sola selección de instancias por trabajo. Por ejemplo, una lista de tres tipos de máquinas se puede escribir de la siguiente manera:

      "MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"
      

      Reemplaza MACHINE_TYPE_1, MACHINE_TYPE_2 y MACHINE_TYPE_3 por un tipo de máquina, por ejemplo, e2-micro, e2-small y n1-standard-2.

    Para obtener más información, consulta también el trabajo de ejemplo.

  2. Para crear y enviar el trabajo, usa el comando gcloud batch jobs submit.

    gcloud batch jobs submit JOB_NAME \
      --location LOCATION \
      --config JSON_CONFIGURATION_FILE
    

    Reemplaza lo siguiente:

    • JOB_NAME: Es el nombre del trabajo.
    • LOCATION: Es la ubicación del trabajo.
    • JSON_CONFIGURATION_FILE: Es la ruta de acceso a un archivo JSON con los detalles de configuración del trabajo.

REST

Para usar la API de Batch y crear un trabajo, usa el método jobs.create.

Para especificar varios tipos de máquinas para un trabajo, incluye el campo instanceFlexibilityPolicy y los subcampos en el campo allocationPolicy en el cuerpo principal del archivo JSON. El campo instanceFlexibilityPolicy admite una o más selecciones de instancias, cada una con un nombre único, un rango único y una lista de uno o más tipos de máquinas.

"allocationPolicy":{
  "instanceFlexibilityPolicy":{
    "instanceSelections":{
      "INSTANCE_SELECTION_NAME":{
        "rank": RANK,
        "machineTypes": [MACHINE_TYPES]
      }
    }
  }
}

Reemplaza lo siguiente:

  • INSTANCE_SELECTION_NAME: un nombre para la selección de instancia. Si el trabajo tiene varias selecciones de instancias, asegúrate de que cada nombre en este trabajo sea único.

  • RANK: Es opcional. Es un número entero de cero o más que representa la prioridad para esta selección de instancias, en la que el valor más bajo es la prioridad más alta. Si no se especifica, el valor predeterminado es 0 (prioridad más alta). Si el trabajo tiene varias selecciones de instancias, asegúrate de que cada rango en este trabajo sea único.

  • MACHINE_TYPES: Es una lista separada por comas de uno o más tipos de máquinas, que se escriben como cadenas, para esta selección de instancias. Puedes incluir cada tipo de máquina en una sola selección de instancias por trabajo. Por ejemplo, una lista de tres tipos de máquinas se puede escribir de la siguiente manera:

    "MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"
    

    Reemplaza MACHINE_TYPE_1, MACHINE_TYPE_2 y MACHINE_TYPE_3 por un tipo de máquina, por ejemplo, e2-micro, e2-small y n1-standard-2.

Para obtener más información, consulta también el trabajo de ejemplo.

Ejemplo de archivo de configuración JSON de un trabajo

Por ejemplo, cuando usas gcloud CLI o la API de Batch, puedes usar el siguiente archivo de configuración JSON para crear un trabajo de secuencia de comandos básico que tenga dos selecciones de instancias:

  • La selección de instancias llamada first-choice tiene la prioridad más alta ("rank": 0) y tres tipos de máquinas (e2-micro, e2-small y n1-standard-2).
  • La selección de instancias llamada second-choice tiene la segunda prioridad ("rank": 1) y un tipo de máquina (e2-medium).
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello World! This is task $BATCH_TASK_INDEX."
            }
          }
        ]
      },
      "taskCount": 3
    }
  ],
  "allocationPolicy":{
    "instanceFlexibilityPolicy":{
      "instanceSelections":{
        "first-choice":{
          "rank": 0,
          "machineTypes": ["e2-micro", "e2-small", "n1-standard-2"]
        },
        "second-choice":{
          "rank": 1,
          "machineTypes": ["e2-medium"]
        }
      }
    }
  }
}

¿Qué sigue?