Descripción general de la creación y ejecución de trabajos

En este documento, se explica el proceso de ejecución y las opciones de creación de los trabajos. Los trabajos por lotes te permiten ejecutar cargas de trabajo de procesamiento por lotes en Google Cloud. Para obtener información sobre los componentes de un trabajo y los requisitos previos para usar Batch, consulta Comienza a usar Batch.

Cómo funciona la creación y ejecución de trabajos

Para usar Batch, crea un trabajo que especifique tu carga de trabajo y sus requisitos, y Batch lo ejecutará automáticamente.

Los detalles de cómo funcionan la creación y la ejecución de trabajos se describen en las siguientes secciones:

Ciclo de vida del trabajo

En esta sección, se describe el ciclo de vida de un trabajo y sus tareas desde la creación hasta la eliminación.

Para cada carga de trabajo que quieras ejecutar en Batch, debes seguir el siguiente proceso básico:

  1. Crea un trabajo: Define la carga de trabajo que deseas ejecutar especificando los elementos ejecutables, las tareas y cualquier otro requisito del trabajo. Los detalles para crear un trabajo se presentan en la sección Opciones de creación de trabajos de este documento.
  2. Supervisa y soluciona problemas del trabajo: Cuando terminas de crear un trabajo, este se pone en cola, se programa y se ejecuta automáticamente en los recursos especificados. Puedes ver los detalles de un trabajo creado o cualquiera de sus tareas para ver el estado actual. Si es necesario, puedes cancelar un trabajo para detenerlo o evitar que se ejecute. Después de que un trabajo se esté ejecutando o haya finalizado, también puedes supervisarlo y analizarlo con los registros. Si un trabajo falla, puedes solucionar problemas con cualquier mensaje de error, evento de estado o registro para diagnosticar el problema antes de volver a crear el trabajo.
  3. Borra o exporta el trabajo: La información de un trabajo en Batch permanece disponible hasta que tú o Google Cloud la borren. Google Cloud borra automáticamente un trabajo 60 días después de que finaliza. Antes de ese momento, puedes borrar el trabajo por tu cuenta o, si necesitas conservar la información, puedes exportar la información del trabajo en Batch antes de que se borre. La información sobre un trabajo que se almacena en otros servicios de Google Cloud no se ve afectada cuando se borra un trabajo y tiene políticas de retención independientes. Por ejemplo, los registros de un trabajo se conservan y borran automáticamente según la política de retención de Cloud Logging.

Después de crear un trabajo, este pasa por los siguientes estados:

  1. En cola (QUEUED): Se admitió la solicitud de trabajo y está esperando en la cola. El trabajo permanece en la cola de tu proyecto hasta que se pueda programar, lo que sucede cuando los recursos necesarios están disponibles y se evaluaron los trabajos anteriores. Sin embargo, para evitar que tus trabajos se vuelvan obsoletos, si un trabajo supera el tiempo de espera máximo en la cola, Batch falla automáticamente el trabajo en lugar de programarlo.
  2. Programado (SCHEDULED): El trabajo se seleccionó de la cola para comenzar a ejecutarse y se están asignando los recursos.
  3. En ejecución (RUNNING): Los recursos para el trabajo se crearon correctamente y sus tareas pueden comenzar a ejecutarse.

    Cuando se ejecuta un trabajo, cada una de sus tareas progresa por los siguientes estados:

    1. Pendiente (PENDING): La tarea está esperando que se ejecute una VM.
    2. Asignada (ASSIGNED): Se asignó una VM a la tarea para que se ejecute.
    3. En ejecución (RUNNING): La tarea se está ejecutando en una VM.
    4. Una tarea finaliza en uno de los siguientes estados:

      • Correcto (SUCCEEDED): La tarea se realizó correctamente porque cada uno de sus ejecutables cumplió con una de las siguientes condiciones:

        • El ejecutable se completó correctamente (devolvió un código de salida de cero).
        • El ejecutable falló (mostró un código de salida distinto de cero), pero era un ejecutable no crítico (habilitaste el campo ignoreExitStatus del ejecutable).
        • El ejecutable no finalizó, pero era un ejecutable en segundo plano (habilitaste el campo background del ejecutable).
      • Con errores (FAILED): La tarea falló y dejó de ejecutarse porque al menos un ejecutable no cumplió con las condiciones anteriores.

    Los recursos del trabajo se borran antes de que este finalice.

  4. Un trabajo finaliza en uno de los siguientes estados:

    • Correcto (SUCCEEDED): El trabajo se completó correctamente porque todas sus tareas se completaron de forma correcta.
    • Con errores (FAILED): El trabajo falló y dejó de ejecutarse porque al menos una de sus tareas falló.
    • Cancelado (CANCELLED): Un usuario canceló el trabajo antes de que se completara o fallara.

Para obtener más información, consulta los estados de los trabajos y los estados de las tareas en la documentación de referencia.

Colas y programación de trabajos

Por lo general, es más probable que los trabajos se ejecuten y finalicen antes si son más pequeños y solo requieren algunos recursos comunes. En el caso de los trabajos de ejemplo en la documentación de Batch, que suelen ser muy pequeños y usan recursos mínimos, es posible que veas que terminan de ejecutarse en tan solo unos minutos.

Específicamente, el tiempo que tarda un trabajo en terminar de colocarse en cola y programarse varía para diferentes trabajos y en diferentes momentos según los siguientes factores:

  • Requisitos previos del trabajo especificados por el usuario: cualquier requisito previo que debas cumplir antes de que se programe el trabajo.

    De forma predeterminada, un trabajo no tiene requisitos previos. De manera opcional, puedes especificar que un trabajo no se puede programar hasta que uno o más trabajos existentes hayan tenido éxito o hayan fallado. Para obtener más información, consulta Programa trabajos dependientes (versión preliminar).

  • Prioridad del trabajo: Es la prioridad de un trabajo en relación con las prioridades de otros trabajos de tu proyecto.

    De manera opcional, puedes especificar la prioridad de un trabajo incluyendo la marca --priority para gcloud CLI o el campo JSON priority. Puedes definir la prioridad de un trabajo como un número entre 0 (prioridad más baja) y 99 (prioridad más alta). Establecer una prioridad más alta puede ayudar a que un trabajo se ejecute antes que los trabajos de menor prioridad de tu proyecto.

    Si no configuras la prioridad de un trabajo, se usa la prioridad más baja, 0, de forma predeterminada. Si dos trabajos en cola tienen la misma prioridad, el trabajo que se creó primero tiene la prioridad más alta.

  • Disponibilidad de recursos del trabajo: Es la disponibilidad de los recursos requeridos del trabajo dentro de las ubicaciones permitidas.

    En primer lugar, un trabajo no se puede ejecutar si especificas recursos que no se ofrecen en esa ubicación. Cuando esto sucede, el trabajo falla con un error de disponibilidad de la zona.

    En segundo lugar, es más probable que un trabajo se retrase o falle si alguno de sus recursos requeridos tiene poca capacidad en relación con la demanda actual debido a errores de disponibilidad de recursos. Como resultado, es posible que tu trabajo se ejecute antes cuando requieras menos recursos, más comunes, y no restrinjas la ejecución del trabajo en ninguna zona de una región.

    Para obtener más información sobre los recursos de un trabajo, consulta Ejecución de trabajos en este documento. Para obtener más información sobre las ubicaciones que puedes especificar para un trabajo por lotes y sus recursos, consulta la página Ubicaciones.

  • Cuotas y límites: Son los umbrales que tiene tu proyecto para los recursos y las solicitudes de Google Cloud .

    Un trabajo no se puede ejecutar si supera un límite o la cuota de tu proyecto para cualquiera de los recursos o las solicitudes requeridos. Cuando esto sucede, Batch puede retrasar un trabajo y volver a intentarlo más tarde o hacer que falle y mostrar un error relacionado.

    Puedes ayudar a evitar retrasos y errores en tu trabajo creando trabajos que cumplan con todos los límites pertinentes y asegurándote de que tu proyecto tenga suficiente cuota pertinente. Para obtener más información, consulta Cuotas y límites de Batch.

Ejecución del trabajo

El tiempo que tarda un trabajo en ejecutarse puede variar según la programación de tareas y los recursos del trabajo.

Programación de tareas

Cuando se ejecuta un trabajo, sus tareas se programan según el campo de política de programación (schedulingPolicy), que te permite especificar una de las siguientes opciones:

  • Lo antes posible (AS_SOON_AS_POSSIBLE) (predeterminado): Las tareas se ejecutan en cuanto los recursos están disponibles y se pueden ejecutar en paralelo. La cantidad de tareas que se ejecutan a la vez depende de las tareas paralelas por VM que permiten los recursos del trabajo y otras opciones de configuración, como se explica en Recursos del trabajo en este documento.
  • En orden (IN_ORDER): Las tareas se ejecutan de a una en orden de índice creciente.

Recursos de trabajo

Cada trabajo por lotes se ejecuta en un grupo de instancias administrado (MIG) regional, que es un grupo de una o más instancias de máquina virtual (VM) de Compute Engine coincidentes que se encuentran en una de las zonas incluidas. Cada VM tiene hardware dedicado para los núcleos de CPU (específicamente, CPU virtuales [vCPU]) y la memoria, que afectan el rendimiento de tu trabajo, y un disco de arranque, que almacena una imagen del sistema operativo (SO) y las instrucciones para ejecutar el trabajo.

Durante el tiempo de ejecución de un trabajo, Batch crea y borra automáticamente los recursos que cumplen con tus especificaciones. Cuando creas un trabajo, configuras sus recursos especificando lo siguiente:

  • Recursos de procesamiento por tarea: A menos que los valores predeterminados sean suficientes, debes especificar los recursos de procesamiento (CPU virtuales, memoria y, si es necesario, almacenamiento adicional en el disco de arranque) que se requieren para que se ejecute cada tarea. Para obtener más información, consulta los campos de recursos de procesamiento por tarea (computeResource).

  • Recursos de VM: De forma opcional, también puedes especificar las VMs del trabajo, como el tipo de máquina y el SO, y recursos adicionales, como GPUs, TPUs y volúmenes de almacenamiento, principalmente con los campos de la política de recursos de VM (instances[].policy) o el campo alternativo instances[].instanceTemplate. (De manera opcional, también puedes usar los campos instanceFlexibilityPolicy si quieres permitir varios tipos de máquinas para un trabajo).

    Si dejas estos campos sin definir (lo que no es posible cuando creas un trabajo con la consola deGoogle Cloud ), Batch intenta seleccionar automáticamente VMs compatibles y no agrega ningún recurso adicional.

La cantidad de VMs y la cantidad de tareas que se pueden ejecutar de forma simultánea en cada VM varían para los diferentes trabajos según la programación de tareas y los requisitos de hardware que especificaste. Si especificas que las tareas de un trabajo se ejecuten IN_ORDER, el trabajo tiene una VM y solo ejecuta una tarea a la vez. De lo contrario, si las tareas de un trabajo se ejecutan AS_SOON_AS_POSSIBLE, puedes estimar la cantidad de VMs y la cantidad de tareas simultáneas con la siguiente fórmula:

\[{vmsPerJob}=\frac{taskCount}{parallelTasksPerVm}\]

Esta fórmula tiene los siguientes valores:

  • \({vmsPerJob}\): Es la cantidad máxima de VMs para un trabajo. La cantidad real de VMs creadas para un trabajo puede ser menor que esta, por ejemplo, si Batch espera que sea más rápido ejecutar un trabajo con menos recursos que esperar más recursos. Este valor también está limitado por los límites de VMs simultáneas por trabajo.
  • \({taskCount}\): Es la cantidad total de tareas del trabajo, que defines con el campo de recuento de tareas (taskCount).
  • \({parallelTasksPerVM}\): Es la cantidad máxima de tareas que se pueden ejecutar en una VM de forma simultánea.

    Este valor se determina según todos los criterios siguientes:

    • El valor mínimo es 1 tarea.

    • El valor máximo es el menor de 20 tareas y, si se define, el valor del campo de tareas paralelas máximas por trabajo (parallelism).

    • Si se define el campo de tareas paralelas máximas por VM (taskCountPerNode), se usa ese valor.

      De lo contrario, si taskCountPerNode no está definido, Batch decide un valor dividiendo la cantidad total de recursos de procesamiento, específicamente CPU virtuales, por VM en la cantidad necesaria para cada tarea:

      \[{parallelTasksPerVm}=\frac{vcpusPerVm}{vcpusPerTask}\]

      Esta fórmula tiene los siguientes valores:

      • \({vcpusPerVm}\): Es la cantidad total de CPUs virtuales por VM, que se determina según el tipo de máquina de las VMs de tu trabajo.

      • \({vcpusPerTask}\): Es la cantidad de CPU virtuales por tarea, que se determina convirtiendo las unidades del campo de CPU virtuales por tarea (cpuMilli).

Opciones de creación de trabajos

En Crea y ejecuta un trabajo básico, se explican los conceptos básicos, como definir un ejecutable con una secuencia de comandos o una imagen de contenedor, y cómo configurar variables de entorno predefinidas y personalizadas.

Después de comprender los aspectos básicos de la creación de trabajos, considera crear un trabajo que use una o más de las siguientes opciones de configuración adicionales:

  • Controla el acceso a un trabajo:

  • Configura opciones adicionales para un trabajo:

    • En Configura la comunicación de tareas con una biblioteca de MPI, se explica cómo configurar un trabajo con tareas interdependientes que se comunican entre sí en diferentes VMs con una biblioteca de interfaz de transmisión de mensajes (MPI). Un caso de uso común para la MPI son las cargas de trabajo de computación de alto rendimiento (HPC) con acoplamiento alto.

    • Personaliza los recursos en los que se ejecuta un trabajo:

      • En Define los recursos de un trabajo con una plantilla de instancias de VM, se explica cómo especificar una plantilla de VM de Compute Engine para definir los recursos de un trabajo cuando lo creas. Esta es una alternativa a especificar los recursos de un trabajo directamente con el campo instances[].policy.

      • En Usa GPUs para un trabajo, se explica cómo definir un trabajo que use una o más unidades de procesamiento gráfico (GPU). Entre los casos de uso comunes para los trabajos que usan GPU, se incluyen las cargas de trabajo de procesamiento de datos intensivo, inteligencia artificial (IA) o aprendizaje automático (AA).

      • En Usa TPU para un trabajo, se explica cómo definir un trabajo que use una o más unidades de procesamiento tensorial (TPU). Los casos de uso comunes para los trabajos que usan TPU incluyen cargas de trabajo de inferencia, evaluación, ajuste y entrenamiento de inteligencia artificial (IA) y aprendizaje automático (AA).

      • En Usa volúmenes de almacenamiento para un trabajo, se explica cómo definir un trabajo que pueda acceder a uno o más volúmenes de almacenamiento externos. Las opciones de almacenamiento incluyen discos persistentes nuevos o existentes, SSD locales nuevos, buckets de Cloud Storage existentes y un sistema de archivos de red (NFS) existente, como un recurso compartido de archivos de Filestore.

      • Descripción general del entorno del SO de la VM: Proporciona una descripción general de cuándo y cómo puedes personalizar el entorno del sistema operativo (SO) de la VM para un trabajo, incluidas la imagen de SO de la VM y los discos de arranque del trabajo.

    • Optimiza varios aspectos de un trabajo:

      • Mejora la supervisión y el análisis:

      • En Programa trabajos dependientes (versión preliminar), se explica cómo especificar un trabajo que no se ejecuta hasta que uno o más trabajos de dependencia existentes hayan tenido éxito o hayan fallado. Si tienes una carga de trabajo con requisitos de recursos variables, puedes reducir los costos y el uso de la cuota separando los tipos de VMs que se usan para las operaciones de baja demanda (como la preparación de datos) y las operaciones de procesamiento intensivo (como el procesamiento de datos).

      • En Automatiza los reintentos de tareas, se explica cómo reintentar automáticamente las tareas de un trabajo después de todas las fallas o las especificadas. Los reintentos automatizados pueden ayudar a reducir la fricción de la solución de problemas y el tiempo de ejecución general necesario para los trabajos que experimentan errores temporales. Por ejemplo, usa reintentos automáticos para un trabajo que se ejecuta en VMs Spot, que proporcionan descuentos significativos, pero es posible que no siempre estén disponibles y se puedan interrumpir en cualquier momento.

      • En Limita los tiempos de ejecución con tiempos de espera, se explica cómo limitar la cantidad de tiempo que se permite ejecutar una tarea o un ejecutable. Si evitas los tiempos de ejecución excesivos, puedes reducir los costos y las demoras inesperados.

      • Mejora la obtención de recursos:

        • En Mejora la obtención de recursos, se explica qué es la obtención de recursos y se proporcionan recomendaciones para mejorarla cuando creas y ejecutas trabajos.

        • En Garantiza la disponibilidad de recursos con VM VMs, se explica cómo configurar un trabajo que se pueda ejecutar en VMs reservadas. El uso de VMs reservadas puede ayudarte a minimizar el tiempo de programación de un trabajo, evitar errores de disponibilidad de recursos y optimizar los costos.

        • En Mejora la disponibilidad con la flexibilidad de instancias, se explica cómo permitir que un trabajo se ejecute en varios tipos de máquinas que especifiques y puedas clasificar. El uso de la flexibilidad de instancias puede ayudar a aumentar el paralelismo, retrasar la interrupción de las VMs Spot y evitar errores de disponibilidad de recursos.

      • Reducción de la latencia:

        • En Ubica VMs de forma conjunta para reducir la latencia, se explica cómo reducir la latencia de red entre las VMs de un trabajo exigiendo que las VMs se ubiquen físicamente cerca unas de otras. Este beneficio de rendimiento puede ser especialmente útil para los trabajos que tienen comunicaciones de red frecuentes entre VMs, como las tareas que se comunican con las bibliotecas de MPI.

        • En Usa la transmisión de imágenes, se explica cómo mejorar el tiempo de inicio de los trabajos transmitiendo imágenes de contenedor desde Artifact Registry.

  • Usa servicios adicionales para crear y ejecutar trabajos:

¿Qué sigue?