En este documento, se explica el proceso de ejecución y las opciones de creación de los trabajos. Los trabajos por lotes te permiten ejecutar cargas de trabajo de procesamiento por lotes en Google Cloud. Para obtener información sobre los componentes de un trabajo y los requisitos previos para usar Batch, consulta Comienza a usar Batch.
Cómo funciona la creación y ejecución de trabajos
Para usar Batch, crea un trabajo que especifique tu carga de trabajo y sus requisitos, y Batch lo ejecutará automáticamente.
Los detalles de cómo funcionan la creación y la ejecución de trabajos se describen en las siguientes secciones:
- Ciclo de vida del trabajo: Comprende los estados por los que pasa un trabajo desde su creación hasta su eliminación.
- Colas y programación de trabajos: Comprende los factores que afectan el tiempo que tarda un trabajo en comenzar a ejecutarse.
- Ejecución de trabajos: Comprende cómo se ejecutan las tareas de un trabajo en sus recursos durante la ejecución.
Ciclo de vida del trabajo
En esta sección, se describe el ciclo de vida de un trabajo y sus tareas desde la creación hasta la eliminación.
Para cada carga de trabajo que quieras ejecutar en Batch, debes seguir el siguiente proceso básico:
- Crea un trabajo: Define la carga de trabajo que deseas ejecutar especificando los elementos ejecutables, las tareas y cualquier otro requisito del trabajo. Los detalles para crear un trabajo se presentan en la sección Opciones de creación de trabajos de este documento.
- Supervisa y soluciona problemas del trabajo: Cuando terminas de crear un trabajo, este se pone en cola, se programa y se ejecuta automáticamente en los recursos especificados. Puedes ver los detalles de un trabajo creado o cualquiera de sus tareas para ver el estado actual. Si es necesario, puedes cancelar un trabajo para detenerlo o evitar que se ejecute. Después de que un trabajo se esté ejecutando o haya finalizado, también puedes supervisarlo y analizarlo con los registros. Si un trabajo falla, puedes solucionar problemas con cualquier mensaje de error, evento de estado o registro para diagnosticar el problema antes de volver a crear el trabajo.
- Borra o exporta el trabajo: La información de un trabajo en Batch permanece disponible hasta que tú o Google Cloud la borren. Google Cloud borra automáticamente un trabajo 60 días después de que finaliza. Antes de ese momento, puedes borrar el trabajo por tu cuenta o, si necesitas conservar la información, puedes exportar la información del trabajo en Batch antes de que se borre. La información sobre un trabajo que se almacena en otros servicios de Google Cloud no se ve afectada cuando se borra un trabajo y tiene políticas de retención independientes. Por ejemplo, los registros de un trabajo se conservan y borran automáticamente según la política de retención de Cloud Logging.
Después de crear un trabajo, este pasa por los siguientes estados:
- En cola (
QUEUED): Se admitió la solicitud de trabajo y está esperando en la cola. El trabajo permanece en la cola de tu proyecto hasta que se pueda programar, lo que sucede cuando los recursos necesarios están disponibles y se evaluaron los trabajos anteriores. Sin embargo, para evitar que tus trabajos se vuelvan obsoletos, si un trabajo supera el tiempo de espera máximo en la cola, Batch falla automáticamente el trabajo en lugar de programarlo. - Programado (
SCHEDULED): El trabajo se seleccionó de la cola para comenzar a ejecutarse y se están asignando los recursos. En ejecución (
RUNNING): Los recursos para el trabajo se crearon correctamente y sus tareas pueden comenzar a ejecutarse.Cuando se ejecuta un trabajo, cada una de sus tareas progresa por los siguientes estados:
- Pendiente (
PENDING): La tarea está esperando que se ejecute una VM. - Asignada (
ASSIGNED): Se asignó una VM a la tarea para que se ejecute. - En ejecución (
RUNNING): La tarea se está ejecutando en una VM. Una tarea finaliza en uno de los siguientes estados:
Correcto (
SUCCEEDED): La tarea se realizó correctamente porque cada uno de sus ejecutables cumplió con una de las siguientes condiciones:- El ejecutable se completó correctamente (devolvió un código de salida de cero).
- El ejecutable falló (mostró un código de salida distinto de cero), pero era un ejecutable no crítico (habilitaste el campo
ignoreExitStatusdel ejecutable). - El ejecutable no finalizó, pero era un ejecutable en segundo plano (habilitaste el campo
backgrounddel ejecutable).
Con errores (
FAILED): La tarea falló y dejó de ejecutarse porque al menos un ejecutable no cumplió con las condiciones anteriores.
Los recursos del trabajo se borran antes de que este finalice.
- Pendiente (
Un trabajo finaliza en uno de los siguientes estados:
- Correcto (
SUCCEEDED): El trabajo se completó correctamente porque todas sus tareas se completaron de forma correcta. - Con errores (
FAILED): El trabajo falló y dejó de ejecutarse porque al menos una de sus tareas falló. - Cancelado (
CANCELLED): Un usuario canceló el trabajo antes de que se completara o fallara.
- Correcto (
Para obtener más información, consulta los estados de los trabajos y los estados de las tareas en la documentación de referencia.
Colas y programación de trabajos
Por lo general, es más probable que los trabajos se ejecuten y finalicen antes si son más pequeños y solo requieren algunos recursos comunes. En el caso de los trabajos de ejemplo en la documentación de Batch, que suelen ser muy pequeños y usan recursos mínimos, es posible que veas que terminan de ejecutarse en tan solo unos minutos.
Específicamente, el tiempo que tarda un trabajo en terminar de colocarse en cola y programarse varía para diferentes trabajos y en diferentes momentos según los siguientes factores:
Requisitos previos del trabajo especificados por el usuario: cualquier requisito previo que debas cumplir antes de que se programe el trabajo.
De forma predeterminada, un trabajo no tiene requisitos previos. De manera opcional, puedes especificar que un trabajo no se puede programar hasta que uno o más trabajos existentes hayan tenido éxito o hayan fallado. Para obtener más información, consulta Programa trabajos dependientes (versión preliminar).
Prioridad del trabajo: Es la prioridad de un trabajo en relación con las prioridades de otros trabajos de tu proyecto.
De manera opcional, puedes especificar la prioridad de un trabajo incluyendo la marca
--prioritypara gcloud CLI o el campo JSONpriority. Puedes definir la prioridad de un trabajo como un número entre0(prioridad más baja) y99(prioridad más alta). Establecer una prioridad más alta puede ayudar a que un trabajo se ejecute antes que los trabajos de menor prioridad de tu proyecto.Si no configuras la prioridad de un trabajo, se usa la prioridad más baja,
0, de forma predeterminada. Si dos trabajos en cola tienen la misma prioridad, el trabajo que se creó primero tiene la prioridad más alta.Disponibilidad de recursos del trabajo: Es la disponibilidad de los recursos requeridos del trabajo dentro de las ubicaciones permitidas.
En primer lugar, un trabajo no se puede ejecutar si especificas recursos que no se ofrecen en esa ubicación. Cuando esto sucede, el trabajo falla con un error de disponibilidad de la zona.
En segundo lugar, es más probable que un trabajo se retrase o falle si alguno de sus recursos requeridos tiene poca capacidad en relación con la demanda actual debido a errores de disponibilidad de recursos. Como resultado, es posible que tu trabajo se ejecute antes cuando requieras menos recursos, más comunes, y no restrinjas la ejecución del trabajo en ninguna zona de una región.
Para obtener más información sobre los recursos de un trabajo, consulta Ejecución de trabajos en este documento. Para obtener más información sobre las ubicaciones que puedes especificar para un trabajo por lotes y sus recursos, consulta la página Ubicaciones.
Cuotas y límites: Son los umbrales que tiene tu proyecto para los recursos y las solicitudes de Google Cloud .
Un trabajo no se puede ejecutar si supera un límite o la cuota de tu proyecto para cualquiera de los recursos o las solicitudes requeridos. Cuando esto sucede, Batch puede retrasar un trabajo y volver a intentarlo más tarde o hacer que falle y mostrar un error relacionado.
Puedes ayudar a evitar retrasos y errores en tu trabajo creando trabajos que cumplan con todos los límites pertinentes y asegurándote de que tu proyecto tenga suficiente cuota pertinente. Para obtener más información, consulta Cuotas y límites de Batch.
Ejecución del trabajo
El tiempo que tarda un trabajo en ejecutarse puede variar según la programación de tareas y los recursos del trabajo.
Programación de tareas
Cuando se ejecuta un trabajo, sus tareas se programan según el
campo de política de programación (schedulingPolicy),
que te permite especificar una de las siguientes opciones:
- Lo antes posible (
AS_SOON_AS_POSSIBLE) (predeterminado): Las tareas se ejecutan en cuanto los recursos están disponibles y se pueden ejecutar en paralelo. La cantidad de tareas que se ejecutan a la vez depende de las tareas paralelas por VM que permiten los recursos del trabajo y otras opciones de configuración, como se explica en Recursos del trabajo en este documento. - En orden (
IN_ORDER): Las tareas se ejecutan de a una en orden de índice creciente.
Recursos de trabajo
Cada trabajo por lotes se ejecuta en un grupo de instancias administrado (MIG) regional, que es un grupo de una o más instancias de máquina virtual (VM) de Compute Engine coincidentes que se encuentran en una de las zonas incluidas. Cada VM tiene hardware dedicado para los núcleos de CPU (específicamente, CPU virtuales [vCPU]) y la memoria, que afectan el rendimiento de tu trabajo, y un disco de arranque, que almacena una imagen del sistema operativo (SO) y las instrucciones para ejecutar el trabajo.
Durante el tiempo de ejecución de un trabajo, Batch crea y borra automáticamente los recursos que cumplen con tus especificaciones. Cuando creas un trabajo, configuras sus recursos especificando lo siguiente:
Recursos de procesamiento por tarea: A menos que los valores predeterminados sean suficientes, debes especificar los recursos de procesamiento (CPU virtuales, memoria y, si es necesario, almacenamiento adicional en el disco de arranque) que se requieren para que se ejecute cada tarea. Para obtener más información, consulta los campos de recursos de procesamiento por tarea (
computeResource).Recursos de VM: De forma opcional, también puedes especificar las VMs del trabajo, como el tipo de máquina y el SO, y recursos adicionales, como GPUs, TPUs y volúmenes de almacenamiento, principalmente con los campos de la política de recursos de VM (
instances[].policy) o el campo alternativoinstances[].instanceTemplate. (De manera opcional, también puedes usar los camposinstanceFlexibilityPolicysi quieres permitir varios tipos de máquinas para un trabajo).Si dejas estos campos sin definir (lo que no es posible cuando creas un trabajo con la consola deGoogle Cloud ), Batch intenta seleccionar automáticamente VMs compatibles y no agrega ningún recurso adicional.
La cantidad de VMs y la cantidad de tareas que se pueden ejecutar de forma simultánea
en cada VM varían para los diferentes trabajos según la programación de tareas y los
requisitos de hardware que especificaste. Si especificas que las tareas de un trabajo se ejecuten
IN_ORDER, el trabajo tiene una VM y solo ejecuta una tarea a la vez. De lo contrario,
si las tareas de un trabajo se ejecutan AS_SOON_AS_POSSIBLE, puedes estimar la
cantidad de VMs y la cantidad de tareas simultáneas con la siguiente fórmula:
\[{vmsPerJob}=\frac{taskCount}{parallelTasksPerVm}\]
Esta fórmula tiene los siguientes valores:
- \({vmsPerJob}\): Es la cantidad máxima de VMs para un trabajo. La cantidad real de VMs creadas para un trabajo puede ser menor que esta, por ejemplo, si Batch espera que sea más rápido ejecutar un trabajo con menos recursos que esperar más recursos. Este valor también está limitado por los límites de VMs simultáneas por trabajo.
- \({taskCount}\): Es la cantidad total de tareas del trabajo, que defines
con el campo de recuento de tareas (
taskCount). \({parallelTasksPerVM}\): Es la cantidad máxima de tareas que se pueden ejecutar en una VM de forma simultánea.
Este valor se determina según todos los criterios siguientes:
El valor mínimo es 1 tarea.
El valor máximo es el menor de 20 tareas y, si se define, el valor del campo de tareas paralelas máximas por trabajo (
parallelism).Si se define el campo de tareas paralelas máximas por VM (
taskCountPerNode), se usa ese valor.De lo contrario, si
taskCountPerNodeno está definido, Batch decide un valor dividiendo la cantidad total de recursos de procesamiento, específicamente CPU virtuales, por VM en la cantidad necesaria para cada tarea:\[{parallelTasksPerVm}=\frac{vcpusPerVm}{vcpusPerTask}\]
Esta fórmula tiene los siguientes valores:
\({vcpusPerVm}\): Es la cantidad total de CPUs virtuales por VM, que se determina según el tipo de máquina de las VMs de tu trabajo.
\({vcpusPerTask}\): Es la cantidad de CPU virtuales por tarea, que se determina convirtiendo las unidades del campo de CPU virtuales por tarea (
cpuMilli).
Opciones de creación de trabajos
En Crea y ejecuta un trabajo básico, se explican los conceptos básicos, como definir un ejecutable con una secuencia de comandos o una imagen de contenedor, y cómo configurar variables de entorno predefinidas y personalizadas.
Después de comprender los aspectos básicos de la creación de trabajos, considera crear un trabajo que use una o más de las siguientes opciones de configuración adicionales:
Controla el acceso a un trabajo:
En Controla el acceso de un trabajo con una cuenta de servicio personalizada, se explica cómo especificar la cuenta de servicio de un trabajo, lo que influye en los recursos y las aplicaciones a los que pueden acceder las VMs de un trabajo. Si no especificas una cuenta de servicio personalizada, los trabajos usan la cuenta de servicio predeterminada de Compute Engine.
En la Descripción general de las herramientas de redes, se proporciona una descripción general de cuándo y cómo puedes personalizar la configuración de red para un trabajo, lo que incluye especificar la red del trabajo, bloquear las conexiones externas y proteger los datos y recursos con los Controles del servicio de VPC.
En Protege datos sensibles con Secret Manager, se explica cómo definir de forma segura datos sensibles, como variables de entorno personalizadas y credenciales de acceso, con secretos de Secret Manager para especificar información encriptada cuando creas un trabajo.
Configura opciones adicionales para un trabajo:
En Configura la comunicación de tareas con una biblioteca de MPI, se explica cómo configurar un trabajo con tareas interdependientes que se comunican entre sí en diferentes VMs con una biblioteca de interfaz de transmisión de mensajes (MPI). Un caso de uso común para la MPI son las cargas de trabajo de computación de alto rendimiento (HPC) con acoplamiento alto.
Personaliza los recursos en los que se ejecuta un trabajo:
En Define los recursos de un trabajo con una plantilla de instancias de VM, se explica cómo especificar una plantilla de VM de Compute Engine para definir los recursos de un trabajo cuando lo creas. Esta es una alternativa a especificar los recursos de un trabajo directamente con el campo
instances[].policy.En Usa GPUs para un trabajo, se explica cómo definir un trabajo que use una o más unidades de procesamiento gráfico (GPU). Entre los casos de uso comunes para los trabajos que usan GPU, se incluyen las cargas de trabajo de procesamiento de datos intensivo, inteligencia artificial (IA) o aprendizaje automático (AA).
En Usa TPU para un trabajo, se explica cómo definir un trabajo que use una o más unidades de procesamiento tensorial (TPU). Los casos de uso comunes para los trabajos que usan TPU incluyen cargas de trabajo de inferencia, evaluación, ajuste y entrenamiento de inteligencia artificial (IA) y aprendizaje automático (AA).
En Usa volúmenes de almacenamiento para un trabajo, se explica cómo definir un trabajo que pueda acceder a uno o más volúmenes de almacenamiento externos. Las opciones de almacenamiento incluyen discos persistentes nuevos o existentes, SSD locales nuevos, buckets de Cloud Storage existentes y un sistema de archivos de red (NFS) existente, como un recurso compartido de archivos de Filestore.
Descripción general del entorno del SO de la VM: Proporciona una descripción general de cuándo y cómo puedes personalizar el entorno del sistema operativo (SO) de la VM para un trabajo, incluidas la imagen de SO de la VM y los discos de arranque del trabajo.
Optimiza varios aspectos de un trabajo:
Mejora la supervisión y el análisis:
En Escribe registros de tareas, se explica cómo configurar los ejecutables de un trabajo para escribir registros de tareas. Escribir registros de tareas te permite mostrar información personalizada en Cloud Logging, lo que puede facilitar el análisis y la solución de problemas de los trabajos.
En Configura eventos de estado personalizados, se explica cómo configurar eventos de estado personalizados para los ejecutables de un trabajo. Los eventos de estado personalizados te permiten describir eventos importantes que ocurren para los ejecutables y aparecen cuando consultas el historial de eventos de estado de un trabajo, lo que puede facilitar el análisis y la solución de problemas de los trabajos.
En Habilita las notificaciones de estado, se explica cómo puedes configurar un trabajo para que envíe notificaciones de Pub/Sub sobre su estado, que, de manera opcional, puedes almacenar y consultar en una tabla de BigQuery. Antes de leer este documento, configura tu proyecto para supervisar el estado de los trabajos con las notificaciones de Pub/Sub y BigQuery primero.
En Habilita las métricas del Agente de operaciones, se explica cómo configurar un trabajo para instalar automáticamente el Agente de operaciones. El Agente de operaciones recopila métricas adicionales sobre el rendimiento y el uso de los recursos de un trabajo. Para obtener más información sobre cómo ver y usar las métricas de recursos, consulta Supervisa y optimiza los recursos de los trabajos con la visualización de métricas.
En Programa trabajos dependientes (versión preliminar), se explica cómo especificar un trabajo que no se ejecuta hasta que uno o más trabajos de dependencia existentes hayan tenido éxito o hayan fallado. Si tienes una carga de trabajo con requisitos de recursos variables, puedes reducir los costos y el uso de la cuota separando los tipos de VMs que se usan para las operaciones de baja demanda (como la preparación de datos) y las operaciones de procesamiento intensivo (como el procesamiento de datos).
En Automatiza los reintentos de tareas, se explica cómo reintentar automáticamente las tareas de un trabajo después de todas las fallas o las especificadas. Los reintentos automatizados pueden ayudar a reducir la fricción de la solución de problemas y el tiempo de ejecución general necesario para los trabajos que experimentan errores temporales. Por ejemplo, usa reintentos automáticos para un trabajo que se ejecuta en VMs Spot, que proporcionan descuentos significativos, pero es posible que no siempre estén disponibles y se puedan interrumpir en cualquier momento.
En Limita los tiempos de ejecución con tiempos de espera, se explica cómo limitar la cantidad de tiempo que se permite ejecutar una tarea o un ejecutable. Si evitas los tiempos de ejecución excesivos, puedes reducir los costos y las demoras inesperados.
Mejora la obtención de recursos:
En Mejora la obtención de recursos, se explica qué es la obtención de recursos y se proporcionan recomendaciones para mejorarla cuando creas y ejecutas trabajos.
En Garantiza la disponibilidad de recursos con VM VMs, se explica cómo configurar un trabajo que se pueda ejecutar en VMs reservadas. El uso de VMs reservadas puede ayudarte a minimizar el tiempo de programación de un trabajo, evitar errores de disponibilidad de recursos y optimizar los costos.
En Mejora la disponibilidad con la flexibilidad de instancias, se explica cómo permitir que un trabajo se ejecute en varios tipos de máquinas que especifiques y puedas clasificar. El uso de la flexibilidad de instancias puede ayudar a aumentar el paralelismo, retrasar la interrupción de las VMs Spot y evitar errores de disponibilidad de recursos.
Reducción de la latencia:
En Ubica VMs de forma conjunta para reducir la latencia, se explica cómo reducir la latencia de red entre las VMs de un trabajo exigiendo que las VMs se ubiquen físicamente cerca unas de otras. Este beneficio de rendimiento puede ser especialmente útil para los trabajos que tienen comunicaciones de red frecuentes entre VMs, como las tareas que se comunican con las bibliotecas de MPI.
En Usa la transmisión de imágenes, se explica cómo mejorar el tiempo de inicio de los trabajos transmitiendo imágenes de contenedor desde Artifact Registry.
Usa servicios adicionales para crear y ejecutar trabajos:
En Organiza trabajos con Workflows, se explica cómo usar Workflows para ejecutar las tareas de un trabajo en el orden que definas con la sintaxis de Workflows.
En Organiza trabajos con Nextflow, se explica cómo ejecutar un trabajo por lotes a través de una canalización de Nextflow, que puedes usar para organizar flujos de trabajo de bioinformática.
En Organiza trabajos con dsub, se explica cómo ejecutar un trabajo por lotes a través de una canalización de
dsub, que puedes usar para organizar flujos de trabajo de procesamiento por lotes en los servicios de Google Cloud .En Crea y ejecuta trabajos por lotes con Terraform y Cloud Scheduler, se explica cómo incorporar trabajos por lotes en Terraform. Terraform te permite aprovisionar y administrar la infraestructura especificando el estado preferido en los archivos de configuración, que se pueden tratar como código y almacenar en sistemas de control de versión como GitHub.
¿Qué sigue?
Aprende los aspectos básicos de la creación de trabajos: