Neste documento, descrevemos como criar e executar um job em lote que usa a flexibilidade de instâncias. A flexibilidade de instâncias permite que um job seja executado em vários tipos de máquina que você especifica e pode classificar.
Ao permitir mais tipos de máquina para um job, você pode usar a flexibilidade de instâncias para melhorar a disponibilidade, que é a probabilidade de os recursos estarem disponíveis para executar o job. Para mais informações sobre como escolher quais recursos de disponibilidade usar na sua carga de trabalho, consulte Melhorar a disponibilidade de recursos. Por exemplo, usar a flexibilidade de instâncias pode ajudar você a:
- Reduza a probabilidade de erros de disponibilidade de recursos e atrasos de programação relacionados.
- Selecione recursos com maior disponibilidade para ajudar os jobs a serem concluídos mais rapidamente, por exemplo:
- Aumente a probabilidade de conseguir mais instâncias para jobs que oferecem suporte ao processamento paralelo.
- Obtenha VMs spot com menor probabilidade de serem interrompidas.
Antes de começar
- Se você nunca usou o Batch, consulte Introdução ao Batch e ative o Batch concluindo os pré-requisitos para projetos e usuários.
-
Para receber as permissões necessárias para criar um job, peça ao administrador para conceder a você os seguintes papéis do IAM:
- Editor de jobs em lote (
roles/batch.jobsEditor) no projeto - Usuário da conta de serviço (
roles/iam.serviceAccountUser) na conta de serviço do job, que, por padrão, é a conta de serviço padrão do Compute Engine
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
- Editor de jobs em lote (
Restrições
Quando um job usa a flexibilidade de instâncias, todas as restrições a seguir se aplicam:
A melhoria na obtenção aumenta com o número de tipos de máquina que você permite que um job use.
O job não pode especificar o modelo de provisionamento
FLEX_STARTouRESERVATION_BOUND.O job não pode consumir uma reserva com segmentação específica. O campo
reservationprecisa ser indefinido ou definido comoNO_RESERVATION.Uma reserva com segmentação específica inclui todas as reservas para o modelo de provisionamento
RESERVATION_BOUNDe algumas reservas para o modelo de provisionamentoSTANDARD. Esses recursos são inerentemente incompatíveis, porque a criação de instâncias só pode ser bem-sucedida para o tipo de máquina da reserva.Cada job pode ter até 50 seleções de instâncias.
Cada seleção de instância em um job precisa ter um nome exclusivo, uma classificação exclusiva e um ou mais tipos de máquina exclusivos.
Os tipos de máquina não podem se repetir. Inclua cada tipo de máquina em apenas uma seleção de instância por job.
Cada job pode ter até 200 tipos de máquina exclusivos nas seleções de instâncias.
Embora seja opcional especificar vários tipos de máquina na mesma seleção de instância, isso é necessário se você quiser recursos com maior disponibilidade.
- O Batch tenta selecionar um ou mais tipos de máquina com a maior disponibilidade apenas quando a seleção de instância para uma classificação tem vários tipos de máquina. Por exemplo, essa seleção é importante se você quiser que o job tenha VMs spot com menor probabilidade de serem interrompidas ou mais instâncias para um job que possa executar tarefas em paralelo.
- Caso contrário, quando a seleção de instâncias para uma classificação tiver apenas um tipo de máquina, a flexibilidade de instâncias só vai ajudar a evitar erros de disponibilidade de recursos.
O job não pode incluir o campo
machineType, e o tipo de máquina de qualquer modelo de instância especificado pelo job é ignorado.Verifique se todas as propriedades especificadas para o job são compatíveis com todos tipo de máquina permitidos. Caso contrário, o job poderá falhar após o envio porque não é possível criar instâncias. Por exemplo, recomendamos que você verifique se pelo menos as seguintes propriedades de um job são compatíveis com todos os tipos de máquina:
- local (se especificado, campo
allowedLocations[]; caso contrário,location) - recursos de computação por tarefa (campo
computeResource) - Discos e imagens (campo
volumes[], campodisk[]e campobootDisk) - rede (campo
network) todas as outras propriedades da instância (subcampos
instances[]):- plataforma de CPU mínima (campo
minCpuPlatform) - modelo de provisionamento (campo
provisioningModel) - GPUs (campo
accelerators[])
- plataforma de CPU mínima (campo
- local (se especificado, campo
Não é possível substituir discos e plataformas de CPU mínimas para jobs em lote. Todos os tipos de máquina usam os valores especificados (nos subcampos
policyou em um modelo de instância) ou, se não forem especificados, usam os valores padrão para um tipo de máquina na seleção de instância de maior prioridade. Por isso, recomendamos que você faça o seguinte:Verifique se o tipo de disco de inicialização é compatível com todos os tipos de máquina permitidos. Em resumo, os tipos de máquina de 4ª geração e posteriores não são compatíveis com discos permanentes, os tipos de máquina de 2ª geração e anteriores não são compatíveis com o Hyperdisk, e os tipos de máquina de 3ª geração e anteriores usam discos de inicialização permanentes por padrão.
Não especifique uma plataforma de CPU mínima ou discos opcionais, a menos que você tenha verificado se eles são compatíveis com todos tipo de máquina permitidos.
Para criar um job que possa usar vários tipos de máquina de GPU, use a Google Cloud CLI ou a API Batch.
Se você permitir que um job use um tipo de máquina com GPUs fracionárias (por exemplo,
g4-standard-6tem 1/8 de uma GPU) e um tipo de máquina com GPUs inteiras (a maioria dos tipos de máquina de GPU), o job precisará instalar os drivers de GPU manualmente.
Criar um job que pode usar vários tipos de máquina
Para criar um job que possa usar vários tipos de máquina, selecione um dos métodos a seguir.
Console
Para usar o console do Google Cloud para criar um job que use vários tipos de máquina, siga estas etapas:
No console do Google Cloud , acesse a página Lista de jobs.
Clique em Criar. A página Criar job em lote é aberta. No painel à esquerda, a página Detalhes do job está selecionada.
Configure o job para usar vários tipos de máquina da seguinte maneira:
No painel à esquerda, clique em Especificações de recursos. A página Especificações do recurso é aberta.
Em Configuração do tipo de máquina, selecione Tipos de máquina flexíveis. A seção Seleções vai aparecer.
Clique em Adicionar seleções. O painel Seleções de instâncias é aberto.
Na seção Nova seleção de instâncias, configure uma seleção de instâncias da seguinte maneira:
Opcional: no campo Nome, insira um nome exclusivo.
No campo Classificação, insira uma classificação exclusiva. A classificação é um número inteiro maior ou igual a zero que representa a prioridade dessa seleção de instância, em que o menor valor é a prioridade mais alta.
Para adicionar um tipo de máquina a essa seleção de instâncias, siga estas etapas:
Clique em Adicionar tipo de máquina. O painel Adicionar tipo de máquina é aberto.
Em Série, selecione uma série de máquinas.
No campo Tipo de máquina, selecione o tipo de máquina. É possível incluir cada tipo de máquina em apenas uma seleção de instâncias por job.
Clique em Concluído. O painel Adicionar tipo de máquina é fechado.
Opcional: para cada máquina adicional que você quiser adicionar a essa seleção de instâncias (essa classificação), repita a etapa anterior.
Opcional: para cada seleção de instância adicional (classificação adicional) que você quer adicionar a esse job, clique em Adicionar seleção de instância. Em seguida, repita a etapa anterior.
Clique em Concluído. O painel Seleções de instâncias é fechado.
Especifique as outras opções de configuração do job. Para mais informações, consulte Opções de criação de jobs.
Para criar e enviar o job, clique em Criar.
A página Detalhes do job mostra o job que você criou.
gcloud
Para configurar vários tipos de máquina ao usar a Google Cloud CLI para criar um job, siga estas etapas:
Inclua o campo
instanceFlexibilityPolicye os subcampos no campoallocationPolicyno arquivo JSON que especifica os detalhes de configuração do job. O campoinstanceFlexibilityPolicyaceita uma ou mais seleções de instâncias, cada uma com um nome exclusivo, uma classificação exclusiva e uma lista de um ou mais tipos de máquina."allocationPolicy":{ "instanceFlexibilityPolicy":{ "instanceSelections":{ "INSTANCE_SELECTION_NAME":{ "rank": RANK, "machineTypes": [MACHINE_TYPES] } } } }Substitua:
INSTANCE_SELECTION_NAME: um nome para a seleção de instâncias. Se o job tiver várias seleções de instância, garanta que cada nome seja exclusivo.RANK: opcional: um número inteiro igual ou maior que zero que representa a prioridade dessa seleção de instância, em que o valor mais baixo é a prioridade mais alta. Se não for especificado, o valor padrão será0(prioridade mais alta). Se o job tiver várias seleções de instância, verifique se cada classificação nesse job é exclusiva.MACHINE_TYPES: uma lista separada por vírgulas de um ou mais tipos de máquina, que são escritos como strings, para essa seleção de instância. É possível incluir cada tipo de máquina em apenas uma seleção de instância por job. Por exemplo, uma lista de três tipos de máquina pode ser escrita da seguinte maneira:"MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"Substitua
MACHINE_TYPE_1,MACHINE_TYPE_2,MACHINE_TYPE_3por um tipo de máquina, por exemplo,e2-micro,e2-smallen1-standard-2.
Para mais informações, consulte também o job de exemplo.
Para criar e enviar o job, use o comando
gcloud batch jobs submit.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILESubstitua:
JOB_NAME: o nome do job.LOCATION: o local do job.JSON_CONFIGURATION_FILE: o caminho para um arquivo JSON com os detalhes de configuração do job.
REST
Para usar a API Batch para criar um job, use o
método jobs.create.
Para especificar vários tipos de máquina para um job, inclua o
campo instanceFlexibilityPolicy
e os subcampos
no campo allocationPolicy no corpo principal do arquivo JSON.
O campo instanceFlexibilityPolicy aceita uma ou mais seleções de instância,
cada uma com um nome exclusivo, uma classificação exclusiva e uma lista de um ou mais tipos de
máquina.
"allocationPolicy":{
"instanceFlexibilityPolicy":{
"instanceSelections":{
"INSTANCE_SELECTION_NAME":{
"rank": RANK,
"machineTypes": [MACHINE_TYPES]
}
}
}
}
Substitua:
INSTANCE_SELECTION_NAME: um nome para a seleção da instância. Se o job tiver várias seleções de instância, verifique se cada nome nesse job é exclusivo.RANK: opcional: um número inteiro igual ou maior que zero que representa a prioridade dessa seleção de instância, em que o valor mais baixo é a prioridade mais alta. Se não for especificado, o valor padrão será0(prioridade mais alta). Se o job tiver várias seleções de instância, verifique se cada classificação nele é exclusiva.MACHINE_TYPES: uma lista separada por vírgulas de um ou mais tipos de máquina, que são escritos como strings, para essa seleção de instância. É possível incluir cada tipo de máquina em apenas uma seleção de instância por job. Por exemplo, uma lista de três tipos de máquina pode ser escrita da seguinte maneira:"MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"Substitua
MACHINE_TYPE_1,MACHINE_TYPE_2,MACHINE_TYPE_3por um tipo de máquina, por exemplo,e2-micro,e2-smallen1-standard-2.
Para mais informações, consulte também o job de exemplo.
Exemplo de arquivo de configuração JSON de job
Por exemplo, ao usar a CLI gcloud ou a API Batch, é possível usar o seguinte arquivo de configuração JSON para criar um job de script básico com duas seleções de instância:
- A seleção de instâncias chamada
first-choicetem a prioridade mais alta ("rank": 0) e três tipos de máquina (e2-micro,e2-smallen1-standard-2). - A seleção de instância chamada
second-choicetem a segunda prioridade ("rank": 1) e um tipo de máquina (e2-medium).
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3
}
],
"allocationPolicy":{
"instanceFlexibilityPolicy":{
"instanceSelections":{
"first-choice":{
"rank": 0,
"machineTypes": ["e2-micro", "e2-small", "n1-standard-2"]
},
"second-choice":{
"rank": 1,
"machineTypes": ["e2-medium"]
}
}
}
}
}
A seguir
- Se você tiver problemas para criar ou executar um job, consulte Solução de problemas.
- Ver jobs e tarefas.
- Aprenda mais sobre as opções de criação de jobs.