Neste documento, explicamos a disponibilidade de recursos e recomendamos como melhorá-la ao criar e executar jobs em lote do Batch.
O que é obtenção?
Obtenção é a probabilidade de que os recursos estejam disponíveis para executar sua carga de trabalho. Quando os recursos não estão disponíveis, a carga de trabalho falha devido a erros de disponibilidade de recursos. A disponibilidade está relacionada, mas é diferente da confiabilidade, que é a probabilidade de que sua carga de trabalho esteja disponível para os usuários. Disponibilidade pode significar um ou ambos.
A relação entre obtenção e confiabilidade é complexa. Sua carga de trabalho precisa de recursos para ser confiável. No entanto, embora qualquer flexibilidade em relação ao local, ao horário e ao hardware aumente a disponibilidade, a confiabilidade só aumenta com a flexibilidade que atende aos requisitos da carga de trabalho. Por exemplo, observe as seguintes complexidades:
- Os tipos de máquina de maior desempenho podem ser menos acessíveis devido à maior demanda, mas a confiabilidade diminui quando a carga de trabalho não tem desempenho suficiente.
- A flexibilidade de localização aumenta a disponibilidade, mas as máquinas alocadas de forma densa melhoram o desempenho da rede.
- A flexibilidade de tempo aumenta a disponibilidade, mas a espera excessiva pode causar atrasos desnecessários.
Consequentemente, uma maior disponibilidade nem sempre é melhor. O nível ideal de disponibilidade varia de acordo com suas prioridades e requisitos. Por exemplo, você pode querer uma disponibilidade menor para priorizar a redução de custos. Mesmo que você queira priorizar a confiabilidade, talvez seja necessário equilibrar os benefícios de uma maior disponibilidade com os riscos de um desempenho menor ou de mais atrasos.
Recomendações para melhorar a disponibilidade de jobs
Consulte as seções a seguir para melhorar a obtenibilidade de jobs em lote:
- Recomendações para todas as opções de consumo: analise estas recomendações para cada job.
- Recomendações com base na opção de consumo: escolha uma recomendação com base na opção de consumo do seu job.
Recomendações para todas as opções de consumo
Minimize suas necessidades de tipos de máquina grandes e de alto desempenho separando sua carga de trabalho. Por exemplo, primeiro separe as operações com uso intensivo de computação das operações de baixa demanda usando jobs dependentes. Em seguida, reduza ao máximo os recursos de computação mínimos que cada job exige, maximizando o processamento paralelo e minimizando as tarefas com acoplamento rígido.
Saiba mais sobre jobs dependentes e recursos de computação e paralelismo.
Maximize o número de locais permitidos para os recursos do Compute Engine do seu job. Isso é verdadeiro por padrão. A menos que você especifique o campo
allowedLocations[]para um job, os recursos do Compute Engine do job poderão ser executados em todas as zonas no local do job.Saiba mais sobre locais.
Considere usar estratégias de fail fast antes de esperar por uma melhor disponibilidade. Para tentar evitar atrasos, considere estratégias de fail fast, como as seguintes:
- Embora seja possível resolver problemas de disponibilidade de recursos tentando sua solicitação em outro momento, geralmente é mais rápido tentar locais ou hardware diferentes primeiro.
- Se você estiver aberto a usar várias opções de consumo, geralmente é mais rápido testar primeiro as opções de consumo sem atrasos: reservas imediatas, sob demanda e VMs spot.
- Para novas cargas de trabalho que você planeja repetir, talvez seja melhor acelerar os testes iniciais e a solução de problemas usando temporariamente opções que são mais rápidas de conseguir.
Recomendações com base na opção de consumo
A opção de consumo selecionada é um fator principal para a obtenção de um job. Nesta seção, resumimos brevemente cada opção de consumo e recomendamos como otimizar a obtenção de cada uma delas.
As seguintes opções de consumo estão listadas da maior para a menor disponibilidade:
Para cargas de trabalho com altos requisitos de disponibilidade, use reservas. As reservas oferecem um nível mais alto de garantia na obtenção de capacidade do que todas as outras opções de consumo. Para usar a capacidade reservada, primeiro crie ou identifique as reservas que podem ser usadas. Em seguida, configure as instâncias para consumir essa capacidade reservada. Ao contrário de outras opções de consumo, as instâncias reservadas geram custos mesmo quando não estão sendo usadas até que você as exclua, devido à garantia de capacidade. Ao considerar a disponibilidade, escolha entre os seguintes tipos de reservas:
Para exigir capacidade reservada, consuma uma reserva segmentada especificamente. Essas reservas facilitam a verificação de que a capacidade reservada está disponível e pode ser consumida pela carga de trabalho. Sempre que a capacidade reservada não estiver disponível e compatível, sua carga de trabalho falhará e retornará um erro. Uma reserva com segmentação específica inclui todas as reservas para o modelo de provisionamento
RESERVATION_BOUNDe algumas reservas para o modelo de provisionamentoSTANDARD.Saiba como criar um job que use reservas.
Para capacidade reservada opcional, consuma uma reserva consumida automaticamente e use a flexibilidade de instâncias. Essas opções de reserva oferecem altos níveis de garantia na obtenção de capacidade, mas somente quando a capacidade reservada que sua carga de trabalho pode consumir está disponível. Para reservas consumidas automaticamente, é necessário especificar o modelo de provisionamento
STANDARDe verificar manualmente se a capacidade reservada está disponível e corresponde à configuração da instância da carga de trabalho. Sempre que a capacidade reservada não estiver disponível ou não corresponder, sua carga de trabalho tentará usar a capacidade on demand. No entanto, ao contrário das reservas especificamente segmentadas, é possível usar a flexibilidade de instâncias com reservas consumidas automaticamente para permitir que sua carga de trabalho tente consumir várias reservas consumidas automaticamente.Saiba como criar um job que use reservas e flexibilidade de instâncias.
Para cargas de trabalho com requisitos médios de disponibilidade, use a capacidade sob demanda com flexibilidade de instâncias ou VMs flex-start. Escolha entre estas opções:
A menos que o tipo de máquina esteja na série de máquinas A3 ou não seja compatível, considere usar a capacidade on demand com flexibilidade de instâncias. A opção de consumo sob demanda requer o modelo de provisionamento
STANDARD(padrão). A menos que você bloqueie explicitamente o consumo de reservas, sua carga de trabalho também tentará consumir reservas consumidas automaticamente por padrão. Vale ressaltar que não recomendamos o uso de VMs on demand para a série de máquinas A3.Saiba como criar um job que use o modelo de provisionamento padrão e a flexibilidade de instâncias.
Caso contrário, ou se a capacidade sob demanda estiver repetidamente indisponível, considere usar VMs flex-start. Para usar a opção de consumo de VMs flex-start, especifique o modelo de provisionamento
FLEX_START. As VMs flex-start exigem que sua carga de trabalho resista a um tempo de espera e a uma duração de execução limitada, mas também oferecem descontos com os preços do Dynamic Workload Scheduler.Saiba como criar um job que use VMs flex-start.
Para cargas de trabalho com requisitos de baixa disponibilidade, use VMs spot com vários recursos de disponibilidade. Para usar a opção de consumo de VMs spot, especifique o modelo de provisionamento
SPOT. As VMs spot nem sempre estão disponíveis e podem ser interrompidas a qualquer momento. Por isso, elas são recomendadas apenas para cargas de trabalho tolerantes a falhas, mas podem oferecer os maiores descontos com os preços das VMs spot.Em geral, recomendamos que você verifique a disponibilidade de VMs spot antes da criação e confirme se a carga de trabalho pode lidar com a preempção. Em seguida, para melhorar a obtenção de VMs spot em jobs em lote do Batch especificamente, recomendamos que você use a flexibilidade de instâncias com vários tipos de máquina na mesma classificação e use novas tentativas automáticas para tentar recriar automaticamente as VMs spot após a preempção.
Saiba como ver a disponibilidade de VMs spot e gerenciar a preempção de VMs spot na documentação do Compute Engine. Em seguida, aprenda a criar um job que use o modelo de provisionamento de VMs spot, a flexibilidade de instâncias e as novas tentativas automáticas de preempção.
A seguir
- Aprenda mais sobre as opções de criação de jobs.