Sobre políticas de carga de trabalho em MIGs

Neste documento, explicamos os requisitos e as limitações que você aplica ao usar políticas de carga de trabalho com grupos gerenciados de instâncias (MIGs). Por padrão, você gerencia o local das instâncias do Compute Engine apenas especificando as zonas delas. As políticas de carga de trabalho permitem definir o posicionamento físico e a topologia das instâncias de computação em uma zona. Essa abordagem ajuda, por exemplo, a minimizar a latência de rede nas instâncias de computação, colocando-as mais próximas umas das outras.

Só é possível aplicar políticas de carga de trabalho a MIGs que usam instâncias A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs), H4D ou TPU (TPU7x, v6e ou v5p). Se você usar instâncias A4X Max ou A4X ou criar um MIG com uma fração de TPU de vários hosts, uma política de carga de trabalho será necessária, a menos que você crie uma única instância de computação para fins de teste. Para as outras séries de máquinas compatíveis, as políticas de carga de trabalho são opcionais.

Para controlar o posicionamento de instâncias de computação que usam outras séries de máquinas, use políticas de posicionamento.

Noções básicas sobre políticas de carga de trabalho

As seções a seguir descrevem os casos de uso de políticas de carga de trabalho e as propriedades que você especifica ao criar políticas de carga de trabalho.

Gerenciar o posicionamento e a topologia de instâncias de computação

Depois de criar uma política de carga de trabalho e aplicá-la a um MIG, ela ajuda você a:

  • Criar instâncias de computação próximas umas das outras: se houver capacidade disponível, o Compute Engine vai criar instâncias de computação próximas umas das outras. Caso contrário, o Compute Engine vai criar apenas algumas ou nenhuma das instâncias de computação solicitadas.

  • Ganhe visibilidade da topologia da instância de computação: depois de aplicar uma política de carga de trabalho com um tipo de alta capacidade de processamento (HIGH_THROUGHPUT) a um MIG, e o MIG criar instâncias de computação, será possível conferir a posição das instâncias de computação em relação umas às outras. Essas informações ajudam a minimizar a latência da rede e resolver problemas. Para mais informações, consulte Ver o local físico de uma instância do Compute Engine.

É possível aplicar a mesma política de carga de trabalho a vários MIGs. Ao fazer isso, o Compute Engine aplica as regras de posicionamento a cada MIG de maneira independente.

A seção a seguir descreve as propriedades que você precisa especificar ao criar políticas de carga de trabalho.

Configurar propriedades da política de carga de trabalho

Ao criar uma política de carga de trabalho, especifique as seguintes propriedades:

  • Tipo de carga de trabalho (type): esse campo define a meta de alto nível do cluster. Só é possível especificar HIGH_THROUGHPUT, que instrui o Compute Engine a colocar as instâncias de computação o mais próximas possível para acelerar a comunicação.

  • Com base na série de máquinas que as instâncias de computação no MIG usam, é possível especificar uma das seguintes propriedades:

    • Topologia do acelerador (acceleratorTopology): essa propriedade ajuda você a alcançar alto desempenho para cargas de trabalho distribuídas que são executadas em várias instâncias A4X Max ou A4X, ou frações de TPU de vários hosts, que usam uma configuração de rede especializada entre aceleradores. Para mais informações, consulte Propriedade de topologia do acelerador.

    • Distância máxima da topologia (maxTopologyDistance): essa propriedade define o limite físico mais estrito para criar suas instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D, como o mesmo bloco ou sub-bloco. Se o Compute Engine não puder atender a esse limite estrito devido a erros de disponibilidade de recursos, ele criará apenas parte ou nenhuma das instâncias de computação solicitadas. Para mais informações, consulte Propriedade de distância máxima da topologia.

Propriedade de topologia do acelerador

Para alcançar um desempenho de rede sem bloqueio em grande escala, o Compute Engine organiza as instâncias A4X Max e A4X em uma hierarquia física de blocos e sub-blocos.

Para criar um MIG com instâncias A4X Max ou A4X ou frações de TPU de vários hosts, é necessário aplicar uma política de carga de trabalho ao MIG que especifique a propriedade de topologia do acelerador (acceleratorTopology). Essa propriedade define a configuração de rede física para uma fração de instâncias de computação. Uma fração atua como um único acelerador massivo que fornece capacidade máxima para suas cargas de trabalho distribuídas de IA ou ML.

A tabela a seguir mostra os valores de topologia do acelerador para A4X Max e A4X. Para mais informações sobre valores de topologia para frações de TPU de vários hosts, consulte Topologia de TPU.

Valor da topologia do acelerador Descrição Série de máquinas compatível Número máximo de instâncias de computação
1x72 O Compute Engine organiza as instâncias de computação em sub-blocos densamente alocados de 18 instâncias de computação, totalizando 72 GPUs. Como cada sub-bloco requer o próprio MIG, é possível criar no máximo 18 instâncias de computação por MIG. Um bloco completo consiste em 25 MIGs, totalizando 450 instâncias de computação. A4X Max e A4X 18

Para mais informações sobre as instâncias A4X Max e A4X, consulte As séries de máquinas A4X Max e A4X.

Propriedade de distância máxima da topologia

Quando você cria e aplica uma política de carga de trabalho a um MIG, o Compute Engine tenta colocar as instâncias de computação próximas umas das outras da melhor maneira possível. Se você precisar de um posicionamento físico mais próximo em uma zona, especifique a propriedade de distância máxima da topologia (maxTopologyDistance). Especificar uma distância máxima de topologia instrui o Compute Engine a colocar instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D no mesmo cluster, bloco ou sub-bloco.

Ao decidir se você quer especificar uma distância máxima de topologia, considere a relação entre a colocalização física estrita e a obtenção de instâncias de computação e a garantia de capacidade:

  • Distância não especificada: você prioriza a obtenção de instâncias de computação e a garantia de capacidade em vez da colocalização estrita. No entanto, se a capacidade for limitada, o Compute Engine poderá colocar instâncias de computação mais distantes do que o aplicativo pode tolerar.

  • Distância especificada: você precisa de uma colocation física mais próxima para reduzir a latência da rede, o que reduz diretamente a capacidade de obtenção da instância de computação e a garantia de capacidade. Se os requisitos de posicionamento forem muito rígidos para a capacidade disponível em uma zona, talvez você encontre erros de disponibilidade de recursos. Para resolver esses erros, use uma política de carga de trabalho com um valor de distância de topologia máxima menos rigoroso, como CLUSTER em vez de SUBBLOCK, ou deixe o valor não especificado.

A tabela a seguir mostra os valores máximos de distância de topologia e as séries de máquinas compatíveis:

Valor de distância máxima da topologia Descrição Série de máquinas compatível Número máximo de instâncias de computação
Não especificado O Compute Engine prioriza a obtenção de instâncias de computação e a garantia de capacidade. O Compute Engine tenta colocar as instâncias de computação o mais próximo possível umas das outras, sem garantia de distância máxima em uma zona. Se a capacidade for limitada, o Compute Engine poderá colocar as instâncias de computação mais distantes do que o aplicativo pode tolerar. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) e H4D 1.500
CLUSTER O Compute Engine cria instâncias de computação em blocos adjacentes em um cluster. A4 e H4D 1.500
BLOCK O Compute Engine cria instâncias de computação no mesmo bloco. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D
  • Para A4 ou H4D: 150
  • Para A3 Ultra, A3 Mega ou A3 High (8 GPUs): 256
SUBBLOCK O Compute Engine cria instâncias de computação no mesmo sub-bloco, minimizando a latência de rede o máximo possível. A4, A3 Ultra e H4D 22

Preços

Não há custos extras associados à criação, exclusão ou aplicação de políticas de carga de trabalho a um MIG.

Série de máquinas compatível

Só é possível aplicar políticas de carga de trabalho a MIGs com instâncias de computação que usam as seguintes combinações de séries de máquinas e modelos de provisionamento:

Série de máquina Início flexível Spot Vinculada à reserva Padrão
A4X Max Não Não Sim Não
A4X Não Não Sim Não
A4 Sim Sim Sim Não
A3 Ultra Sim Sim Sim Não
A3 Mega Não Sim Sim Não
A3 High (8 GPUs) Não Sim Sim Não
H4D Sim Sim Sim Não
TPU7x Sim Sim Sim Sim
TPU v6e Sim Sim Sim Sim
TPU v5p Sim Sim Sim Sim

Limitações

Para políticas de cargas de trabalho em MIGs, as seguintes limitações se aplicam:

  • Só é possível aplicar uma política de cargas de trabalho a um MIG ou mudar a política de cargas de trabalho dele se não houver instâncias de computação no MIG.

  • Só é possível aplicar políticas de carga de trabalho a MIGs regionais se eles usarem os seguintes formatos de destino de distribuição:

    • Para MIGs com um tamanho de destino: ANY ou ANY_SINGLE_ZONE

    • Para solicitações de redimensionamento de MIG: ANY_SINGLE_ZONE

  • Não é possível atualizar uma política de carga de trabalho depois de criá-la.

  • Não é possível configurar um segundo modelo de instância se o MIG usar uma política de carga de trabalho.

  • Não é possível usar políticas de carga de trabalho com políticas de posicionamento.

A seguir