O Hipercomputador de IA tem várias opções de consumo para adquirir recursos de computação. Essas opções atendem a necessidades como duração da carga de trabalho, tolerância a falhas e modelo de infraestrutura. Saiba mais sobre essas opções e escolha a melhor para seu caso de uso.
Visão geral das opções de consumo
Se você quiser assistência com tecnologia de IA para comparar as opções de consumo para sua carga de trabalho e orçamento, execute o seguinte comando no Compute Advisor:
Esse comando avalia as cotas, as reservas e os descontos por compromisso de uso (CUDs) do seu projeto, compara as opções de consumo em termos de disponibilidade, ciclo de vida e preços e gera uma tabela de comparação em Markdown com os comandos recomendados.
Para comparar as opções de consumo em relação às principais características, use a tabela abaixo:
| Opção de consumo | Modelo de provisionamento | Ideal para | Garantia de capacidade | Duração | Preemptiva | Cota | Descontos | Modelo de alocação |
|---|---|---|---|---|---|---|---|---|
| Início flexível | Início flexível | Cargas de trabalho de curta duração de até sete dias que podem esperar por capacidade. | Melhor esforço | Até sete dias | Não | Cota preemptiva | Desconto (até 53%) em séries compatíveis | Denso para solicitações de redimensionamento de MIG e modo em massa; melhor esforço para VMs independentes. |
| VMs spot | Spot | Cargas de trabalho gerais de GPU tolerantes a falhas e de curta duração. | Melhor esforço | Preemptiva | Sim | Cota preemptiva | Desconto significativo (até 91%) | Padrão |
| Reservas padrão | Padrão | Cargas de trabalho gerais críticas de GPU que exigem um nível muito alto de garantia de capacidade. | Muito alto | Ilimitado | Não | Cota on demand | Preços com desconto por compromisso de uso (CUDs) | Padrão |
| Reservas adiantadas para blocos de capacidade | Vinculada à reserva | Treinamento de longa duração em grande escala em GPU em cluster. | Muito alto | Ilimitado dentro do período de reserva. | Não | A cota é aumentada antes da entrega | Com desconto (até 53%) com CUDs | Dense |
| Reservas adiantadas no modo calendário | Vinculada à reserva | cargas de trabalho de GPU em cluster de até 90 dias que exigem capacidade reservada. | Muito alto | Até 90 dias | Não | Nenhuma cota consumida | Com desconto (até 53%) | Dense |
| VMs sob demanda | Padrão | Cargas de trabalho gerais de GPU sem duração específica. | Melhor esforço | Ilimitado | Não | Cota on demand | Nenhum (pagamento por uso) | Padrão |
A opção de consumo usada para implantar sua infraestrutura depende do uso de GPU geral ou de GPU em cluster.
GPU geral: projetada para cargas de trabalho de inferência, desenvolvimento e treinamento em pequena escala. Esse tipo de GPU oferece flexibilidade operacional por meio de manutenção assíncrona. Para conferir as opções disponíveis, consulte Opções de consumo para GPU geral.
GPU em cluster: projetada para cargas de trabalho de treinamento em grande escala e acoplamento rígido, além de cargas de trabalho de inferência, RL e modelos de raciocínio em grande escala que exigem alta garantia de capacidade e alocação densa de recursos para minimizar a latência da rede. Para conferir as opções disponíveis, consulte Opções de consumo para GPU em cluster.
Opções de consumo para GPUs gerais
Use as seguintes opções de consumo para adquirir capacidade para GPU geral.
Usar o início flexível
Para executar cargas de trabalho de curta duração que exigem recursos densamente alocados, é possível solicitar recursos computacionais por até sete dias usando o início flexível. Sempre que houver recursos disponíveis, o Compute Engine vai criar o número de VMs solicitado. É possível interromper VMs flex-start independentes, mas não as VMs flex-start criadas por um grupo gerenciado de instâncias (MIG) usando solicitações de redimensionamento. As VMs flex-start existem até que você as exclua ou até que o Compute Engine as exclua no final da duração da execução.
Cargas de trabalho ideais
- Pré-treinamento de modelos pequenos
- Ajuste fino de modelos
- Simulação de computação de alto desempenho (HPC)
- Inferência em lote
Principais características
- Modelo de provisionamento: início flexível.
- Alocação do tipo tudo ou nada para MIGs: crie uma solicitação de redimensionamento em um MIG para que o Compute Engine provisione todas as VMs solicitadas juntas quando a capacidade estiver disponível. Essa abordagem ajuda a evitar cobranças desnecessárias pela capacidade parcial até que todas as VMs solicitadas estejam disponíveis.
- Amplo suporte a hardware: solicite qualquer tipo de máquina de GPU geral.
- Otimização de latência: aplique uma política de posicionamento compacto a VMs independentes para minimizar a latência de rede.
- Custo-benefício: receba um desconto de até 53% em vCPUs, memória, GPUs e discos SSD locais para as séries de máquinas A4, A3, A2 e G4. As taxas padrão on demand se aplicam a outras séries compatíveis. Para mais informações, consulte Preços do início flexível.
Usar Spot
Para executar cargas de trabalho tolerantes a falhas, é possível obter recursos de computação com base na disponibilidade em tempo real a um preço com desconto. No entanto, o Compute Engine pode forçar a interrupção das VMs a qualquer momento para recuperar capacidade. Antes de criar VMs, é possível ver a disponibilidade de VMs spot e ver a taxa de preempção e os preços de VMs spot em regiões e zonas.
Cargas de trabalho ideais
- Processamento em lote e análise de dados
- Computação de alto desempenho (HPC) e codificação de mídia
Principais características
- Modelo de provisionamento: spot.
- Amplo suporte a hardware: solicite qualquer tipo de máquina de GPU geral.
- Otimização de latência: aplique uma política de posicionamento compacto a VMs independentes para minimizar a latência de rede.
- Custo-benefício: receba um desconto de até 91% em vCPUs, memória, GPUs e discos SSD locais.
Usar sob demanda
Para executar cargas de trabalho sem duração específica, é possível solicitar recursos de computação com base na disponibilidade em tempo real. As VMs são executadas até que você as interrompa ou exclua.
Cargas de trabalho ideais
- Inferência e disponibilização de modelos
- Prototipagem e experimentação
Principais características
- Modelo de provisionamento: padrão.
- Solicitações não programadas: solicite VMs conforme necessário, sem reservas antecipadas ou compromissos de longo prazo. A alocação de recursos depende da disponibilidade em tempo real do hardware.
- Preços padrão: pague pelos recursos com as taxas padrão on demand, sem compromissos de longo prazo.
- Amplo suporte a hardware: use com qualquer série de máquinas de GPU compatível no caminho geral da GPU.
Usar reservas padrão
Para executar cargas de trabalho gerais críticas de GPU que exigem um nível muito alto de garantia de capacidade, use reservas padrão.
Cargas de trabalho ideais
- Cargas de trabalho de produção críticas
- Cargas de trabalho que exigem capacidade garantida
Principais características
- Modelo de provisionamento: padrão.
- Garantia de capacidade: oferece uma garantia muito alta de que os recursos estão disponíveis.
- Preços: as taxas padrão se aplicam, mas é possível anexar CUDs para economizar.
Opções de consumo para GPU em cluster
Use as seguintes opções de consumo para adquirir capacidade para GPU em cluster.
Usar reservas adiantadas para blocos de capacidade
Para executar cargas de trabalho distribuídas de longa duração e grande escala que exigem uso intensivo de recursos, você pode solicitar recursos de computação com uso intensivo para uma data e hora futuras. Você tem acesso exclusivo aos recursos reservados durante esse período e pode usá-los para criar VMs ou clusters. No final do período de reserva, o Compute Engine realiza as seguintes ações:
- O Compute Engine exclui a reserva e qualquer pool de armazenamento vazio associado.
- Com base na ação de encerramento especificada para as VMs, o Compute Engine interrompe ou exclui todas as VMs que usam a reserva.
Cargas de trabalho ideais
- Pré-treinamento de modelos de fundação
- Inferência para modelos de fundação em vários hosts
Principais características
- Modelo de provisionamento: vinculado à reserva.
- Suporte a máquinas premium: reserve tipos de máquina A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega ou A3 High (8 GPUs).
- Reservas de Hyperdisk: é possível reservar um pool de armazenamento do Hyperdisk ou um Hyperdisk Exapool com capacidade de computação para garantir que suas cargas de trabalho tenham recursos de armazenamento suficientes. O Google coloca os pools de Hyperdisk no mesmo local que os nós de computação para otimizar o desempenho do armazenamento.
- Requisitos de compromisso: anexe um compromisso baseado em recursos para reservas de um ano ou mais para receber descontos em recursos de computação e pools de Hyperdisk.
- Modificações dinâmicas: ative as notificações de manutenção de emergência de hardware para o uso de jobs da Vertex AI após o início do período.
Usar reservas adiantadas no modo calendário
Para executar cargas de trabalho distribuídas de curta duração que exigem recursos densamente alocados, é possível solicitar recursos de computação por até 90 dias. Você tem acesso exclusivo aos recursos reservados durante esse período e pode usá-los para criar VMs ou clusters. No final do período de reserva, o Compute Engine faz o seguinte:
- O Compute Engine exclui a reserva.
- Com base na ação de encerramento especificada para as VMs, o Compute Engine interrompe ou exclui todas as VMs que usam a reserva.
Cargas de trabalho ideais
- Pré-treinamento e ajuste fino
- Simulações e inferências em grande escala
Principais características
- Modelo de provisionamento: vinculado à reserva.
- Suporte a séries de máquinas: reserve tipos de máquina A4, A3 Ultra, A3 Mega ou A3 High (8 GPUs).
- Limites de escalonabilidade: reserve até 80 VMs por no máximo 90 dias.
- Provisionamento otimizado: use um modelo vinculado à reserva para aumentar suas chances de conseguir GPUs.
Usar o início flexível
Use o início flexível para solicitações de redimensionamento de grupo gerenciado de instâncias (MIG) em cluster quando precisar de recursos densamente alocados por até sete dias.
Cargas de trabalho ideais
As VMs flex-start são ideais para executar cargas de trabalho que podem começar a qualquer momento, como as seguintes:
- Pré-treinamento de modelos pequenos
- Ajuste fino de modelos
- Simulação de computação de alto desempenho (HPC)
- Inferência em lote
Principais características
- Modelo de provisionamento: início flexível.
- Alocação de recursos: crie uma solicitação de redimensionamento em um MIG para que o Compute Engine provisione todas as VMs solicitadas juntas em um posicionamento denso. Essa abordagem ajuda a evitar cobranças desnecessárias por capacidade parcial até que todas as VMs solicitadas estejam disponíveis.
- Custo-benefício: receba um desconto de até 53% em vCPUs, memória, GPUs e todos os discos SSD locais anexados para as séries de máquinas A4, A3, A2 e G4. As taxas padrão sob demanda se aplicam a outras séries de máquinas compatíveis.
Usar Spot
Para executar cargas de trabalho tolerantes a falhas que exigem alocação densa, use VMs spot com desconto. No entanto, o Compute Engine pode forçar a interrupção das VMs a qualquer momento para recuperar capacidade. Antes de criar VMs, é possível ver a disponibilidade de VMs spot e ver a taxa de preempção e os preços de VMs spot em regiões e zonas.
Cargas de trabalho ideais
- Treinamento distribuído tolerante a falhas
- Processamento em lote
Principais características
- Modelo de provisionamento: spot.
- Preempção: o Compute Engine pode interromper instâncias a qualquer momento.
- Custo-benefício: receba um desconto de até 91% em vCPUs, memória, GPUs e todos os discos SSD locais anexados.
A seguir
- Para analisar o processo e as escolhas que você precisa fazer ao iniciar um cluster, consulte Planejar e criar sua infraestrutura de IA.
- Para criar e usar reservas, consulte Criar e usar reservas.
- Para saber mais sobre VMs spot, consulte Saiba mais sobre VMs spot.
- Para criar uma instância de VM sob demanda, consulte Criar uma instância de VM sob demanda.
- Para projetar e otimizar sua infraestrutura de IA com tecnologia de IA, consulte Projetar infraestrutura de IA com o Compute Advisor.