Escolher entre GPUs gerais e em cluster

Neste documento, fornecemos recomendações de aceleradores, opções de consumo e ferramentas de implantação mais adequadas para diferentes cargas de trabalho de inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC). Use este documento para identificar a melhor implantação para sua carga de trabalho.

Para informações e recomendações sobre pilares de infraestrutura para cargas de trabalho de IA, ML e HPC, consulte os seguintes documentos:

Visão geral das cargas de trabalho

A arquitetura do Hipercomputador de IA é compatível com os seguintes casos de uso:

Carga de trabalho Descrição Recomendação
Pré-treinamento de modelos de fundação Isso envolve a criação de um modelo de linguagem usando um grande conjunto de dados. O resultado do pré-treinamento de modelos de fundação é um novo modelo que é bom em realizar tarefas gerais.
Os modelos são categorizados com base no tamanho da seguinte maneira:
  • Modelo de fronteira: modelos de ML que abrangem centenas de bilhões a trilhões de parâmetros ou mais. Isso inclui modelos de linguagem grandes (LLMs), como o Gemini.
  • Modelo grande: modelos de ML que abrangem dezenas a centenas de bilhões de parâmetros ou mais.
 Consulte recomendações para modelos pré-treinados.
Ajustes detalhados Isso envolve pegar um modelo treinado e adaptá-lo para realizar tarefas específicas usando conjuntos de dados especializados ou outras técnicas. O ajuste fino geralmente é realizado em modelos grandes. Consulte recomendações para ajustar modelos
Inferência ou disponibilização Isso envolve pegar um modelo treinado ou ajustado e disponibilizá-lo para consumo por usuários ou aplicativos.
As cargas de trabalho de inferência são categorizadas com base no tamanho dos modelos, da seguinte maneira:
  • Inferência para modelos de fundação em vários hosts: realização de inferência com modelos de ML treinados que abrangem centenas de bilhões a trilhões de parâmetros ou mais. Para essas cargas de trabalho de inferência, a carga computacional é compartilhada entre várias máquinas host.
  • Inferência de modelo de fundação de host único: realização de inferência com modelos de ML treinados que abrangem de dezenas a centenas de bilhões de parâmetros. Para essas cargas de trabalho de inferência, a carga computacional é limitada a uma única máquina host.
  • Inferência de modelos grandes: realizar inferências com modelos de ML treinados ou ajustados que abrangem de dezenas a centenas de bilhões de parâmetros.
 Consulte as recomendações para inferência.
ML para modelos pequenos ou médios Isso envolve treinar e disponibilizar modelos de ML menores em tamanho e complexidade, normalmente para tarefas mais especializadas. Consulte recomendações de ML para modelos pequenos ou médios
HPC É a prática de agregar recursos de computação para conseguir um desempenho maior do que o de uma única estação de trabalho, servidor ou computador. A HPC é usada para resolver problemas na pesquisa acadêmica, ciência, design, simulação e Business Intelligence. Consulte as recomendações para HPC.

Recomendações para modelos de pré-treinamento

Para pré-treinar modelos de fundação, grandes clusters de aceleradores leem continuamente grandes volumes de dados. Esses aceleradores ajustam os pesos por meio de passagens para frente e para trás para aprender com os dados. Esses jobs de treinamento são executados por semanas ou até meses de cada vez.

As seções a seguir descrevem os aceleradores e as opções de consumo que recomendamos para pré-treinar modelos de fundação.

Aceleradores recomendados

Para pré-treinar modelos de fundação no Google Cloud, recomendamos o uso de tipos de máquina otimizados para aceleradores A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) ou A3 High (NVIDIA H100 80 GB) e o uso de um orquestrador para implantar o cluster.

Para implantar esses clusters de aceleradores, também recomendamos o uso do Cluster Director ou do Cluster Toolkit. Para mais informações, consulte o respectivo guia de implantação de cluster para o tipo de máquina escolhido na tabela a seguir.

Cargas de trabalho Recomendações Guia de implantação de clusters
Tipo de máquina Orquestrador
Pré-treinamento de modelos de fundação
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Criar um cluster do GKE otimizado para IA com o Cluster Toolkit
Slurm
Treinamento de modelo grandes A3 Ultra (NVIDIA H200 141GB) GKE Criar um cluster do GKE otimizado para IA com o Cluster Toolkit
Slurm
Treinamento de modelo grandes
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Maximizar a largura de banda da rede de GPU em clusters do modo Standard
Slurm

Opção de consumo recomendada

Para ter um alto nível de garantia na obtenção de grandes clusters de aceleradores, recomendamos o uso de uma reserva. Especificamente, para minimizar os custos de recursos reservados, recomendamos que você solicite uma duração de reserva longa o suficiente para receber descontos por compromisso de uso. Para mais informações sobre as opções de consumo, consulte Escolher uma opção de consumo.

Recomendações para ajuste de modelos

Para ajustar modelos de fundação grandes, clusters menores de aceleradores leem volumes moderados de dados. Esses aceleradores ajustam o modelo para realizar tarefas específicas. Esses jobs de ajuste levam dias ou até semanas para serem executados.

As seções a seguir descrevem os aceleradores recomendados e a opção de consumo a ser usada ao ajustar modelos.

Para ajustar modelos no Google Cloud, recomendamos o uso de tipos de máquina otimizados para aceleradores A3 Ultra (NVIDIA H200 de 141 GB), A3 Mega (NVIDIA H100 de 80 GB) ou A3 High (NVIDIA H100 de 80 GB) e o uso de um orquestrador para implantar o cluster.

Para implantar esses clusters de aceleradores, também recomendamos o uso do Cluster Director ou do Cluster Toolkit. Para mais informações, consulte o respectivo guia de implantação de cluster para o tipo de máquina escolhido na tabela a seguir.

Cargas de trabalho Recomendações Guia de implantação de clusters
Tipo de máquina Orquestrador
Ajuste de modelos grandes A3 Ultra (NVIDIA H200 141GB) GKE Criar um cluster do GKE otimizado para IA com o Cluster Toolkit
Slurm
Ajuste de modelos grandes
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Maximizar a largura de banda da rede de GPU em clusters do modo Standard
Slurm

Opção de consumo recomendada

Para ajustar cargas de trabalho, use uma reserva adiantada no modo calendário para provisionar recursos. Para mais informações sobre as opções de consumo, consulte Escolher uma opção de consumo.

Recomendações para inferência

As seções a seguir descrevem os aceleradores e as opções de consumo recomendados para uso ao realizar inferências.

Aceleradores recomendados

Os aceleradores recomendados para inferência dependem se você está realizando inferência de fronteira de vários hosts ou de modelos grandes, ou inferência de fronteira de host único.

Aceleradores recomendados (vários hosts)

Para realizar inferência de modelos grandes ou de fronteira em vários hosts no Google Cloud, use os tipos de máquina otimizados para aceleradores A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) ou A3 High (NVIDIA H100 80 GB) e implante as instâncias usando um orquestrador. Para implantar esses clusters de aceleradores, também recomendamos o uso do Cluster Director ou do Cluster Toolkit. A tabela fornece links para guias de implantação de cluster para cada tipo de máquina recomendado.

Cargas de trabalho Recomendações Guia de implantação de clusters
Tipo de máquina Orquestrador
Inferência de fronteira de vários hosts
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Criar um cluster do GKE otimizado para IA com o Cluster Toolkit
Slurm
Inferência de modelos grandes A3 Ultra (NVIDIA H200 141GB) GKE Criar um cluster do GKE otimizado para IA com o Cluster Toolkit
Slurm
Inferência de modelos grandes
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Maximizar a largura de banda da rede de GPU em clusters do modo Standard
Slurm

Aceleradores recomendados (host único)

A tabela descreve os aceleradores que recomendamos para realizar inferências de fronteira de host único. A tabela fornece links para guias de implantação de VM para cada tipo de máquina recomendado.

Cargas de trabalho Recomendações Guia de implantação de VM
Tipo de máquina Orquestrador
Inferência de fronteira e mainstream de host único
  • A4 (NVIDIA B200)
  • A3 Ultra (NVIDIA H200 141GB)
 N/A Criar uma instância A4 ou A3 Ultra
  • A3 High (NVIDIA H100 80GB)
  • A3 Edge (NVIDIA H100 80GB)
 Criar uma instância A3 High ou A3 Edge
A2 (NVIDIA A100) Criar uma instância A2
G4 (NVIDIA RTX PRO 6000) Criar uma instância G4
G2 (NVIDIA L4) Criar uma instância G2
N1 (NVIDIA T4 ou V100) Criar uma instância N1

Opção de consumo recomendada

Para inferência, use uma reserva de longa duração ou uma reserva adiantada no modo calendário. Para mais informações sobre as opções de consumo, consulte Escolher uma opção de consumo.

Recomendações para modelos pequenos ou médios

Para cargas de trabalho de ML que envolvem modelos de pequeno a médio porte, alcançar um equilíbrio ideal entre preço e desempenho é uma consideração fundamental.

Aceleradores recomendados

A tabela a seguir descreve os aceleradores recomendados para cargas de trabalho de ML de modelos pequenos a médios.

Cargas de trabalho Recomendações Guia de implantação de VM
Tipo de máquina Orquestrador
ML para modelos pequenos ou médios A3 Edge (NVIDIA H100 80GB) N/A Criar uma instância do A3 Edge
A2 (NVIDIA A100) Criar uma instância A2
G4 (NVIDIA RTX PRO 6000) Criar uma instância G4
G2 (NVIDIA L4) Criar uma instância G2
N1 (NVIDIA T4 ou V100) Criar uma instância N1

Recomendações para HPC

Para cargas de trabalho de HPC, qualquer série de máquinas otimizada para aceleradores ou série de máquinas otimizada para computação funciona bem. Se você estiver usando uma série de máquinas com otimização de acelerador, a melhor opção vai depender do volume de computação que precisa ser descarregado para a GPU. Para uma lista detalhada de recomendações para cargas de trabalho de HPC, consulte Práticas recomendadas para executar cargas de trabalho de HPC.

Resumo das recomendações

A tabela a seguir resume os aceleradores e as opções de consumo recomendados para cada carga de trabalho.

Recurso Recomendação
Pré-treinamento de modelos
Família de máquinas Use um dos seguintes tipos de máquina otimizados para aceleradores: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) ou A3 High (NVIDIA H100 80 GB)
Opção de consumo Use reservas adiantadas padrão para blocos de capacidade (para A5X, A4X Max e A4X) ou reservas adiantadas padrão
Ajuste fino de modelos
Família de máquinas Use os tipos de máquina otimizados para aceleradores A3 Ultra (NVIDIA H200 de 141 GB), A3 Mega (NVIDIA H100 de 80 GB) ou A3 High (NVIDIA H100 de 80 GB)
Opção de consumo 'Usar reservas adiantadas padrão
Inferência
Família de máquinas Use um dos seguintes tipos de máquina: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), A3 High (NVIDIA H100 80 GB), A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) ou N1 (NVIDIA T4 ou V100)
Opção de consumo Usar reservas, on demand ou spot (exceto A5X, A4X Max e A4X, que não são compatíveis com spot ou on demand)
ML para modelos pequenos ou médios
Família de máquinas Use um dos seguintes tipos de máquina: A3 Edge (NVIDIA H100 de 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) ou N1 (NVIDIA T4 ou V100)
Opção de consumo Usar reservas sob demanda, spot ou padrão
Armazenamento Usar o Cloud Storage FUSE
HPC
Consulte a seção de resumo das práticas recomendadas para executar cargas de trabalho de HPC.

A seguir