O Hipercomputador de IA oferece uma infraestrutura integrada verticalmente otimizada para cargas de trabalho exigentes de inteligência artificial (IA) e machine learning (ML). As GPUs NVIDIA de alto desempenho são categorizadas pela forma como o sistema processa os eventos de ciclo de vida e a manutenção: GPUs gerais e GPUs em cluster.
Para identificar a categoria de infraestrutura ideal para sua carga de trabalho, consulte Escolher sua infraestrutura de acelerador.
GPUs gerais
As GPUs gerais são gerenciadas como unidades de computação independentes, usando APIs padrão do Compute Engine e do Google Kubernetes Engine (GKE) para integração direta com o plano de controle do Google Cloud.
As GPUs gerais incluem as seguintes séries de máquinas:
- A3 High com 1, 2 ou 4 GPUs (NVIDIA H100): otimizado para cargas de trabalho de treinamento e inferência padrão que não exigem um cluster sincronizado de 8 GPUs.
- A3 Edge (NVIDIA H100): otimizada para inferência distribuída em vários hosts com alta capacidade de processamento usando a rede VPC padrão.
- A2 (NVIDIA A100): otimizada para disponibilização de nó único de alto desempenho e ajuste fino em pequena escala.
- G4 (NVIDIA RTX PRO 6000): otimizada para cargas de trabalho de inferência e gráficos de nível básico e econômicas.
- G2 (NVIDIA L4): otimizada para inferência convencional e RAG.
- N1 (NVIDIA T4 ou V100): otimizada para tarefas de inferência e pesquisa de nível básico que priorizam o custo em vez de interconexões de alto desempenho.
GPUs em cluster
As GPUs em cluster são gerenciadas como um único sistema de acoplamento rígido com milhares de aceleradores interconectados usando o Cluster Director.
As GPUs em cluster incluem as seguintes séries de máquinas:
- A5X (NVIDIA Vera Rubin): projetada para treinamento em exaescala de modelos de fundação, inferência para modelos de raciocínio e computação de alto desempenho em bare metal, com superchips NVIDIA Vera Rubin.
- A4X Max (NVIDIA GB300): projetada para treinamento em exaescala bare metal e computação de alto desempenho, com superchips NVIDIA GB300 Grace Blackwell Ultra.
- A4X (NVIDIA GB200) e A4 (NVIDIA B200): projetadas para treinamento de modelo de fundação e treinamento de modelos de fundação em exaescala.
- A3 Ultra (NVIDIA H200), A3 Mega (NVIDIA H100) e A3 High com 8 GPUs (NVIDIA H100): otimizadas para treinamento distribuído em larga escala e inferência de vários hosts envolvendo tabelas de dados massivas.
Considerações sobre o desempenho da GPU
Para avaliar e otimizar o desempenho da carga de trabalho, é possível acompanhar métricas no nível do hardware, como a utilização do núcleo CUDA e do Tensor Core. Para monitorar seus recursos e avaliar o desempenho em ambientes gerais e em cluster, consulte o seguinte:
- Painéis de monitoramento: acompanhe em tempo real a utilização da GPU e o uso da memória para instâncias independentes individuais ou frotas de clusters orquestradas.
- Receitas de métricas de goodput: meça a porcentagem de tempo em que os aceleradores realizam computação útil em comparação com a sobrecarga do sistema, o que é altamente recomendado para treinamento distribuído em grande escala em hardware em cluster.
A seguir
- Para avaliar os requisitos de infraestrutura, consulte Escolher a infraestrutura do acelerador.
- Para analisar o processo e as escolhas que você precisa fazer ao iniciar um cluster, consulte Planejar e criar sua infraestrutura de IA.