Terminologia

Os termos a seguir se aplicam ao Hipercomputador de IA.

Acelerador
Um dispositivo de hardware especializado, como uma GPU ou TPU, projetado para executar tarefas específicas, como cargas de trabalho de machine learning, de maneira mais eficiente do que um processador de uso geral.

Bloquear
Um conjunto de sub-blocos interconectados por uma rede não bloqueante de alta velocidade que fornece alta largura de banda para todas as máquinas host no bloco.

Cluster
Um conjunto de blocos interconectados por uma malha de rede de alta velocidade. Cada cluster é globalmente exclusivo. Para máquinas A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPUs), um cluster fornece uma estrutura de rede comum e sem bloqueio para seus blocos de capacidade de acelerador. Em um cluster, a comunicação entre nós (tráfego leste-oeste) não é bloqueada para toda a coleção de blocos.

GPU em cluster
Uma categoria de famílias de máquinas para GPUs, incluindo A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPUs). As GPUs em cluster permitem que as equipes implantem e escalonem milhares de aceleradores interconectados como um único sistema com acoplamento rígido, usando malhas de rede especializadas e manutenção sincronizada. Eles são ideais para cargas de trabalho que exigem computação, memória e sincronização de rede de alta velocidade extremas. Os casos de uso comuns incluem o pré-treinamento de modelos de fundação com trilhões de parâmetros, a disponibilização do modelo de fronteira e simulações para descoberta de medicamentos.

Manutenção emergencial
Às vezes, é chamada de manutenção de emergência. Um evento de manutenção não planejado causado por um problema crítico de hardware, software ou segurança. Para tipos de máquina de acelerador compatíveis, a manutenção emergencial fornece uma notificação com antecedência em vez de uma interrupção imediata. Essa notificação dá tempo para você drenar as cargas de trabalho normalmente e, se quiser, acionar o reparo antes que o sistema encerre as VMs.

GPU geral
Uma categoria de famílias de máquinas de GPU, incluindo G2, G4, A2, N1+T4 e A3 Edge. As GPUs gerais permitem que as equipes implantem e escalonem aceleradores da NVIDIA com total autonomia operacional, ignorando a complexidade arquitetônica dos clusters de supercomputação coordenados. Eles são ideais para cargas de trabalho que priorizam alta disponibilidade, provisionamento de autoatendimento e escalonamento independente. Os casos de uso comuns incluem inferência em tempo real, RAG, prototipagem e treinamento de modelos de pequeno a médio porte.

Estrutura de rede
Infraestrutura de rede de alta velocidade que oferece alta largura de banda e baixa latência em todos os blocos e serviços do Google Cloud em um cluster. A malha usa a arquitetura da rede Jupiter. Para otimizar o desempenho, a malha usa uma rede definida por software e switches ópticos.

Nó ou host
Uma única máquina de servidor físico no data center. Cada host tem recursos de computação associados, como aceleradores. O número e a configuração desses recursos de computação dependem da família de máquinas. As instâncias do Compute Engine são provisionadas em um host físico.

Um domínio NVLink, também conhecido como sub-bloco, é a unidade principal de capacidade para máquinas A5X, A4X Max e A4X. Um domínio NVLink consiste em 18 instâncias A5X, A4X Max ou A4X (72 GPUs) conectadas por um sistema NVLink de vários nós.

Sub-bloco
Um grupo de hosts e hardware de conectividade associado que estão em um único bloco físico. No contexto das máquinas A5X, A4X Max e A4X, um sub-bloco também é chamado de domínio NVLink.

Superblock
Um agrupamento físico de máquinas interconectadas em data centers. Ao colocar máquinas dentro de um superbloco, você alcança a capacidade de processamento de rede extrema e a latência de menos de milissegundos necessárias para executar cargas de trabalho de treinamento com acoplamento rígido.

Mais informações

Os documentos a seguir fornecem mais explicações sobre as terminologias relevantes para os tópicos correspondentes: