Visão geral dos clusters de HPC com recursos aprimorados de gerenciamento de clusters

Para criar a infraestrutura de aplicativos com acoplamento rígido que escalonam em vários nós, crie um cluster de instâncias de máquina virtual (VM). Este guia fornece uma visão geral das principais considerações e etapas para configurar um cluster de instâncias de máquina virtual (VM) para cargas de trabalho de computação de alto desempenho (HPC) usando a alocação de recursos densa.

Com o H4D, o Compute Engine adiciona suporte para executar cargas de trabalho de HPC massivas tratando um cluster inteiro de instâncias de VM como um único computador. O uso da colocação de VMs com reconhecimento de topologia permite acessar muitas instâncias em um único superbloco de rede e minimiza a latência de rede. Também é possível configurar o Cloud RDMA nessas instâncias para maximizar o desempenho da comunicação entre nós, o que é crucial para cargas de trabalho de HPC com acoplamento rígido.

Para criar esses clusters de VM de HPC com H4D, reserve blocos de capacidade em vez de recursos individuais. O uso de blocos de capacidade para o cluster permite recursos aprimorados de gerenciamento de clusters.

Os clusters de HPC com instâncias H4D podem ser criados com ou sem recursos aprimorados de gerenciamento de clusters. Se você não precisar de recursos avançados de gerenciamento de cluster com seu cluster de HPC H4D ou se quiser criar clusters de HPC usando uma série de máquinas diferente de H4D, use as seguintes instruções para criar instâncias ou clusters de HPC:

Terminologia de cluster

Ao trabalhar com blocos de capacidade, os seguintes termos são usados:

Bloquear
Um conjunto de sub-blocos interconectados por uma rede não bloqueante de alta velocidade que oferece alta largura de banda para todas as máquinas host no bloco.
Cluster
Um conjunto de blocos interconectados por uma malha de rede de alta velocidade. Um cluster pode ser escalonado para milhares de CPUs para executar cargas de trabalho de HPC em grande escala. Cada cluster é globalmente exclusivo. A comunicação entre blocos diferentes adiciona apenas mais um salto, mantendo alto desempenho e previsibilidade, mesmo em escala massiva. Os metadados no nível do cluster também estão disponíveis para orquestradores para posicionamento inteligente de jobs em grande escala.
Cluster Toolkit
Uma ferramenta de código aberto oferecida pelo Google que simplifica a configuração e a implantação de clusters que usam o Slurm ou o Google Kubernetes Engine. Use blueprints predefinidos para criar uma pasta de implantação baseada no blueprint. É possível modificar blueprints ou a pasta de implantação para personalizar implantações e sua pilha de software. Em seguida, use o Terraform ou o Packer para executar os comandos gerados pelo Cluster Toolkit para implantar o cluster.
Implantação densa
Uma solicitação de recurso que aloca os recursos da instância de computação fisicamente próximos uns dos outros para minimizar os saltos de rede e otimizar para a menor latência.
Estrutura de rede
Infraestrutura de rede de alta velocidade que oferece alta largura de banda e baixa latência em todos os blocos e serviços do Google Cloud em um cluster. A malha usa a arquitetura da rede Jupiter e utiliza rede definida por software e switches de circuito óptico para otimizar o desempenho.
Nó ou host
Uma única máquina de servidor físico no data center. Cada host tem recursos de computação associados, como CPUs, memória e interfaces de rede. O número e a configuração desses recursos de computação dependem do tipo de máquina. As instâncias de computação são provisionadas em um host físico.
Orquestrador
Um orquestrador automatiza o gerenciamento dos clusters. Com um orquestrador, não é necessário gerenciar cada instância de VM no cluster. Um orquestrador, como o Slurm ou o Google Kubernetes Engine (GKE), lida com tarefas como fila de jobs, alocação de recursos, escalonamento automático (com o GKE) e outras tarefas diárias de gerenciamento de clusters.
Sub-blocos
Um grupo de hosts e hardware de conectividade associado que estão localizados em um único rack físico. Um switch top-of-rack (ToR, na sigla em inglês) conecta esses hosts, permitindo uma comunicação extremamente eficiente, com um único salto, entre duas CPUs dentro do sub-bloco. O Cloud RDMA facilita essa comunicação direta.

Visão geral do processo de criação de cluster com VMs H4D

Para criar clusters de HPC depois de reservar blocos de capacidade, siga estas etapas:

  1. Analisar os modelos de provisionamento disponíveis
  2. Escolher uma opção de consumo e obter capacidade
  3. Escolher uma opção de implantação e um orquestrador
  4. Escolher o sistema operacional ou a imagem do cluster
  5. Crie o cluster

Modelos de provisionamento para criação de VMs e clusters

Ao criar instâncias de VM, use os modelos de provisionamento descritos em Modelos de provisionamento de instâncias do Compute Engine.

Para criar instâncias H4D com acoplamento rígido, use um dos seguintes modelos de provisionamento para receber os recursos necessários para criar instâncias de computação:

  • Vinculado à reserva: é possível reservar recursos com desconto para uma data e duração futuras. No início do período de reserva, é possível usar os recursos reservados para criar VMs ou clusters. Você tem acesso exclusivo aos recursos reservados durante o período da reserva.

  • Início flexível: é possível solicitar recursos com desconto por até sete dias. O Compute Engine faz o possível para programar o provisionamento dos recursos solicitados assim que eles estiverem disponíveis. Você tem acesso exclusivo aos recursos obtidos durante o período solicitado.

  • Spot: com base na disponibilidade, é possível receber imediatamente recursos com grandes descontos. No entanto, o Compute Engine pode interromper ou excluir as instâncias de VM a qualquer momento para recuperar a capacidade.

Modelo de provisionamento vinculado à reserva

O modelo de provisionamento vinculado à reserva vincula as instâncias de VM criadas à capacidade que você reservou anteriormente. Quando você reserva capacidade, o Compute Engine cria uma reserva vazia. Em seguida, no horário de início da reserva, ocorre o seguinte:

  • O Compute Engine adiciona os recursos reservados à reserva. Você tem acesso exclusivo à capacidade reservada até o horário de término da reserva.

  • OGoogle Cloud cobra pela capacidade reservada até o final do período de reserva, quer você use a capacidade ou não.

Em seguida, é possível usar os recursos reservados para criar VMs sem cobranças adicionais. Você só paga pelos recursos que não estão incluídos na reserva, como discos ou endereços IP.

É possível reservar recursos para quantas VMs quiser e pelo tempo que quiser para uma data futura. Em seguida, é possível usar os recursos reservados para criar e executar VMs até o final do período da reserva. Se você reservar recursos por um ano ou mais, será necessário comprar e anexar um compromisso baseado em recursos.

Para provisionar recursos usando o modelo de provisionamento vinculado à reserva, consulte:

É possível usar o provisionamento vinculado à reserva com instâncias H4D especificando o modelo de provisionamento vinculado à reserva ao criar VMs individuais, um cluster de HPC ou um grupo de VMs.

Modelo de provisionamento de início flexível

Para executar cargas de trabalho de curta duração que exigem recursos densamente alocados, é possível solicitar recursos de computação por até sete dias usando o início flexível. Sempre que os recursos estiverem disponíveis, o Compute Engine vai criar o número solicitado de VMs. É possível interromper VMs flex-start independentes, mas não é possível interromper VMs flex-start que um grupo gerenciado de instâncias (MIG) cria por meio de solicitações de redimensionamento. As VMs flex-start existem até que você as exclua ou até que o Compute Engine as exclua ao final da duração de execução.

O início flexível é ideal para cargas de trabalho que podem começar a qualquer momento. O modelo de provisionamento de início flexível provisiona recursos de um pool de capacidade seguro, de modo que os recursos alocados sejam densamente alocados para minimizar a latência da rede.

Quando você adiciona VMs flex-start a um grupo gerenciado de instâncias (MIG) usando solicitações de redimensionamento, o MIG cria as VMs de uma só vez. Essa abordagem ajuda a evitar cobranças desnecessárias pela capacidade parcial que o Compute Engine pode fornecer enquanto você aguarda a capacidade total necessária para iniciar a carga de trabalho.

É possível usar o provisionamento de início flexível com instâncias H4D, usando qualquer modelo de implantação disponível.

Modelo de provisionamento spot

Para executar cargas de trabalho tolerantes a falhas, é possível receber recursos de computação imediatamente com base na disponibilidade. Você recebe recursos pelo menor preço possível. No entanto, o Compute Engine pode interromper ou excluir as VMs spot criadas a qualquer momento para recuperar a capacidade. Esse processo é chamado de preempção.

As VMs spot são ideais para cargas de trabalho em que as interrupções são aceitáveis, como:

  • Processamento em lote
  • Computação de alto desempenho (HPC)
  • Análise de dados
  • Integração e implantação contínuas (CI/CD)
  • Codificação de mídia

É possível usar VMs spot com qualquer tipo de máquina, exceto A4X, X4 e bare metal. A alocação densa depende da disponibilidade de recursos. Para ajudar a garantir uma alocação mais próxima, aplique uma política de posicionamento compacto às VMs spot.

É possível usar VMs spot com as seguintes opções de implantação densa:

Escolher uma opção de consumo e obter capacidade

As opções de consumo determinam como os recursos são obtidos para o cluster. Para criar um cluster que use recursos aprimorados de gerenciamento de clusters, solicite blocos de capacidade para uma implantação densa.

A tabela a seguir resume as principais diferenças entre as opções de consumo para blocos de capacidade:

Opção de consumo Reservas adiantadas por mais de 90 dias (para blocos de capacidade) Reservas adiantadas por até 90 dias (no modo calendário) Início flexível Spot
Características da carga de trabalho Cargas de trabalho distribuídas de longa duração e grande escala que exigem uso intensivo de recursos Cargas de trabalho de curta duração que exigem uso intensivo de recursos Cargas de trabalho de curta duração que exigem uso intensivo de recursos Cargas de trabalho tolerantes a falhas
Duração A qualquer momento Até 90 dias Até sete dias A qualquer momento, mas sujeito à preempção
Preemptiva Não Não Não Sim
Garantia de capacidade Muito alto Muito alto Melhor esforço Melhor esforço
Cota Verifique se você tem cota suficiente antes de criar instâncias. A cota de CPU é consumida. A cota preemptiva é consumida. A cota preemptiva é consumida.
Preços
Alocação de recursos Dense Dense Dense Padrão (política de posicionamento compacto opcional)
Modelo de provisionamento Vinculada à reserva Vinculada à reserva Início flexível Spot
Método de criação

Para criar clusters e VMs de HPC, faça o seguinte:

  1. Reservar capacidade com sua equipe de conta
  2. Na data e hora escolhidas, você pode usar a capacidade reservada para criar clusters de HPC. Consulte Escolher uma opção de implantação.

Para criar clusters e VMs de HPC, faça o seguinte:

  1. Criar uma solicitação de reserva adiantada no modo calendário
  2. Na data e hora escolhidas, você pode usar a capacidade reservada para criar clusters de HPC. Consulte Escolher uma opção de implantação.

Para criar VMs, selecione uma das seguintes opções:

Quando a capacidade solicitada estiver disponível, o Compute Engine vai provisioná-la.

Você pode criar VMs imediatamente Consulte Escolher uma opção de implantação.

Escolher uma opção de implantação

As cargas de trabalho de computação de alto desempenho (HPC) agregam recursos de computação para conseguir um desempenho maior do que o de uma única estação de trabalho, servidor ou computador. A HPC é usada para resolver problemas nas áreas de pesquisa acadêmica, ciência, design, simulação e Business Intelligence.

Para clusters de HPC com recursos aprimorados de gerenciamento de clusters, escolha a série de máquinas H4D. Se você planeja usar uma série de máquinas diferente, siga a documentação em Criar uma instância de VM pronta para HPC em vez de usar os métodos de implantação listados nesta página.

Algumas das opções de implantação disponíveis incluem a instalação e a configuração de um orquestrador para melhorar o gerenciamento do cluster de HPC.

Para escolher a opção mais adequada para criar suas VMs ou clusters para seu caso de uso, escolha uma das seguintes opções:

Opção Caso de uso
Cluster Director (pré-lançamento)

Você quer um serviço totalmente gerenciado de implantação e gerenciamento de clusters do Slurm que provisione e organize instâncias de computação H4D, rede Cloud RDMA e armazenamento compartilhado (Filestore ou Google Cloud Managed Lustre). Para saber mais, consulte a Visão geral do Cluster Director.

Cluster Toolkit

Você quer usar um software de código aberto que simplifique o processo de implantação de clusters do Slurm e do Google Kubernetes Engine (GKE). O Cluster Toolkit foi projetado para ser altamente personalizável e extensível. Para saber mais, consulte:

GKE Você quer o máximo de flexibilidade ao configurar o cluster do Google Kubernetes Engine com base nas necessidades da carga de trabalho. Para saber mais, consulte Executar cargas de trabalho de HPC com H4D.
Usar o Compute Engine

Você quer controle total da camada de infraestrutura para poder configurar seu próprio orquestrador. Para saber mais, consulte:

Escolher a imagem do sistema operacional

A imagem do sistema operacional (SO) escolhida depende do serviço usado para implantar o cluster.

  • Para clusters no GKE: use uma imagem de nó do GKE, como o Container-Optimized OS. Se você usar o Cluster Toolkit para implantar o cluster do GKE, uma imagem do Container-Optimized OS será usada por padrão. Para mais informações sobre imagens de nó, consulte Imagens de nó na documentação do GKE.

  • Para clusters no Compute Engine: use uma das seguintes imagens:

  • Para clusters do Slurm: o Cluster Director e o Cluster Toolkit implantam clusters do Slurm com uma imagem de VM de HPC baseada no Rocky Linux 8, que é otimizada para cargas de trabalho de HPC com acoplamento rígido. Para mais informações sobre as imagens do Cluster Director, consulte Imagens do SO no Cluster Director.

Criar o cluster de HPC

Depois de analisar o processo de criação do cluster e tomar decisões preliminares para sua carga de trabalho, crie o cluster usando qualquer uma das opções de implantação.

Recursos aprimorados de gerenciamento de clusters para seu cluster de HPC

Ao criar instâncias H4D com recursos densamente alocados usando os métodos de implantação mencionados em Escolher uma opção de implantação, é possível usar recursos aprimorados de gerenciamento de clusters de HPC com as instâncias.

Para mais informações sobre esses recursos, consulte Gerenciamento aprimorado de clusters de HPC com instâncias H4D.

A seguir