Para criar a infraestrutura de aplicativos com acoplamento rígido que escalonam em vários nós, crie um cluster de instâncias de máquina virtual (VM). Este guia fornece uma visão geral das principais considerações e etapas para configurar um cluster de instâncias de máquina virtual (VM) para cargas de trabalho de computação de alto desempenho (HPC) usando a alocação de recursos densa.
Com o H4D, o Compute Engine adiciona suporte para executar cargas de trabalho de HPC massivas tratando um cluster inteiro de instâncias de VM como um único computador. O uso da colocação de VMs com reconhecimento de topologia permite acessar muitas instâncias em um único superbloco de rede e minimiza a latência de rede. Também é possível configurar o Cloud RDMA nessas instâncias para maximizar o desempenho da comunicação entre nós, o que é crucial para cargas de trabalho de HPC com acoplamento rígido.
Para criar esses clusters de VM de HPC com H4D, reserve blocos de capacidade em vez de recursos individuais. O uso de blocos de capacidade para o cluster permite recursos aprimorados de gerenciamento de clusters.
Os clusters de HPC com instâncias H4D podem ser criados com ou sem recursos aprimorados de gerenciamento de clusters. Se você não precisar de recursos avançados de gerenciamento de cluster com seu cluster de HPC H4D ou se quiser criar clusters de HPC usando uma série de máquinas diferente de H4D, use as seguintes instruções para criar instâncias ou clusters de HPC:
Terminologia de cluster
Ao trabalhar com blocos de capacidade, os seguintes termos são usados:
Visão geral do processo de criação de cluster com VMs H4D
Para criar clusters de HPC depois de reservar blocos de capacidade, siga estas etapas:
- Analisar os modelos de provisionamento disponíveis
- Escolher uma opção de consumo e obter capacidade
- Escolher uma opção de implantação e um orquestrador
- Escolher o sistema operacional ou a imagem do cluster
- Crie o cluster
Modelos de provisionamento para criação de VMs e clusters
Ao criar instâncias de VM, use os modelos de provisionamento descritos em Modelos de provisionamento de instâncias do Compute Engine.
Para criar instâncias H4D com acoplamento rígido, use um dos seguintes modelos de provisionamento para receber os recursos necessários para criar instâncias de computação:
Vinculado à reserva: é possível reservar recursos com desconto para uma data e duração futuras. No início do período de reserva, é possível usar os recursos reservados para criar VMs ou clusters. Você tem acesso exclusivo aos recursos reservados durante o período da reserva.
Início flexível: é possível solicitar recursos com desconto por até sete dias. O Compute Engine faz o possível para programar o provisionamento dos recursos solicitados assim que eles estiverem disponíveis. Você tem acesso exclusivo aos recursos obtidos durante o período solicitado.
Spot: com base na disponibilidade, é possível receber imediatamente recursos com grandes descontos. No entanto, o Compute Engine pode interromper ou excluir as instâncias de VM a qualquer momento para recuperar a capacidade.
Modelo de provisionamento vinculado à reserva
O modelo de provisionamento vinculado à reserva vincula as instâncias de VM criadas à capacidade que você reservou anteriormente. Quando você reserva capacidade, o Compute Engine cria uma reserva vazia. Em seguida, no horário de início da reserva, ocorre o seguinte:
O Compute Engine adiciona os recursos reservados à reserva. Você tem acesso exclusivo à capacidade reservada até o horário de término da reserva.
OGoogle Cloud cobra pela capacidade reservada até o final do período de reserva, quer você use a capacidade ou não.
Em seguida, é possível usar os recursos reservados para criar VMs sem cobranças adicionais. Você só paga pelos recursos que não estão incluídos na reserva, como discos ou endereços IP.
É possível reservar recursos para quantas VMs quiser e pelo tempo que quiser para uma data futura. Em seguida, é possível usar os recursos reservados para criar e executar VMs até o final do período da reserva. Se você reservar recursos por um ano ou mais, será necessário comprar e anexar um compromisso baseado em recursos.
Para provisionar recursos usando o modelo de provisionamento vinculado à reserva, consulte:
Para cargas de trabalho distribuídas de longa duração e grande escala com recursos densamente alocados: Reserve capacidade com sua equipe de conta
Para cargas de trabalho distribuídas de curta duração (até 90 dias) com recursos densamente alocados: Solicitações de reserva adiantada no modo calendário
É possível usar o provisionamento vinculado à reserva com instâncias H4D especificando o modelo de provisionamento vinculado à reserva ao criar VMs individuais, um cluster de HPC ou um grupo de VMs.
Modelo de provisionamento de início flexível
Para executar cargas de trabalho de curta duração que exigem recursos densamente alocados, é possível solicitar recursos de computação por até sete dias usando o início flexível. Sempre que os recursos estiverem disponíveis, o Compute Engine vai criar o número solicitado de VMs. É possível interromper VMs flex-start independentes, mas não é possível interromper VMs flex-start que um grupo gerenciado de instâncias (MIG) cria por meio de solicitações de redimensionamento. As VMs flex-start existem até que você as exclua ou até que o Compute Engine as exclua ao final da duração de execução.
O início flexível é ideal para cargas de trabalho que podem começar a qualquer momento. O modelo de provisionamento de início flexível provisiona recursos de um pool de capacidade seguro, de modo que os recursos alocados sejam densamente alocados para minimizar a latência da rede.
Quando você adiciona VMs flex-start a um grupo gerenciado de instâncias (MIG) usando solicitações de redimensionamento, o MIG cria as VMs de uma só vez. Essa abordagem ajuda a evitar cobranças desnecessárias pela capacidade parcial que o Compute Engine pode fornecer enquanto você aguarda a capacidade total necessária para iniciar a carga de trabalho.
É possível usar o provisionamento de início flexível com instâncias H4D, usando qualquer modelo de implantação disponível.
Modelo de provisionamento spot
Para executar cargas de trabalho tolerantes a falhas, é possível receber recursos de computação imediatamente com base na disponibilidade. Você recebe recursos pelo menor preço possível. No entanto, o Compute Engine pode interromper ou excluir as VMs spot criadas a qualquer momento para recuperar a capacidade. Esse processo é chamado de preempção.
As VMs spot são ideais para cargas de trabalho em que as interrupções são aceitáveis, como:
- Processamento em lote
- Computação de alto desempenho (HPC)
- Análise de dados
- Integração e implantação contínuas (CI/CD)
- Codificação de mídia
É possível usar VMs spot com qualquer tipo de máquina, exceto A4X, X4 e bare metal. A alocação densa depende da disponibilidade de recursos. Para ajudar a garantir uma alocação mais próxima, aplique uma política de posicionamento compacto às VMs spot.
É possível usar VMs spot com as seguintes opções de implantação densa:
- Criar um cluster de HPC do Slurm com H4D
- Criar instâncias otimizadas para HPC em massa com H4D
- Criar um MIG de HPC com a série de máquinas H4D
Escolher uma opção de consumo e obter capacidade
As opções de consumo determinam como os recursos são obtidos para o cluster. Para criar um cluster que use recursos aprimorados de gerenciamento de clusters, solicite blocos de capacidade para uma implantação densa.
A tabela a seguir resume as principais diferenças entre as opções de consumo para blocos de capacidade:
| Opção de consumo | Reservas adiantadas por mais de 90 dias (para blocos de capacidade) | Reservas adiantadas por até 90 dias (no modo calendário) | Início flexível | Spot |
|---|---|---|---|---|
| Características da carga de trabalho | Cargas de trabalho distribuídas de longa duração e grande escala que exigem uso intensivo de recursos | Cargas de trabalho de curta duração que exigem uso intensivo de recursos | Cargas de trabalho de curta duração que exigem uso intensivo de recursos | Cargas de trabalho tolerantes a falhas |
| Duração | A qualquer momento | Até 90 dias | Até sete dias | A qualquer momento, mas sujeito à preempção |
| Preemptiva | Não | Não | Não | Sim |
| Garantia de capacidade | Muito alto | Muito alto | Melhor esforço | Melhor esforço |
| Cota | Verifique se você tem cota suficiente antes de criar instâncias. | A cota de CPU é consumida. | A cota preemptiva é consumida. | A cota preemptiva é consumida. |
| Preços |
|
|
|
|
| Alocação de recursos | Dense | Dense | Dense | Padrão (política de posicionamento compacto opcional) |
| Modelo de provisionamento | Vinculada à reserva | Vinculada à reserva | Início flexível | Spot |
| Método de criação | Para criar clusters e VMs de HPC, faça o seguinte:
|
Para criar clusters e VMs de HPC, faça o seguinte:
|
Para criar VMs, selecione uma das seguintes opções:
Quando a capacidade solicitada estiver disponível, o Compute Engine vai provisioná-la. |
Você pode criar VMs imediatamente Consulte Escolher uma opção de implantação. |
Escolher uma opção de implantação
As cargas de trabalho de computação de alto desempenho (HPC) agregam recursos de computação para conseguir um desempenho maior do que o de uma única estação de trabalho, servidor ou computador. A HPC é usada para resolver problemas nas áreas de pesquisa acadêmica, ciência, design, simulação e Business Intelligence.
Para clusters de HPC com recursos aprimorados de gerenciamento de clusters, escolha a série de máquinas H4D. Se você planeja usar uma série de máquinas diferente, siga a documentação em Criar uma instância de VM pronta para HPC em vez de usar os métodos de implantação listados nesta página.
Algumas das opções de implantação disponíveis incluem a instalação e a configuração de um orquestrador para melhorar o gerenciamento do cluster de HPC.
Para escolher a opção mais adequada para criar suas VMs ou clusters para seu caso de uso, escolha uma das seguintes opções:
| Opção | Caso de uso |
|---|---|
| Cluster Director (pré-lançamento) | Você quer um serviço totalmente gerenciado de implantação e gerenciamento de clusters do Slurm que provisione e organize instâncias de computação H4D, rede Cloud RDMA e armazenamento compartilhado (Filestore ou Google Cloud Managed Lustre). Para saber mais, consulte a Visão geral do Cluster Director. |
| Cluster Toolkit | Você quer usar um software de código aberto que simplifique o processo de implantação de clusters do Slurm e do Google Kubernetes Engine (GKE). O Cluster Toolkit foi projetado para ser altamente personalizável e extensível. Para saber mais, consulte: |
| GKE | Você quer o máximo de flexibilidade ao configurar o cluster do Google Kubernetes Engine com base nas necessidades da carga de trabalho. Para saber mais, consulte Executar cargas de trabalho de HPC com H4D. |
| Usar o Compute Engine | Você quer controle total da camada de infraestrutura para poder configurar seu próprio orquestrador. Para saber mais, consulte:
|
Escolher a imagem do sistema operacional
A imagem do sistema operacional (SO) escolhida depende do serviço usado para implantar o cluster.
Para clusters no GKE: use uma imagem de nó do GKE, como o Container-Optimized OS. Se você usar o Cluster Toolkit para implantar o cluster do GKE, uma imagem do Container-Optimized OS será usada por padrão. Para mais informações sobre imagens de nó, consulte Imagens de nó na documentação do GKE.
Para clusters no Compute Engine: use uma das seguintes imagens:
- Imagem de VM de HPC: uma imagem do Rocky Linux 8 otimizada para cargas de trabalho de HPC com acoplamento rígido.
- Imagem do SO fornecida por Google Cloud: imagens do SO compatíveis com H4D. Você precisará configurá-los para suas cargas de trabalho de HPC.
- Imagens personalizadas: é possível criar e usar suas próprias imagens personalizadas. Para incluir otimizações específicas de HPC, recomendamos que você crie uma imagem personalizada usando a imagem de VM de HPC.
Para clusters do Slurm: o Cluster Director e o Cluster Toolkit implantam clusters do Slurm com uma imagem de VM de HPC baseada no Rocky Linux 8, que é otimizada para cargas de trabalho de HPC com acoplamento rígido. Para mais informações sobre as imagens do Cluster Director, consulte Imagens do SO no Cluster Director.
Criar o cluster de HPC
Depois de analisar o processo de criação do cluster e tomar decisões preliminares para sua carga de trabalho, crie o cluster usando qualquer uma das opções de implantação.
Recursos aprimorados de gerenciamento de clusters para seu cluster de HPC
Ao criar instâncias H4D com recursos densamente alocados usando os métodos de implantação mencionados em Escolher uma opção de implantação, é possível usar recursos aprimorados de gerenciamento de clusters de HPC com as instâncias.
Para mais informações sobre esses recursos, consulte Gerenciamento aprimorado de clusters de HPC com instâncias H4D.
A seguir
- Saiba mais sobre o Cluster Toolkit.
- Confira o tutorial de início rápido Implantar um cluster de HPC com o Slurm.
- Consulte as práticas recomendadas para executar cargas de trabalho de HPC.