Criar um cluster do Slurm totalmente gerenciado para cargas de trabalho de IA

Neste documento, explicamos como configurar e implantar um cluster do Slurm totalmente gerenciado usando o Cluster Director com os tipos de máquina A4X, A4, A3 Ultra ou A3 Mega. Para saber mais sobre esses tipos de máquina otimizados para aceleradores, consulte Sobre aceleradores de GPU.

O Cluster Director é um produto do Google Cloud que automatiza a configuração de clusters do Slurm. Esse produto foi projetado para administradores de TI e pesquisadores de IA que querem evitar a sobrecarga de gerenciar um cluster e se concentrar na execução das cargas de trabalho. Se você quiser mais controle sobre a implantação do cluster, crie o cluster usando o Cluster Toolkit.

Limitações

Dependendo do tipo de máquina que as instâncias do Compute Engine no cluster usam, as seguintes limitações se aplicam:

A4X

A4

  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A4.
  • Só é possível usar um tipo de máquina A4 em determinadas regiões e zonas.
  • Não é possível usar o Persistent Disk (regional ou zonal). Só é possível usar o Google Cloud Hyperdisk.
  • O tipo de máquina A4 só está disponível na plataforma de CPU Emerald Rapids.
  • Não é possível alterar o tipo de máquina de uma instância para ou do tipo de máquina A4. É preciso criar uma nova instância com esse tipo de máquina.
  • Os tipos de máquina A4 não dão suporte a locatários individuais.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A4.
  • Para instâncias A4, quando você usa ethtool -S para monitorar a rede de GPU, os contadores de porta física que terminam em _phy não são atualizados. Esse é o comportamento esperado para instâncias que usam a arquitetura de função virtual (VF, na sigla em inglês) do MRDMA. Para mais informações, consulte Funções de MRDMA e ferramentas de monitoramento de rede.
  • Não é possível anexar discos do Hyperdisk ML criados antes de 4 de fevereiro de 2026 a tipos de máquina A4.

A3 Ultra

  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de instâncias que usam um tipo de máquina A3 Ultra.
  • Só é possível usar um tipo de máquina A3 Ultra em determinadas regiões e zonas.
  • Não é possível usar o Persistent Disk (regional ou zonal). Só é possível usar o Google Cloud Hyperdisk.
  • O tipo de máquina A3 Ultra só está disponível na plataforma de CPU Emerald Rapids.
  • Não é possível mudar o tipo de máquina A3 Ultra. Para mudar para ou desse tipo de máquina, é necessário criar uma nova instância.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 Ultra.
  • Os tipos de máquina A3 Ultra não dão suporte a locatários individuais.
  • Para instâncias A3 Ultra, quando você usa ethtool -S para monitorar a rede de GPU, os contadores de portas físicas que terminam em _phy não são atualizados. Esse é o comportamento esperado para instâncias que usam a arquitetura de função virtual (VF, na sigla em inglês) do MRDMA. Para mais informações, consulte Funções de MRDMA e ferramentas de monitoramento de rede.

A3 Mega

  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de instâncias que usam um tipo de máquina A3 Mega.
  • Só é possível usar um tipo de máquina A3 Mega em determinadas regiões e zonas.
  • Não é possível usar o Persistent Disk regional em uma instância que usa um tipo de máquina A3 Mega.
  • O tipo de máquina A3 Mega só está disponível na plataforma de CPU Sapphire Rapids.
  • Não é possível mudar o tipo de máquina A3 Mega. Para mudar para ou desse tipo de máquina, é necessário criar uma nova instância.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 Mega.

Antes de começar

Antes de criar um cluster do Slurm, se ainda não tiver feito isso, conclua as seguintes etapas:

  1. Escolha uma opção de consumo: sua escolha determina como você recebe e usa os recursos de GPU. Para saber mais, consulte Escolher uma opção de consumo.
  2. Obter capacidade: o processo para obter capacidade varia de acordo com cada opção de consumo. Para saber mais sobre o processo de obtenção de capacidade para a opção de consumo escolhida, consulte Visão geral da capacidade.
  3. Verifique se você tem cota de capacidade suficiente do Filestore: é necessário ter cota suficiente do Filestore na região de destino antes da implantação. Para os tipos de máquina A4X, A4, A3 Ultra e A3 Mega, é necessário um mínimo de 10 TiB (10.240 GiB) de capacidade HIGH_SCALE_SSD (zonal).

    Para verificar a cota ou solicitar um aumento, consulte o seguinte:

  4. Verifique a política de imagem confiável: se a organização em que seu projeto está inserido tiver uma política de imagem confiável (constraints/compute.trustedImageProjects), verifique se o projeto clusterdirector-public-images está incluído na lista de projetos permitidos. Para saber mais, consulte Como configurar políticas de imagem confiáveis.

Funções exigidas

Para criar um cluster do Slurm, você precisa dos seguintes papéis e permissões do IAM:

Criar um cluster do Slurm

Para criar um cluster otimizado para IA usando o Cluster Director, siga estas etapas:

  1. Definir configurações de recursos de computação

  2. Configurar rede

  3. Configurar recursos de armazenamento

  4. Configurar o ambiente do Slurm

Definir configurações de recursos de computação

Para definir as configurações de recursos de computação ao criar um cluster, siga estas etapas:

  1. No console Google Cloud , acesse a página Cluster Director.

    Acessar o Cluster Director

  2. Clique em Criar cluster.

  3. Na caixa de diálogo exibida, clique em Arquitetura de referência. A página Criar um cluster é aberta.

  4. Clique em um dos modelos disponíveis. Se quiser, edite o modelo para adaptá-lo às necessidades da sua carga de trabalho.

  5. Clique em Personalizar.

  6. Na seção Computação, no campo Nome do cluster, insira um nome para o cluster. O nome pode ter até 10 caracteres e só pode usar números ou letras minúsculas (a-z).

  7. Para adicionar informações à configuração de recursos de computação pré-configurada ou editar o número e o tipo de instâncias de computação especificadas pelas configurações, faça o seguinte:

    1. Na seção Computação, clique em Editar configuração de recursos. O painel Adicionar configuração de recurso aparece.

    2. Opcional: para mudar o nome da configuração do recurso de computação, insira um novo nome no campo Nome.

    3. Opcional: para alterar o número e o tipo de instâncias de computação que o cluster usa, na seção Configuração da máquina, siga as instruções para atualizar os recursos de computação.

    4. Na seção Opções de consumo, especifique a opção de consumo que você quer usar para receber recursos:

      • Para criar instâncias de computação usando uma reserva, faça o seguinte:

        1. Clique na guia Usar reserva.

        2. Clique em Selecionar reserva. O painel Escolher uma reserva é exibido. Se você quiser usar uma reserva de VMs A4X, pode escolher o bloco ou o sub-bloco para controlar o posicionamento das VMs.

        3. Selecione a reserva que você quer usar. Em seguida, clique em Escolher. Essa ação define automaticamente a Região e a Zona dos recursos de computação.

      • Para criar VMs flex-start, faça o seguinte:

        1. Clique na guia Início flexível.

        2. Na seção Limite de tempo para a VM, especifique a duração da execução das instâncias de computação. O valor precisa estar entre 10 minutos e sete dias.

        3. Na seção Local, selecione a região em que você quer criar VMs flex-start. O console doGoogle Cloud filtra automaticamente as regiões disponíveis para mostrar apenas aquelas que são compatíveis com VMs flex-start para o tipo de máquina selecionado.

      • Para criar VMs spot, faça o seguinte:

        1. Clique na guia Usar spot.

        2. Na lista No encerramento da VM, escolha uma destas opções:

          • Para excluir VMs spot na preempção, selecione Excluir.

          • Para interromper VMs spot na preempção, selecione Parar.

        3. Na seção Local, selecione a Região e a Zona em que você quer criar VMs spot. O Google Cloud console filtra automaticamente as regiões disponíveis para mostrar apenas aquelas que oferecem suporte a VMs spot para o tipo de máquina selecionado.

    5. Clique em Concluído.

    6. Opcional: para criar outras configurações de recursos de computação para uma partição, clique em Adicionar configuração de recurso e siga as instruções para especificar os recursos de computação.

  8. Clique em Continuar.

Configurar a rede

Para configurar a rede que o cluster usa, siga estas etapas:

  1. Na seção Escolher uma rede de nuvem privada virtual (VPC), siga um destes procedimentos:

    • Recomendado: para permitir que o Hipercomputador de IA crie automaticamente uma rede VPC pré-configurada para o cluster, faça o seguinte:

      1. Selecione Criar uma nova rede VPC.

      2. No campo Nome da rede, insira um nome para a rede VPC.

    • Para usar uma rede VPC ou VPC compartilhada, faça o seguinte:

      1. Selecione Usar uma rede VPC no projeto atual ou Usar uma rede VPC compartilhada hospedada em outro projeto.

      2. Na lista Selecionar rede VPC ou Rede VPC compartilhada, selecione uma rede VPC ou VPC compartilhada que atenda às configurações necessárias.

      3. Na lista Selecionar sub-rede, escolha uma sub-rede.

  2. Clique em Continuar.

Configurar recursos de armazenamento

Quando você cria um cluster usando um modelo do Cluster Director, ele configura automaticamente uma instância do Filestore ou do Managed Lustre como o recurso de armazenamento do cluster.

Para adicionar ou editar os recursos de armazenamento usados pelo cluster, na seção Armazenamento, siga as etapas abaixo. Para mais informações sobre os serviços de armazenamento que podem ser configurados, consulte Serviços de armazenamento compatíveis com o Cluster Director.

  1. Opcional: para editar um recurso de armazenamento, clique em Editar plano de armazenamento e siga as instruções para atualizar a configuração do recurso.

  2. Opcional: para adicionar recursos de armazenamento ao cluster, clique em Adicionar configuração de armazenamento e siga as instruções para especificar a configuração dos recursos de armazenamento.

    Para ver os serviços de armazenamento disponíveis que podem ser configurados, consulte Serviços de armazenamento compatíveis com o Cluster Director.

  3. Clique em Continuar.

Configurar o ambiente do Slurm

Para configurar o ambiente do Slurm no cluster, siga estas etapas:

  1. Opcional: para editar o número e o tipo de instâncias de computação que o nó de login usa, expanda a seção Nó de login e siga as instruções para atualizar os recursos de computação.

  2. Opcional: para editar as partições do cluster e organizar os recursos de computação, expanda a seção Partições e faça o seguinte:

    • Para adicionar uma partição, clique em Adicionar partição e faça o seguinte:

      1. No campo Nome da partição, insira um nome para a partição.

      2. Para editar um conjunto de nós, clique em Alternar conjunto de nós. Caso contrário, para adicionar um nodeset, clique em Adicionar nodeset.

      3. No campo Nome do conjunto de nós, insira um nome para o conjunto de nós.

      4. No campo Configuração de recursos, selecione uma configuração de recursos de computação que você criou nas etapas anteriores.

      5. Na lista Imagem de origem, selecione uma das imagens de SO compatíveis com o AI Hypercomputer.

      6. No campo Contagem de nós estáticos, insira o número mínimo de instâncias de computação que precisam estar sempre em execução no cluster.

      7. No campo Contagem dinâmica de nós, insira um número máximo de instâncias de computação que o Hipercomputador de IA pode aumentar no cluster durante aumentos no tráfego.

      8. Na lista Tipo de disco de inicialização e no campo Tamanho do disco de inicialização, insira o tipo e o tamanho do disco de inicialização que as instâncias de computação vão usar.

      9. Clique em Concluído.

    • Para remover uma partição, clique em Excluir partição.

  3. Opcional: para adicionar scripts de prólogo ou epílogo ao ambiente do Slurm, faça o seguinte:

    1. Abra a seção Configurações avançadas de orquestração.

    2. Na seção Scripts, siga as instruções para adicionar scripts.

  4. Clique em Criar. A página Clusters é exibida. A criação do cluster pode levar algum tempo. O tempo de conclusão depende do número de instâncias de computação solicitadas e da disponibilidade de recursos na zona das instâncias de computação. Se os recursos solicitados não estiverem disponíveis, o Hipercomputador de IA mantém a solicitação de criação até que os recursos fiquem disponíveis. Para conferir o status da operação de criação do cluster, veja os detalhes do cluster.

Conectar-se ao cluster do Slurm

Quando o Hipercomputador de IA cria o nó de login, o estado do cluster muda para Pronto. Em seguida, é possível se conectar ao cluster. No entanto, só é possível executar cargas de trabalho depois que o Hipercomputador de IA criar os nós de computação no cluster.

Para se conectar ao nó de login de um cluster por SSH usando o console doGoogle Cloud , siga estas etapas:

  1. No Google Cloud console, acesse a página Clusters.

    Acessar Clusters

  2. Na tabela Clusters, na coluna Nome, clique no nome do cluster que você criou na seção anterior. Uma página com os detalhes do cluster vai aparecer, e a guia Detalhes será selecionada.

  3. Clique na guia Nós.

  4. Na seção Nós de login, na coluna Conectar, localize o nó de login do cluster, que se chama CLUSTER_NAME-login-001.

  5. Na coluna Conectar no nó do login, clique no botão SSH. A janela SSH no navegador será aberta.

  6. Se for solicitado, clique em Autorizar. A conexão com o nó pode levar até um minuto para ser concluída.

Verificar a integridade do cluster do Slurm

Antes de executar um job em um nó de computação, o Slurm executa automaticamente uma verificação rápida de integridade da GPU no nó. Se o nó falhar na verificação, o Slurm vai drenar o nó e impedir a programação de novos jobs nele.

Para testar melhor a integridade da GPU e a largura de banda da rede nos nós de computação em uma partição de cluster, execute manualmente os testes da NVIDIA Collective Communications Library (NCCL). Se um teste do NCCL identificar nós não íntegros, será possível repará-los ou modificar o cluster. Os testes do NCCL ajudam a verificar a integridade de um cluster antes de executar cargas de trabalho críticas. Para mais informações, consulte Verificar a integridade do cluster.

Excluir o cluster do Slurm

Para excluir um cluster do Slurm no projeto, selecione uma das seguintes opções:

  1. No Google Cloud console, acesse a página Clusters.

    Acessar Clusters

  2. Na tabela Clusters, na coluna Nome, clique no nome do cluster que você quer excluir. Uma página com os detalhes do cluster vai aparecer, e a guia Detalhes será selecionada.

  3. Clique em Excluir.

  4. Na caixa de diálogo que aparece, insira o nome do cluster e clique em Excluir para confirmar. A página Clusters é exibida. A exclusão do cluster pode levar algum tempo.

A seguir