Crea un cluster Slurm completamente gestito per i carichi di lavoro di AI

Questo documento spiega come configurare ed eseguire il deployment di un cluster Slurm completamente gestito utilizzando Cluster Director con i tipi di macchine A4X, A4, A3 Ultra o A3 Mega. Per saperne di più su questi tipi di macchine ottimizzate per l'acceleratore, consulta Informazioni sugli acceleratori GPU.

Cluster Director è un prodotto Google Cloud che automatizza la configurazione dei cluster Slurm. Questo prodotto è progettato per gli amministratori IT e i ricercatori di AI che vogliono evitare l'overhead della gestione di un cluster e concentrarsi sull'esecuzione dei propri workload. Se vuoi avere un maggiore controllo sul deployment del cluster, crea il cluster utilizzando Cluster Toolkit.

Limitazioni

A seconda del tipo di macchina utilizzato dalle istanze Compute Engine nel tuo cluster, si applicano le seguenti limitazioni:

A4X

A4

  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A4.
  • Puoi utilizzare un tipo di macchina A4 solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona). Puoi utilizzare solo Google Cloud Hyperdisk.
  • Il tipo di macchina A4 è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Non puoi modificare il tipo di macchina di un'istanza in un tipo di macchina A4 o viceversa. Devi creare una nuova istanza con questo tipo di macchina.
  • I tipi di macchine A4 non supportano la modalità single-tenancy.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A4.
  • Per le istanze A4, quando utilizzi ethtool -S per monitorare il networking delle GPU, i contatori delle porte fisiche che terminano con _phy non vengono aggiornati. Questo è il comportamento previsto per le istanze che utilizzano l'architettura Virtual Function (VF) MRDMA. Per saperne di più, consulta Funzioni MRDMA e strumenti di monitoraggio della rete.
  • Non puoi collegare dischi Hyperdisk ML creati prima del 4 febbraio 2026 ai tipi di macchina A4.

A3 Ultra

  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A3 Ultra.
  • Puoi utilizzare un tipo di macchina A3 Ultra solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona). Puoi utilizzare solo Google Cloud Hyperdisk.
  • Il tipo di macchina A3 Ultra è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Le modifiche al tipo di macchina non sono supportate per il tipo di macchina A3 Ultra. Per passare a questo tipo di macchina o viceversa, devi creare una nuova istanza.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A3 Ultra.
  • I tipi di macchine A3 Ultra non supportano la modalità single-tenancy.
  • Per le istanze A3 Ultra, quando utilizzi ethtool -S per monitorare il networking GPU, i contatori delle porte fisiche che terminano con _phy non vengono aggiornati. Questo è il comportamento previsto per le istanze che utilizzano l'architettura della funzione virtuale (VF) MRDMA. Per saperne di più, consulta Funzioni MRDMA e strumenti di monitoraggio della rete.

A3 Mega

Prima di iniziare

Prima di creare un cluster Slurm, se non l'hai ancora fatto, completa i seguenti passaggi:

  1. Scegli un'opzione di consumo: la scelta dell'opzione di consumo determina il modo in cui ottieni e utilizzi le risorse GPU. Per saperne di più, consulta Scegli un'opzione di consumo.
  2. Ottenere capacità: il processo per ottenere capacità varia in base a ciascuna opzione di consumo. Per scoprire la procedura per ottenere la capacità per l'opzione di consumo scelta, consulta la panoramica della capacità.
  3. Verifica di disporre di una quota di capacità Filestore sufficiente: devi disporre di una quota Filestore sufficiente nella regione di destinazione prima di eseguire il deployment. Per i tipi di macchine A4X, A4, A3 Ultra e A3 Mega, è necessaria una capacità minima di 10 TiB (10.240 GiB) di HIGH_SCALE_SSD (a livello di zona).

    Per controllare la quota o richiedere un aumento della quota, consulta quanto segue:

  4. Verifica la policy per immagini attendibili: se l'organizzazione in cui esiste il tuo progetto ha una criteri per l'utilizzo di immagini attendibili (constraints/compute.trustedImageProjects), verifica che il progetto clusterdirector-public-images sia incluso nell'elenco dei progetti consentiti. Per saperne di più, consulta Configura le policy per immagini attendibili.

Ruoli obbligatori

Per creare un cluster Slurm, devi disporre dei seguenti ruoli e autorizzazioni IAM:

Crea un cluster Slurm

Per creare un cluster ottimizzato per l'AI utilizzando Cluster Director, completa i seguenti passaggi:

  1. Configura le configurazioni delle risorse di computing

  2. Configura la rete

  3. Configura le risorse di archiviazione

  4. Configura l'ambiente Slurm

Configura le configurazioni delle risorse di computing

Per configurare le risorse di computing durante la creazione di un cluster, completa i seguenti passaggi:

  1. Nella console Google Cloud , vai alla pagina Cluster Director.

    Vai a Cluster Director

  2. Fai clic su Crea cluster.

  3. Nella finestra di dialogo visualizzata, fai clic su Architettura di riferimento. Viene visualizzata la pagina Crea un cluster.

  4. Fai clic su uno dei modelli disponibili. Se vuoi, puoi modificare il template per adattarlo alle esigenze del tuo workload.

  5. Fai clic su Personalizza.

  6. Nella sezione Compute, nel campo Nome del cluster, inserisci un nome per il cluster. Il nome può contenere fino a 10 caratteri e può utilizzare solo numeri o lettere minuscole (a-z).

  7. Per aggiungere informazioni alla configurazione delle risorse di computing preconfigurata o per modificare il numero e il tipo di istanze di computing specificate dalle configurazioni, segui questi passaggi:

    1. Nella sezione Computing, fai clic su Modifica configurazione risorsa. Viene visualizzato il riquadro Aggiungi configurazione delle risorse.

    2. (Facoltativo) Per modificare il nome della configurazione delle risorse di computing, inserisci un nuovo nome nel campo Nome.

    3. (Facoltativo) Per modificare il numero e il tipo di istanze di computing utilizzate dal cluster, nella sezione Configurazione macchina, segui i prompt per aggiornare le risorse di computing.

    4. Nella sezione Opzioni di consumo, specifica l'opzione di consumo che vuoi utilizzare per ottenere le risorse:

      • Per creare istanze di computing utilizzando una prenotazione, segui questi passaggi:

        1. Fai clic sulla scheda Utilizza prenotazione.

        2. Fai clic su Seleziona prenotazione. Viene visualizzato il riquadro Scegli una prenotazione. Se vuoi utilizzare una prenotazione di VM A4X, puoi facoltativamente scegliere il blocco o il blocco secondario per controllare il posizionamento delle VM.

        3. Seleziona la prenotazione che vuoi utilizzare. Poi, fai clic su Scegli. Questa azione imposta automaticamente la Regione e la Zona delle risorse di computing.

      • Per creare VM con avvio flessibile, segui questi passaggi:

        1. Fai clic sulla scheda Inizio flessibile.

        2. Nella sezione Limite di tempo per la VM, specifica la durata dell'esecuzione delle istanze di computing. Il valore deve essere compreso tra 10 minuti e 7 giorni.

        3. Nella sezione Località, seleziona la regione in cui vuoi creare Flex-start VM. La consoleGoogle Cloud filtra automaticamente le regioni disponibili per mostrare solo quelle che supportano le VM Flex-start per il tipo di macchina selezionato.

      • Per creare VM spot, segui questi passaggi:

        1. Fai clic sulla scheda Usa spot.

        2. Nell'elenco Alla terminazione della VM, seleziona una delle seguenti opzioni:

          • Per eliminare le VM spot in caso di prerilascio, seleziona Elimina.

          • Per arrestare le VM spot in caso di prerilascio, seleziona Arresta.

        3. Nella sezione Località, seleziona la Regione e la Zona in cui vuoi creare le VM spot. La consoleGoogle Cloud filtra automaticamente le regioni disponibili per mostrare solo quelle che supportano le VM spot per il tipo di macchina selezionato.

    5. Fai clic su Fine.

    6. (Facoltativo) Per creare configurazioni di risorse di computing aggiuntive per una partizione, fai clic su Aggiungi configurazione risorsa, quindi segui i prompt per specificare le risorse di computing.

  8. Fai clic su Continua.

Configura la rete

Per configurare la rete utilizzata dal cluster, completa i seguenti passaggi:

  1. Nella sezione Scegli una rete Virtual Private Cloud (VPC), esegui una delle seguenti operazioni:

    • Consigliato: per consentire ad AI Hypercomputer di creare automaticamente una rete VPC preconfigurata per il tuo cluster, segui questi passaggi:

      1. Seleziona Crea una nuova rete VPC.

      2. Nel campo Nome rete, inserisci un nome per la rete VPC.

    • Per utilizzare una rete VPC o VPC condiviso esistente, segui questi passaggi:

      1. Seleziona Utilizza una rete VPC nel progetto attuale o Utilizza una rete VPC condiviso ospitata in un altro progetto.

      2. Nell'elenco Seleziona rete VPC o Rete VPC condivisa, seleziona una rete VPC o VPC condiviso che soddisfi le configurazioni richieste.

      3. Nell'elenco Seleziona subnet, seleziona una subnet esistente.

  2. Fai clic su Continua.

Configura le risorse di archiviazione

Quando crei un cluster da un template di Cluster Director, Cluster Director configura automaticamente un'istanza Filestore o Managed Lustre come risorsa di archiviazione per il cluster.

Per aggiungere o modificare facoltativamente le risorse di archiviazione utilizzate dal cluster, completa i seguenti passaggi nella sezione Archiviazione. Per saperne di più sui servizi di archiviazione che puoi configurare, consulta Servizi di archiviazione supportati per Cluster Director.

  1. (Facoltativo) Per modificare una risorsa di archiviazione, fai clic su Modifica piano di archiviazione, quindi segui le istruzioni per aggiornare la configurazione della risorsa di archiviazione.

  2. (Facoltativo) Per aggiungere risorse di archiviazione al cluster, fai clic su Aggiungi configurazione dell'archiviazione, quindi segui i prompt per specificare la configurazione per le risorse di archiviazione.

    Per visualizzare i servizi di archiviazione disponibili che puoi configurare, consulta Servizi di archiviazione supportati per Cluster Director.

  3. Fai clic su Continua.

Configura l'ambiente Slurm

Per configurare l'ambiente Slurm nel tuo cluster, completa i seguenti passaggi:

  1. (Facoltativo) Per modificare il numero e il tipo di istanze di computing utilizzate dal nodo di accesso, espandi la sezione Nodo di accesso, quindi segui i prompt per aggiornare le risorse di computing.

  2. (Facoltativo) Per modificare le partizioni del cluster in modo da organizzare le risorse di computing, espandi la sezione Partizioni e poi esegui una delle seguenti operazioni:

    • Per aggiungere una partizione, fai clic su Aggiungi partizione, quindi segui questi passaggi:

      1. Nel campo Nome partizione, inserisci un nome per la partizione.

      2. Per modificare un set di nodi, fai clic su Attiva/disattiva set di nodi. In caso contrario, per aggiungere un set di nodi, fai clic su Aggiungi set di nodi.

      3. Nel campo Nome set di nodi, inserisci un nome per il set di nodi.

      4. Nel campo Configurazione risorsa, seleziona una configurazione delle risorse di computing che hai creato nei passaggi precedenti.

      5. Nell'elenco Immagine di origine, seleziona una delle immagini sistema operativo supportate per AI Hypercomputer.

      6. Nel campo Numero di nodi statici, inserisci il numero minimo di istanze di computing che devono essere sempre in esecuzione nel cluster.

      7. Nel campo Numero di nodi dinamici, inserisci un numero massimo di istanze di computing di cui AI Hypercomputer può aumentare il cluster durante gli aumenti del traffico.

      8. Nell'elenco Tipo di disco di avvio e nel campo Dimensione disco di avvio, inserisci il tipo e la dimensione del disco di avvio che le istanze di computing devono utilizzare.

      9. Fai clic su Fine.

    • Per rimuovere una partizione, fai clic su Elimina partizione.

  3. (Facoltativo) Per aggiungere script di prologo o epilogo al tuo ambiente Slurm, segui questi passaggi:

    1. Espandi la sezione Impostazioni di orchestrazione avanzate.

    2. Nella sezione Script, segui le istruzioni per aggiungere gli script.

  4. Fai clic su Crea. Viene visualizzata la pagina Cluster. La creazione del cluster potrebbe richiedere un po' di tempo. Il tempo di completamento dipende dal numero di istanze di computing richieste e dalla disponibilità delle risorse nella zona delle istanze di computing. Se le risorse richieste non sono disponibili, AI Hypercomputer mantiene attiva la richiesta di creazione fino a quando non diventano disponibili. Per visualizzare lo stato dell'operazione di creazione del cluster, visualizza i dettagli del cluster.

Connettiti al cluster Slurm

Quando AI Hypercomputer crea il nodo di accesso, lo stato del cluster diventa Pronto. Puoi quindi connetterti al cluster, ma puoi eseguire i workload solo dopo che AI Hypercomputer ha creato i nodi di computing nel cluster.

Per connetterti al nodo di accesso di un cluster tramite SSH utilizzando la consoleGoogle Cloud , completa i seguenti passaggi:

  1. Nella console Google Cloud , vai alla pagina Cluster.

    Vai a Cluster

  2. Nella tabella Cluster, nella colonna Nome, fai clic sul nome del cluster che hai creato nella sezione precedente. Viene visualizzata una pagina con i dettagli del cluster, con la scheda Dettagli selezionata.

  3. Fai clic sulla scheda Nodi.

  4. Nella sezione Nodi di accesso, nella colonna Connetti, individua il nodo di accesso del cluster, il cui nome è CLUSTER_NAME-login-001.

  5. Nella colonna Connetti all'interno del nodo di accesso, fai clic sul pulsante SSH. Si apre la finestra SSH nel browser.

  6. Se richiesto, fai clic su Autorizza. La connessione al nodo può richiedere fino a un minuto.

Verifica l'integrità del cluster Slurm

Prima di eseguire un job su un nodo di computing, Slurm esegue automaticamente un rapido controllo di integrità della GPU sul nodo. Se il nodo non supera il controllo, Slurm lo svuota e impedisce la pianificazione di nuovi job.

Per testare in modo più approfondito l'integrità della GPU e la larghezza di banda della rete tra i nodi di computing in una partizione del cluster, puoi eseguire manualmente i test della NVIDIA Collective Communications Library (NCCL). Se un test NCCL identifica nodi non integri, puoi ripararli o modificare il cluster. I test NCCL ti aiutano a verificare l'integrità di un cluster prima di eseguire workload critici. Per saperne di più, consulta Verifica l'integrità del cluster.

Elimina il cluster Slurm

Per eliminare un cluster Slurm nel tuo progetto, seleziona una delle seguenti opzioni:

  1. Nella console Google Cloud , vai alla pagina Cluster.

    Vai a Cluster

  2. Nella tabella Cluster, nella colonna Nome, fai clic sul nome del cluster che vuoi eliminare. Viene visualizzata una pagina con i dettagli del cluster, con la scheda Dettagli selezionata.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo visualizzata, inserisci il nome del cluster e fai clic su Elimina per confermare. Viene visualizzata la pagina Cluster. L'eliminazione del cluster potrebbe richiedere del tempo.

Passaggi successivi