Crea un clúster de Slurm completamente administrado para cargas de trabajo de IA

En este documento, se explica cómo configurar e implementar un clúster de Slurm completamente administrado con Cluster Director con los tipos de máquinas A4X, A4, A3 Ultra o A3 Mega. Para obtener más información sobre estos tipos de máquinas optimizados para aceleradores, consulta Acerca de los aceleradores de GPU.

Cluster Director es un producto de Google Cloud que automatiza la configuración de los clústeres de Slurm. Este producto está diseñado para administradores de TI y de investigadores de IA que desean evitar la sobrecarga de administrar un clúster y enfocarse en ejecutar sus cargas de trabajo. Si quieres tener más control sobre la implementación del clúster, crea tu clúster con Cluster Toolkit.

Limitaciones

Según el tipo de máquina que usen las instancias de Compute Engine en tu clúster, se aplican las siguientes limitaciones:

A4X

A4

  • No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las instancias que usan un tipo de máquina A4.
  • Solo puedes usar un tipo de máquina A4 en ciertas regiones y zonas.
  • No puedes usar Persistent Disk (regional o zonal). Solo puedes usar Google Cloud Hyperdisk.
  • El tipo de máquina A4 solo está disponible en la plataforma de CPU Emerald Rapids.
  • No puedes cambiar el tipo de máquina de una instancia a un tipo de máquina A4 ni desde uno. Debes crear una instancia nueva con este tipo de máquina.
  • Los tipos de máquinas A4 no admiten usuarios únicos.
  • No puedes ejecutar sistemas operativos Windows en un tipo de máquina A4.
  • En el caso de las instancias A4, cuando usas ethtool -S para supervisar las redes de GPU, los contadores de puertos físicos que terminan en _phy no se actualizan. Este es el comportamiento esperado para las instancias que usan la arquitectura de función virtual (VF) de MRDMA. Para obtener más información, consulta Funciones de MRDMA y herramientas de supervisión de red.
  • No puedes conectar discos de Hyperdisk ML que se hayan creado antes del 4 de febrero de 2026 a tipos de máquinas A4.

A3 Ultra

  • No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las instancias que usan un tipo de máquina A3 Ultra.
  • Solo puedes usar un tipo de máquina A3 Ultra en ciertas regiones y zonas.
  • No puedes usar Persistent Disk (regional o zonal). Solo puedes usar Google Cloud Hyperdisk.
  • El tipo de máquina A3 Ultra solo está disponible en la plataforma de CPU Emerald Rapids.
  • No se admiten cambios de tipo de máquina para el tipo de máquina A3 Ultra. Para cambiar a este tipo de máquina o desde él, debes crear una instancia nueva.
  • No puedes ejecutar sistemas operativos Windows en un tipo de máquina A3 Ultra.
  • Los tipos de máquinas A3 Ultra no admiten usuarios únicos.
  • En el caso de las instancias A3 Ultra, cuando usas ethtool -S para supervisar las redes de GPU, los contadores de puertos físicos que terminan en _phy no se actualizan. Este es el comportamiento esperado para las instancias que usan la arquitectura de función virtual (VF) de MRDMA. Para obtener más información, consulta Funciones de MRDMA y herramientas de supervisión de red.

A3 Mega

Antes de comenzar

Antes de crear un clúster de Slurm, si aún no lo hiciste, completa los siguientes pasos:

  1. Elige una opción de consumo: la opción de consumo que elijas determina cómo obtienes y usas los recursos de GPU. Para obtener más información, consulta Elige una opción de consumo.
  2. Obtén capacidad: El proceso para obtener capacidad varía según cada opción de consumo. Para obtener información sobre el proceso para obtener capacidad para la opción de consumo que elegiste, consulta Descripción general de la capacidad.
  3. Verifica que tengas suficiente cuota de capacidad de Filestore: debes tener suficiente cuota de Filestore en tu región de destino antes de la implementación. Para los tipos de máquinas A4X, A4, A3 Ultra y A3 Mega, necesitas un mínimo de 10 TiB (10,240 GiB) de capacidad de HIGH_SCALE_SSD (zonal).

    Para verificar la cuota o solicitar un aumento, consulta lo siguiente:

  4. Verifica la política de imágenes confiables: Si la organización en la que existe tu proyecto tiene una política de imágenes confiables (constraints/compute.trustedImageProjects), verifica que el proyecto clusterdirector-public-images esté incluido en la lista de proyectos permitidos. Para obtener más información, consulta Configura políticas de imágenes confiables.

Roles obligatorios

Para crear un clúster de Slurm, necesitas los siguientes roles y permisos de IAM:

Crea un clúster de Slurm

Para crear un clúster optimizado para IA con Cluster Director, completa los siguientes pasos:

  1. Establece parámetros de configuración de recursos de procesamiento

  2. Configura la red

  3. Configura recursos de almacenamiento

  4. Configura el entorno de Slurm

Establece los parámetros de configuración de los recursos de procesamiento

Para establecer la configuración de los recursos de procesamiento cuando creas un clúster, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Cluster Director.

    Ir a Cluster Director

  2. Haz clic en Crear clúster.

  3. En el diálogo que aparece, haz clic en Arquitectura de referencia. Se abrirá la página Crea un clúster.

  4. Haz clic en una de las plantillas disponibles. De manera opcional, puedes editar la plantilla para adaptarla a las necesidades de tu carga de trabajo.

  5. Haz clic en Personalizar.

  6. En la sección Compute, en el campo Nombre del clúster, ingresa un nombre para tu clúster. El nombre puede contener hasta 10 caracteres y solo puede usar números o letras minúsculas (a-z).

  7. Para agregar información a la configuración de recursos de procesamiento preconfigurada o editar la cantidad y el tipo de instancias de procesamiento que especifica la configuración, haz lo siguiente:

    1. En la sección Compute, haz clic en Editar configuración de recursos. Aparecerá el panel Agregar configuración de recursos.

    2. Opcional: Para cambiar el nombre de la configuración del recurso de procesamiento, en el campo Nombre, ingresa un nombre nuevo.

    3. Opcional: Para cambiar la cantidad y el tipo de instancias de procesamiento que usa tu clúster, en la sección Configuración de la máquina, sigue las indicaciones para actualizar los recursos de procesamiento.

    4. En la sección Opciones de consumo, especifica la opción de consumo que deseas usar para obtener recursos:

      • Para crear instancias de procesamiento con una reserva, haz lo siguiente:

        1. Haz clic en la pestaña Usar reserva.

        2. Haz clic en Seleccionar reserva. Aparecerá el panel Elige una reserva. Si deseas usar una reserva de VMs A4X, puedes elegir de forma opcional el bloque o el subbloque para controlar la ubicación de tus VMs.

        3. Selecciona la reserva que quieras usar. Luego, haz clic en Elegir. Esta acción configura automáticamente la Región y la Zona de tus recursos de procesamiento.

      • Para crear VMs de inicio flexible, haz lo siguiente:

        1. Haz clic en la pestaña Flex start.

        2. En la sección Límite de tiempo para la VM, especifica la duración de la ejecución de las instancias de procesamiento. El valor debe ser de entre 10 minutos y 7 días.

        3. En la sección Ubicación, selecciona la región en la que deseas crear las VMs de inicio flexible. La consola deGoogle Cloud filtra automáticamente las regiones disponibles para mostrar solo aquellas que admiten VMs de inicio flexible para el tipo de máquina que seleccionaste.

      • Para crear VMs Spot, haz lo siguiente:

        1. Haz clic en la pestaña Usar Spot.

        2. En la lista Cuando se finaliza la VM, selecciona una de las siguientes opciones:

          • Para borrar las VMs Spot en la interrupción, selecciona Borrar.

          • Para detener las VMs Spot en caso de interrupción, selecciona Detener.

        3. En la sección Ubicación, selecciona la Región y la Zona en las que deseas crear las VMs Spot. La consola deGoogle Cloud filtra automáticamente las regiones disponibles para mostrar solo las que admiten VMs Spot para el tipo de máquina que seleccionaste.

    5. Haz clic en Listo.

    6. Opcional: Para crear parámetros de configuración de recursos de procesamiento adicionales para una partición, haz clic en Agregar configuración de recursos y, luego, sigue las indicaciones para especificar los recursos de procesamiento.

  8. Haz clic en Continuar.

Configura la red

Para configurar la red que usa tu clúster, completa los siguientes pasos:

  1. En la sección Elige una red de nube privada virtual (VPC), realiza una de las siguientes acciones:

    • Recomendado: Para permitir que AI Hypercomputer cree automáticamente una red de VPC preconfigurada para tu clúster, haz lo siguiente:

      1. Selecciona Crear una red de VPC nueva.

      2. En el campo Nombre de la red, ingresa un nombre para la red de VPC.

    • Para usar una red de VPC o VPC compartida existente, haz lo siguiente:

      1. Selecciona Usa una red de VPC en el proyecto actual o Usa una red de VPC compartida alojada en otro proyecto.

      2. En la lista Seleccionar red de VPC o Red de VPC compartida, selecciona una red de VPC o de VPC compartida que cumpla con los parámetros de configuración requeridos.

      3. En la lista Seleccionar subred, elige una subred existente.

  2. Haz clic en Continuar.

Configura recursos de almacenamiento

Cuando creas un clúster a partir de una plantilla de Cluster Director, este configura automáticamente una instancia de Filestore o Managed Lustre como el recurso de almacenamiento para tu clúster.

Para agregar o editar de forma opcional los recursos de almacenamiento que usa tu clúster, en la sección Almacenamiento, completa los siguientes pasos. Para obtener más información sobre los servicios de almacenamiento que puedes configurar, consulta Servicios de almacenamiento compatibles con Cluster Director.

  1. Opcional: Para editar un recurso de almacenamiento, haz clic en Editar plan de almacenamiento y, luego, sigue las indicaciones para actualizar la configuración del recurso de almacenamiento.

  2. Opcional: Para agregar recursos de almacenamiento a tu clúster, haz clic en Agregar configuración de almacenamiento y, luego, sigue las indicaciones para especificar la configuración de los recursos de almacenamiento.

    Para ver los servicios de almacenamiento disponibles que puedes configurar, consulta Servicios de almacenamiento compatibles con Cluster Director.

  3. Haz clic en Continuar.

Configura el entorno de Slurm

Para configurar el entorno de Slurm en tu clúster, completa los siguientes pasos:

  1. Opcional: Para editar la cantidad y el tipo de instancias de procesamiento que usa el nodo de acceso, expande la sección Nodo de acceso y, luego, sigue las indicaciones para actualizar los recursos de procesamiento.

  2. Opcional: Para editar las particiones de tu clúster y organizar tus recursos de procesamiento, expande la sección Particiones y, luego, realiza una de las siguientes acciones:

    • Para agregar una partición, haz clic en Agregar partición y, luego, haz lo siguiente:

      1. En el campo Nombre de la partición, ingresa un nombre para la partición.

      2. Para editar un conjunto de nodos, haz clic en Activar o desactivar el conjunto de nodos. De lo contrario, para agregar un conjunto de nodos, haz clic en Agregar conjunto de nodos.

      3. En el campo Nombre del conjunto de nodos, ingresa un nombre para tu conjunto de nodos.

      4. En el campo Configuración de recursos, selecciona una configuración de recursos de procesamiento que hayas creado en los pasos anteriores.

      5. En la lista Imagen de origen, selecciona una de las imágenes de SO compatibles con AI Hypercomputer.

      6. En el campo Recuento de nodos estáticos, ingresa la cantidad mínima de instancias de procesamiento que siempre deben ejecutarse en el clúster.

      7. En el campo Cantidad de nodos dinámicos, ingresa una cantidad máxima de instancias de procesamiento a las que AI Hypercomputer puede aumentar el clúster durante los aumentos de tráfico.

      8. En la lista Tipo de disco de arranque y en el campo Tamaño del disco de arranque, ingresa el tipo y el tamaño del disco de arranque que usarán las instancias de procesamiento.

      9. Haz clic en Listo.

    • Para quitar una partición, haz clic en Borrar partición.

  3. Opcional: Para agregar secuencias de comandos de prólogo o epílogo a tu entorno de Slurm, haz lo siguiente:

    1. Expande la sección Configuración avanzada de la organización.

    2. En la sección Guiones, sigue las indicaciones para agregar guiones.

  4. Haz clic en Crear. Aparecerá la página Clústeres. La creación del clúster puede tardar un tiempo en completarse. El tiempo de finalización depende de la cantidad de instancias de procesamiento que solicites y de la disponibilidad de recursos en la zona de las instancias de procesamiento. Si los recursos que solicitaste no están disponibles, AI Hypercomputer mantiene la solicitud de creación hasta que los recursos estén disponibles. Para ver el estado de la operación de creación del clúster, consulta los detalles del clúster.

Conéctate al clúster de Slurm

Cuando AI Hypercomputer crea tu nodo de acceso, el estado del clúster cambia a Listo. Luego, puedes conectarte al clúster. Sin embargo, solo puedes ejecutar cargas de trabajo después de que AI Hypercomputer cree los nodos de procesamiento en el clúster.

Para conectarte al nodo de acceso de un clúster a través de SSH con la consola deGoogle Cloud , completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Clústeres.

    Ir a los clústeres

  2. En la tabla Clústeres, en la columna Nombre, haz clic en el nombre del clúster que creaste en la sección anterior. Aparecerá una página con los detalles del clúster y se seleccionará la pestaña Detalles.

  3. Haz clic en la pestaña Nodos.

  4. En la sección Nodos de acceso, en la columna Conectar, busca el nodo de acceso del clúster, cuyo nombre es CLUSTER_NAME-login-001.

  5. En la columna Conectar del nodo de acceso, haz clic en el botón SSH. Se abrirá la ventana SSH en el navegador.

  6. Si se te solicita, haz clic en Autorizar. La conexión al nodo puede tardar hasta un minuto en completarse.

Verifica el estado del clúster de Slurm

Antes de ejecutar un trabajo en un nodo de procesamiento, Slurm ejecuta automáticamente una verificación de estado rápida de la GPU en el nodo. Si el nodo no pasa la verificación, Slurm lo vacía y evita que se programen trabajos nuevos en él.

Para probar de forma más exhaustiva el estado de la GPU y el ancho de banda de la red en los nodos de procesamiento de una partición de clúster, puedes ejecutar de forma manual las pruebas de la biblioteca de comunicaciones colectivas de NVIDIA (NCCL). Si una prueba de NCCL identifica algún nodo en mal estado, puedes repararlo o modificar el clúster. Las pruebas de NCCL te ayudan a verificar el estado de un clúster antes de ejecutar cargas de trabajo críticas. Para obtener más información, consulta Verifica el estado del clúster.

Borra el clúster de Slurm

Para borrar un clúster de Slurm en tu proyecto, elige una de las siguientes opciones:

  1. En la consola de Google Cloud , ve a la página Clústeres.

    Ir a los clústeres

  2. En la tabla Clústeres, en la columna Nombre, haz clic en el nombre del clúster que deseas borrar. Aparecerá una página con los detalles del clúster y se seleccionará la pestaña Detalles.

  3. Haz clic en Borrar.

  4. En el cuadro de diálogo que aparece, ingresa el nombre de tu clúster y, luego, haz clic en Borrar para confirmar. Aparecerá la página Clústeres. La eliminación del clúster puede tardar en completarse.

¿Qué sigue?