Para crear la infraestructura de aplicaciones con acoplamiento alto que escalan en varios nodos, puedes crear un clúster de instancias de máquina virtual (VM). En esta guía, se proporciona una descripción general de alto nivel de las consideraciones y los pasos clave para configurar un clúster de instancias de máquina virtual (VM) para cargas de trabajo de computación de alto rendimiento (HPC) con asignación de recursos densa.
Con H4D, Compute Engine agrega compatibilidad para ejecutar cargas de trabajo de HPC masivas, ya que trata un clúster completo de instancias de VM como una sola computadora. El uso de la ubicación de VMs con reconocimiento de topología te permite acceder a muchas instancias dentro de un solo superbloque de red y minimiza la latencia de red. También puedes configurar Cloud RDMA en estas instancias para maximizar el rendimiento de la comunicación entre nodos, lo que es fundamental para las cargas de trabajo de HPC con acoplamiento alto.
Para crear estos clústeres de VMs de HPC con H4D, reserva bloques de capacidad en lugar de recursos individuales. El uso de bloques de capacidad para tu clúster habilita las capacidades mejoradas de administración de clústeres.
Los clústeres de HPC con instancias H4D se pueden crear con o sin capacidades mejoradas de administración de clústeres. Si no necesitas funciones mejoradas de administración de clústeres con tu clúster de HPC de H4D o si quieres crear clústeres de HPC con una serie de máquinas que no sea H4D, usa las siguientes instrucciones para crear instancias o clústeres de HPC:
Terminología de clústeres
Cuando trabajas con bloques de capacidad, se usan los siguientes términos:
Descripción general del proceso de creación de clústeres con VMs H4D
Para crear clústeres de HPC después de reservar bloques de capacidad, debes completar los siguientes pasos:
- Revisa los modelos de aprovisionamiento disponibles
- Elige una opción de consumo y obtén capacidad
- Elige una opción de implementación y un organizador
- Elige el sistema operativo o la imagen de clúster
- Crea tu clúster
Modelos de aprovisionamiento para la creación de VM y clústeres
Cuando creas instancias de VM, puedes usar los modelos de aprovisionamiento que se describen en Modelos de aprovisionamiento de instancias de Compute Engine.
Para crear instancias H4D con acoplamiento alto, debes usar uno de los siguientes modelos de aprovisionamiento para obtener los recursos necesarios para crear instancias de procesamiento:
Vinculados a reservas: Puedes reservar recursos a un precio con descuento para una fecha y duración futuras. Al comienzo del período de reserva, puedes usar los recursos reservados para crear VMs o clústeres. Tienes acceso exclusivo a los recursos reservados durante el período de reserva.
Inicio flexible: Puedes solicitar recursos con descuento por hasta siete días. Compute Engine hace todo lo posible para programar el aprovisionamiento de los recursos solicitados en cuanto estén disponibles. Tienes acceso exclusivo a los recursos obtenidos durante el período solicitado.
Spot: Según la disponibilidad, puedes obtener recursos con grandes descuentos de inmediato. Sin embargo, Compute Engine podría detener o borrar las instancias de VM en cualquier momento para recuperar capacidad.
Modelo de aprovisionamiento vinculado a la reserva
El modelo de aprovisionamiento vinculado a la reserva vincula las instancias de VM que creaste con la capacidad que reservaste con anterioridad. Cuando reservas capacidad, Compute Engine crea una reserva vacía. Luego, en la hora de inicio de la reserva, ocurre lo siguiente:
Compute Engine agrega tus recursos reservados a la reserva. Tienes acceso exclusivo a la capacidad reservada hasta la hora de finalización de la reserva.
Google Cloud te cobra por la capacidad reservada hasta el final del período de reserva, sin importar si usas la capacidad o no.
Luego, puedes usar los recursos reservados para crear VMs sin cargos adicionales. Solo pagas por los recursos que no se incluyen en la reserva, como los discos o las direcciones IP.
Puedes reservar recursos para tantas VMs como quieras y durante el tiempo que quieras para una fecha futura. Luego, puedes usar los recursos reservados para crear y ejecutar VMs hasta el final del período de reserva. Si reservas recursos por un año o más, debes comprar y adjuntar un compromiso basado en recursos.
Para aprovisionar recursos con el modelo de aprovisionamiento vinculado a la reserva, consulta los siguientes vínculos:
Para cargas de trabajo distribuidas a gran escala y de larga duración con recursos asignados de forma densa: Reserva capacidad a través de tu equipo de cuentas
Para cargas de trabajo distribuidas de corta duración (hasta 90 días) con recursos asignados de forma densa: Solicitudes de reserva futuras en el modo de calendario
Puedes usar el aprovisionamiento vinculado a la reserva con instancias H4D especificando el modelo de aprovisionamiento vinculado a la reserva cuando creas VMs individuales, un clúster de HPC o un grupo de VMs.
Modelo de aprovisionamiento de inicio flexible
Para ejecutar cargas de trabajo de corta duración que requieren recursos asignados de forma densa, puedes solicitar recursos de procesamiento por hasta siete días con el inicio flexible. Cuando haya recursos disponibles, Compute Engine creará la cantidad de VMs que solicitaste. Puedes detener las VMs de inicio flexible independientes, pero no puedes detener las VMs de inicio flexible que crea un grupo de instancias administrado (MIG) a través de solicitudes de cambio de tamaño. Las VMs de inicio flexible existen hasta que las borras o hasta que Compute Engine las borra al final de su duración de ejecución.
El inicio flexible es ideal para las cargas de trabajo que pueden comenzar en cualquier momento. El modelo de aprovisionamiento de inicio flexible aprovisiona recursos de un grupo de capacidad seguro, por lo que los recursos asignados se asignan de forma densa para minimizar la latencia de red.
Cuando agregas VMs de inicio flexible a un grupo de instancias administrado (MIG) con solicitudes de cambio de tamaño, el MIG crea las VMs todas a la vez. Este enfoque te ayuda a evitar cargos innecesarios por la capacidad parcial que Compute Engine podría entregar mientras esperas la capacidad completa necesaria para iniciar tu carga de trabajo.
Puedes usar el aprovisionamiento de inicio flexible con instancias H4D, con cualquier modelo de implementación disponible.
Modelo de aprovisionamiento Spot
Para ejecutar cargas de trabajo tolerantes a errores, puedes obtener recursos de procesamiento de inmediato en función de la disponibilidad. Obtienes recursos al precio más bajo posible. Sin embargo, Compute Engine podría detener o borrar las VMs Spot creadas en cualquier momento para recuperar capacidad. Este proceso se denomina interrupción.
Las VMs Spot son ideales para cargas de trabajo en las que se aceptan interrupciones, como las siguientes:
- Procesamiento por lotes
- Computación de alto rendimiento (HPC)
- Análisis de datos
- Integración continua e implementación continua (CI/CD)
- Codificación de contenido multimedia
Puedes usar VMs Spot con cualquier tipo de máquina, excepto los tipos de máquinas A4X, X4 y bare metal. La asignación densa depende de la disponibilidad de recursos. Para garantizar una asignación más cercana, puedes aplicar una política de posición compacta a las VMs Spot.
Puedes usar las VMs Spot con las siguientes opciones de implementación densa:
- Crea un clúster de HPC de Slurm con H4D
- Crea instancias optimizadas para HPC de forma masiva con H4D
- Crea un MIG de HPC con la serie de máquinas H4D
Elige una opción de consumo y obtén capacidad
Las opciones de consumo determinan cómo se obtienen los recursos para tu clúster. Para crear un clúster que use capacidades mejoradas de administración de clústeres, debes solicitar bloques de capacidad para una implementación densa.
En la siguiente tabla, se resumen las diferencias clave entre las opciones de consumo para los bloques de capacidad:
| Opción de consumo | Reservas futuras de más de 90 días (para bloques de capacidad) | Reservas futuras de hasta 90 días (en modo de calendario) | Inicio flexible | Spot |
|---|---|---|---|---|
| Características de la carga de trabajo | Cargas de trabajo distribuidas a gran escala y de larga duración que requieren la asignación de una gran cantidad de recursos | Cargas de trabajo de corta duración que requieren la asignación de una gran cantidad de recursos | Cargas de trabajo de corta duración que requieren la asignación de una gran cantidad de recursos | Cargas de trabajo tolerantes a errores |
| Vida útil | En cualquier momento | Hasta 90 días | Hasta 7 días | En cualquier momento, pero sujeto a interrupción |
| Interrumpible | No | No | No | Sí |
| Garantía de capacidad | Muy alta | Muy alta | Mejor esfuerzo | Mejor esfuerzo |
| Cuota | Verifica que tengas suficiente cuota antes de crear instancias. | Se consume la cuota de CPU. | Se consume la cuota interrumpible. | Se consume la cuota interrumpible. |
| Precios |
|
|
|
|
| Asignación de recursos | Dense | Dense | Dense | Estándar (política de posición compacta opcional) |
| Modelo de aprovisionamiento | Con reserva | Con reserva | Inicio flexible | Spot |
| Método de creación | Para crear clústeres y VMs de HPC, debes hacer lo siguiente:
|
Para crear clústeres y VMs de HPC, debes hacer lo siguiente:
|
Para crear VMs, selecciona una de las siguientes opciones:
Cuando la capacidad solicitada esté disponible, Compute Engine la aprovisionará. |
Puedes crear VMs inmediatamente. Consulta Elige una opción de implementación. |
Elige una opción de implementación
Las cargas de trabajo de computación de alto rendimiento (HPC) agregan recursos de procesamiento para obtener un rendimiento mayor que el de solo una estación de trabajo, un servidor o una computadora. La HPC se usa para resolver problemas en la investigación académica, la ciencia, el diseño, la inteligencia empresarial y la simulación.
Para los clústeres de HPC con capacidades mejoradas de administración de clústeres, elige la serie de máquinas H4D. Si planeas usar una serie de máquinas diferente, sigue la documentación en Crea una instancia de VM lista para HPC en lugar de usar los métodos de implementación que se indican en esta página.
Algunas de las opciones de implementación disponibles incluyen la instalación y configuración de un orquestador para mejorar la administración del clúster de HPC.
Para elegir la opción más adecuada para crear tus VMs o clústeres según tu caso de uso, elige una de las siguientes opciones:
| Opción | Caso de uso |
|---|---|
| Cluster Director (versión preliminar) | Quieres un servicio de administración de clústeres y de implementación de Slurm completamente administrado que aprovisione y organice instancias de procesamiento H4D, redes de RDMA de Cloud y almacenamiento compartido (Filestore o Google Cloud Managed Lustre). Para obtener más información, consulta la descripción general de Cluster Director. |
| Cluster Toolkit | Quieres usar software de código abierto que simplifique el proceso para implementar clústeres de Slurm y Google Kubernetes Engine (GKE). Cluster Toolkit está diseñado para ser altamente personalizable y extensible. Para obtener más información, consulta lo siguiente: |
| GKE | Quieres la máxima flexibilidad para configurar tu clúster de Google Kubernetes Engine en función de las necesidades de tu carga de trabajo. Para obtener más información, consulta Ejecuta cargas de trabajo de HPC con H4D. |
| Usa Compute Engine | Quieres tener el control total de la capa de infraestructura para poder configurar tu propio organizador. Para obtener más información, consulta lo siguiente:
|
Elige la imagen del sistema operativo
La imagen del sistema operativo (SO) que elijas dependerá del servicio que uses para implementar tu clúster.
Para clústeres en GKE: Usa una imagen de nodo de GKE, como Container-Optimized OS. Si usas Cluster Toolkit para implementar tu clúster de GKE, se usa una imagen de Container-Optimized OS de forma predeterminada. Para obtener más información sobre las imágenes de nodo, consulta Imágenes de nodo en la documentación de GKE.
Para clústeres en Compute Engine: Puedes usar una de las siguientes imágenes:
- Imagen de VM de HPC: Es una imagen de Rocky Linux 8 optimizada para cargas de trabajo de HPC con acoplamiento alto.
- Imagen de SO proporcionada por Google Cloud: Imágenes de SO que admiten H4D. Deberás configurarlos para tus cargas de trabajo de HPC.
- Imágenes personalizadas: Puedes crear y usar tus propias imágenes personalizadas. Para incluir optimizaciones específicas de HPC, te recomendamos que crees una imagen personalizada con la imagen de VM de HPC.
Para clústeres de Slurm: Cluster Director y Cluster Toolkit implementan clústeres de Slurm con una imagen de VM de HPC basada en Rocky Linux 8 que está optimizada para cargas de trabajo de HPC con acoplamiento alto. Para obtener más información sobre las imágenes de Cluster Director, consulta Imágenes de SO en Cluster Director.
Crea tu clúster de HPC
Después de revisar el proceso de creación del clúster y tomar decisiones preliminares para tu carga de trabajo, crea el clúster con cualquiera de las opciones de implementación.
Funciones mejoradas de administración de clústeres para tu clúster de HPC
Cuando creas instancias H4D con recursos asignados de forma densa con los métodos de implementación mencionados en Elige una opción de implementación, puedes usar funciones mejoradas de administración de clústeres de HPC con tus instancias.
Para obtener más información sobre estas capacidades, consulta Administración mejorada de clústeres de HPC con instancias H4D.
¿Qué sigue?
- Obtén más información sobre Cluster Toolkit.
- Prueba el instructivo de la guía de inicio rápido Implementa un clúster de HPC con Slurm.
- Revisa las prácticas recomendadas para ejecutar cargas de trabajo de HPC.