AI Hypercomputer tiene varias opciones de consumo para adquirir recursos de procesamiento. Estas opciones abordan necesidades como la duración de la carga de trabajo, la tolerancia a errores y el modelo de infraestructura. Obtén más información sobre estas opciones y elige la mejor para tu caso de uso.
Como alternativa a la evaluación manual, puedes pedirle a Gemini en la consola deGoogle Cloud que compare las opciones de consumo para tu carga de trabajo y presupuesto. Para obtener más información, consulta Diseña una infraestructura de IA con Compute Advisor.
Descripción general de las opciones de consumo
Para comparar las opciones de consumo en función de las características clave, usa la siguiente tabla:
| Opción de consumo | Modelo de aprovisionamiento | Ideal para | Garantía de capacidad | Vida útil | Interrumpible | Cuota | Descuentos | Modelo de asignación |
|---|---|---|---|---|---|---|---|---|
| Inicio flexible | Inicio flexible | Cargas de trabajo de corta duración (hasta siete días) que pueden esperar a que haya capacidad disponible | Mejor esfuerzo. | Hasta siete días | No | Cuota interrumpible | Descuento (hasta un 53%) en las series compatibles | Denso para las solicitudes de cambio de tamaño de MIG; mejor esfuerzo para las VMs independientes. |
| VMs Spot | Spot | Cargas de trabajo de GPU generales, tolerantes a errores y de corta duración. | Mejor esfuerzo. | Interrumpible | Sí | Cuota interrumpible | Grandes descuentos (hasta un 91%) | Estándar |
| Reservas estándar | Estándar | Cargas de trabajo de GPU generales y esenciales que requieren un nivel muy alto de garantía de capacidad. | Muy alta | Ilimitado | No | No se consumió cuota | Tarifas con descuento con descuentos por compromiso de uso (CUD) | Estándar |
| Reservas futuras para bloques de capacidad | Con reserva | Entrenamiento a gran escala y de larga duración en GPU agrupadas. | Muy alta | Ilimitado dentro del período de reserva. | No | La cuota se aumenta antes de la entrega | Descuento (hasta un 53%) con CUD | Dense |
| Reservas futuras en modo calendario | Con reserva | cargas de trabajo de GPU agrupadas de hasta 90 días que requieren capacidad reservada. | Muy alta | Hasta 90 días | No | No se consumió cuota | Con descuento (hasta un 53%) | Dense |
| VM según demanda | Estándar | cargas de trabajo de GPU generales sin una duración específica. | Mejor esfuerzo. | Ilimitado | No | Cuota a pedido | Ninguno (pago por uso) | Estándar |
La opción de consumo que usas para implementar tu infraestructura depende de si usas GPU generales o GPU agrupadas.
GPU general: Diseñada para cargas de trabajo de inferencia, desarrollo y entrenamiento a menor escala. Este tipo de GPU ofrece flexibilidad operativa a través del mantenimiento asíncrono. Para ver las opciones disponibles, consulta Opciones de consumo para GPU generales.
GPU agrupadas: Diseñadas para cargas de trabajo de entrenamiento con acoplamiento alto y a gran escala, y cargas de trabajo de modelos de inferencia, RL y modelos de razonamiento a gran escala que requieren una alta garantía de capacidad y una asignación densa de recursos para minimizar la latencia de la red. Para ver las opciones disponibles, consulta Opciones de consumo para GPU agrupadas.
Opciones de consumo para las GPU generales
Usa las siguientes opciones de consumo para adquirir capacidad para la GPU general.
Usar el inicio flexible
Para ejecutar cargas de trabajo de corta duración que requieren recursos asignados de forma densa, puedes solicitar recursos de procesamiento durante un máximo de siete días con el inicio flexible. Cuando los recursos están disponibles, Compute Engine crea la cantidad de VMs que solicitaste. Puedes detener las VMs de inicio flexible independientes, pero no las que crea un grupo de instancias administrado (MIG) a través de solicitudes de cambio de tamaño. Las VMs de inicio flexible existen hasta que las borras o hasta que Compute Engine las borra al final de su duración de ejecución.
Cargas de trabajo ideales
- Entrenamiento previo de modelos pequeños
- Ajuste de modelos
- Simulación de computación de alto rendimiento (HPC)
- Inferencia por lotes
Características clave
- Modelo de aprovisionamiento: Inicio flexible.
- Amplia compatibilidad con hardware: Solicita cualquier tipo de máquina con GPU agrupadas, excepto A5X, A4X Max y A4X.
- Optimización de la latencia: Aplica una política de posición compacta a las VMs independientes para minimizar la latencia de red.
- Eficiencia de costos: Recibe un descuento de hasta un 53% en CPU virtuales, memoria, GPUs y discos SSD locales para las series de máquinas A4, A3, A2 y G4. Se aplican tarifas estándar a pedido a otras series compatibles. Para obtener más información, consulta Precios de inicio flexible.
Usar Spot
Para ejecutar cargas de trabajo tolerantes a errores, puedes obtener recursos de procesamiento de inmediato según la disponibilidad. Obtienes recursos al precio más bajo posible. Sin embargo, Compute Engine puede interrumpir las VMs en cualquier momento para recuperar capacidad.
Cargas de trabajo ideales
- Procesamiento por lotes y análisis de datos
- Computación de alto rendimiento (HPC) y codificación de contenido multimedia
Características clave
- Modelo de aprovisionamiento: Spot.
- Amplia compatibilidad con hardware: Solicita cualquier tipo de máquina con GPU agrupadas, excepto A5X, A4X Max y A4X.
- Optimización de la latencia: Aplica una política de posición compacta a las VMs independientes para minimizar la latencia de red.
- Rentabilidad: Recibe un descuento de hasta un 91% en CPU virtuales, memoria, GPU y discos SSD locales.
Usar a pedido
Sugerencia: Para aumentar tus posibilidades de obtener capacidad de GPU general, usa Inicio flexible o Spot. Estas opciones de consumo ofrecen GPUs a un precio con descuento en comparación con los precios según demanda y se diseñaron para ayudarte a aumentar tus posibilidades de obtener recursos de alta demanda, como las GPUs.
Para ejecutar cargas de trabajo sin una duración específica, puedes obtener recursos de procesamiento de inmediato según la disponibilidad. Las VMs se ejecutan hasta que las detienes o las borras.
Cargas de trabajo ideales
- Inferencia y entrega de modelos
- Prototipado y experimentación
Características clave
- Modelo de aprovisionamiento: Estándar.
- Disponibilidad inmediata: Crea instancias de VM de inmediato sin esperar la programación o aprobación de la capacidad.
- Precios estándar: Paga por los recursos según las tarifas estándar on demand sin compromisos a largo plazo.
- Amplia compatibilidad con hardware: Se usa con cualquier serie de máquinas de GPU compatible en la ruta de GPU general.
Usa reservas estándar
Para ejecutar cargas de trabajo de GPU generales y fundamentales que requieren un nivel muy alto de garantía de capacidad, puedes usar reservas estándar.
Cargas de trabajo ideales
- Cargas de trabajo de producción esenciales
- Cargas de trabajo que requieren capacidad garantizada
Características clave
- Modelo de aprovisionamiento: Estándar.
- Garantía de capacidad: Proporciona una garantía muy alta de que los recursos están disponibles.
- Precios: Se aplican tarifas estándar, pero puedes adjuntar CUD para ahorrar.
Opciones de consumo para las GPU agrupadas
Usa las siguientes opciones de consumo para adquirir capacidad para las GPU agrupadas.
Usa reservas futuras para los bloques de capacidad
Para ejecutar cargas de trabajo distribuidas a gran escala y de larga duración que requieren la asignación de una gran cantidad de recursos, puedes solicitar recursos de procesamiento asignados de forma densa para una fecha y hora futuras. Tienes acceso exclusivo a los recursos reservados durante ese período y puedes usarlos para crear VMs o clústeres. Al final del período de reserva, Compute Engine realiza las siguientes acciones:
- Compute Engine borra la reserva y cualquier grupo de almacenamiento vacío asociado.
- Según la acción de finalización que especifiques para las VMs, Compute Engine detiene o borra las VMs que usan la reserva.
Cargas de trabajo ideales
- Preentrenar modelos de base
- Inferencia para modelos de base en varios hosts
Características clave
- Modelo de aprovisionamiento: Con reserva.
- Compatibilidad con máquinas premium: Reserva tipos de máquinas A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega o A3 High (8 GPUs).
- Reservas de Hyperdisk: Puedes reservar un grupo de almacenamiento de Hyperdisk o un Exapool de Hyperdisk junto con la capacidad de procesamiento para garantizar que tus cargas de trabajo tengan suficientes recursos de almacenamiento. Google ubica los grupos de Hyperdisk junto con tus nodos de procesamiento para optimizar el rendimiento del almacenamiento.
- Requisitos de compromiso: Adjunta un compromiso basado en recursos para las reservas de un año o más para recibir descuentos en los recursos de procesamiento y los grupos de Hyperdisk.
- Modificaciones dinámicas: Habilita las notificaciones de mantenimiento de emergencia del hardware para el uso de trabajos de Vertex AI después de que comience el período.
Usa reservas futuras en modo Calendario
Para ejecutar cargas de trabajo distribuidas de corta duración que requieren recursos asignados de forma densa, puedes solicitar recursos de procesamiento por hasta 90 días. Tienes acceso exclusivo a los recursos reservados durante ese tiempo y puedes usarlos para crear VMs o clústeres. Al final del período de reserva, Compute Engine hace lo siguiente:
- Compute Engine borra la reserva.
- Según la acción de finalización que especifiques para las VMs, Compute Engine detiene o borra las VMs que usan la reserva.
Cargas de trabajo ideales
- Entrenamiento previo y ajuste
- Simulaciones e inferencias a gran escala
Características clave
- Modelo de aprovisionamiento: Con reserva.
- Compatibilidad con series de máquinas: Reserva tipos de máquinas A4, A3 Ultra, A3 Mega o A3 High (8 GPUs).
- Límites de escalabilidad: Reserva hasta 80 VMs por un máximo de 90 días.
- Aprovisionamiento optimizado: Usa un modelo vinculado a reservas para aumentar tus probabilidades de obtener GPUs.
Usar el inicio flexible
Usa el inicio flexible para las solicitudes de cambio de tamaño de grupo de instancias administrado (MIG) agrupados en clústeres cuando necesites recursos asignados de forma densa durante un máximo de siete días.
Cargas de trabajo ideales
Las VMs de inicio flexible son ideales para ejecutar cargas de trabajo que pueden iniciarse en cualquier momento, como las siguientes:
- Entrenamiento previo de modelos pequeños
- Ajuste de modelos
- Simulación de computación de alto rendimiento (HPC)
- Inferencia por lotes
Características clave
- Modelo de aprovisionamiento: Inicio flexible.
- Asignación de recursos: Se asignan de forma densa para las solicitudes de cambio de tamaño de MIG.
- Eficiencia de costos: Recibes un descuento de hasta el 53% en las CPU virtuales, la memoria, las GPU y los discos SSD locales conectados para las series de máquinas A4, A3, A2 y G4. Las tarifas estándar a pedido se aplican a otras series de máquinas compatibles.
Usar Spot
Puedes usar las VMs Spot para cargas de trabajo tolerantes a errores asignadas de forma densa para obtener grandes descuentos, con el entendimiento de que Compute Engine puede interrumpir las VMs para recuperar capacidad.
Cargas de trabajo ideales
- Entrenamiento distribuido tolerante a errores
- Procesamiento por lotes
Características clave
- Modelo de aprovisionamiento: Spot.
- Interrupción: Compute Engine puede interrumpir las instancias en cualquier momento.
- Rentabilidad: Recibe un descuento de hasta el 91% en las CPUs virtuales, la memoria, las GPUs y los discos SSD locales conectados.
¿Qué sigue?
- Para revisar el proceso y las opciones que debes elegir cuando inicias un clúster, consulta Planifica y crea tu infraestructura de IA.
- Para crear y usar reservas, consulta Crea y usa reservas.
- Para obtener más información sobre las VMs Spot, consulta Más información sobre las VMs Spot.
- Para crear una instancia de VM a pedido, consulta Crea una instancia de VM a pedido.