AI Hypercomputer tiene varias opciones de consumo para adquirir recursos de procesamiento. Estas opciones abordan necesidades como la duración de la carga de trabajo, la tolerancia a errores y el modelo de infraestructura. Obtén más información sobre estas opciones y elige la mejor para tu caso de uso.
Descripción general de las opciones de consumo
Si quieres recibir asistencia potenciada por IA para comparar las opciones de consumo de tu carga de trabajo y presupuesto, ejecuta la siguiente instrucción en Compute Advisor:
Esta instrucción evalúa las cuotas, las reservas y los descuentos por compromiso de uso (CUD) de tu proyecto, compara las opciones de consumo en función de la disponibilidad, la vida útil y los precios, y genera una tabla de comparación de Markdown con los comandos recomendados.
Para comparar las opciones de consumo en función de las características clave, usa la siguiente tabla:
| Opción de consumo | Modelo de aprovisionamiento | Ideal para | Garantía de capacidad | Vida útil | Interrumpible | Cuota | Descuentos | Modelo de asignación |
|---|---|---|---|---|---|---|---|---|
| Inicio flexible | Inicio flexible | Cargas de trabajo de corta duración (hasta siete días) que pueden esperar hasta que haya capacidad disponible | Mejor esfuerzo. | Hasta siete días | No | Cuota interrumpible | Descuento (hasta un 53%) en las series compatibles | Denso para solicitudes de cambio de tamaño de MIG y modo masivo; de mejor esfuerzo para VMs independientes. |
| VMs Spot | Spot | Cargas de trabajo de GPU generales, tolerantes a errores y de corta duración. | Mejor esfuerzo. | Interrumpible | Sí | Cuota interrumpible | Grandes descuentos (hasta un 91%) | Estándar |
| Reservas estándar | Estándar | Cargas de trabajo de GPU generales y fundamentales que requieren un nivel muy alto de garantía de capacidad. | Muy alta | Ilimitado | No | Cuota a pedido | Tarifas con descuento por compromiso de uso (CUD) | Estándar |
| Reservas futuras para bloques de capacidad | Con reserva | Entrenamiento a gran escala y de larga duración en GPU agrupadas. | Muy alta | Ilimitado dentro del período de reserva. | No | La cuota se aumenta antes de la publicación | Descuento (hasta un 53%) con CUD | Dense |
| Reservas futuras en modo calendario | Con reserva | cargas de trabajo de GPU agrupadas de hasta 90 días que requieren capacidad reservada. | Muy alta | Hasta 90 días | No | No se consumió cuota | Con descuento (hasta un 53%) | Dense |
| VM según demanda | Estándar | Cargas de trabajo de GPU generales sin una duración específica. | Mejor esfuerzo. | Ilimitado | No | Cuota a pedido | Ninguno (pago por uso) | Estándar |
La opción de consumo que usas para implementar tu infraestructura depende de si usas GPU generales o GPU agrupadas.
GPU general: Diseñada para cargas de trabajo de inferencia, desarrollo y entrenamiento a menor escala. Este tipo de GPU ofrece flexibilidad operativa a través del mantenimiento asíncrono. Para ver las opciones disponibles, consulta Opciones de consumo para GPU generales.
GPU agrupadas: Diseñadas para cargas de trabajo de entrenamiento de acoplamiento alto y a gran escala, y cargas de trabajo de modelos de inferencia, RL y modelos de razonamiento a gran escala que requieren una alta garantía de capacidad y una asignación de recursos densa para minimizar la latencia de la red. Para ver las opciones disponibles, consulta Opciones de consumo para GPU agrupadas.
Opciones de consumo para GPU generales
Usa las siguientes opciones de consumo para adquirir capacidad para la GPU general.
Usar el inicio flexible
Para ejecutar cargas de trabajo de corta duración que requieren recursos asignados de forma densa, puedes solicitar recursos de procesamiento durante un máximo de siete días con el inicio flexible. Cuando los recursos están disponibles, Compute Engine crea la cantidad de VMs que solicitaste. Puedes detener las VMs de inicio flexible independientes, pero no las que crea un grupo de instancias administrado (MIG) a través de solicitudes de cambio de tamaño. Las VMs de inicio flexible existen hasta que las borras o hasta que Compute Engine las borra al final de su duración de ejecución.
Cargas de trabajo ideales
- Entrenamiento previo de modelos pequeños
- Ajuste de modelos
- Simulación de computación de alto rendimiento (HPC)
- Inferencia por lotes
Características clave
- Modelo de aprovisionamiento: Inicio flexible.
- Asignación de todo o nada para MIG: Crea una solicitud de cambio de tamaño en un MIG para que Compute Engine aprovisione todas las VMs solicitadas juntas cuando la capacidad esté disponible. Este enfoque te ayuda a evitar cargos innecesarios por la capacidad parcial hasta que todas las VMs solicitadas estén disponibles.
- Amplia compatibilidad con hardware: Solicita cualquier tipo de máquina de GPU general.
- Optimización de la latencia: Aplica una política de posición compacta a las VMs independientes para minimizar la latencia de red.
- Eficiencia de costos: Recibe un descuento de hasta un 53% en CPU virtuales, memoria, GPUs y discos SSD locales para las series de máquinas A4, A3, A2 y G4. Se aplican tarifas estándar a pedido a otras series compatibles. Para obtener más información, consulta Precios de inicio flexible.
Usar Spot
Para ejecutar cargas de trabajo tolerantes a errores, puedes obtener recursos de procesamiento según la disponibilidad en tiempo real a un precio con descuento. Sin embargo, Compute Engine puede interrumpir las VMs en cualquier momento para recuperar capacidad. Antes de crear VMs, puedes consultar la disponibilidad de las VMs Spot y ver la tasa de interrupción y los precios de las VMs Spot en todas las regiones y zonas.
Cargas de trabajo ideales
- Procesamiento por lotes y análisis de datos
- Computación de alto rendimiento (HPC) y codificación de contenido multimedia
Características clave
- Modelo de aprovisionamiento: Spot.
- Amplia compatibilidad con hardware: Solicita cualquier tipo de máquina de GPU general.
- Optimización de la latencia: Aplica una política de posición compacta a las VMs independientes para minimizar la latencia de red.
- Rentabilidad: Recibe un descuento de hasta el 91% en CPU virtuales, memoria, GPU y discos SSD locales.
Usar a pedido
Para ejecutar cargas de trabajo sin una duración específica, puedes solicitar recursos de procesamiento en función de la disponibilidad en tiempo real. Las VMs se ejecutan hasta que las detienes o las borras.
Cargas de trabajo ideales
- Inferencia y entrega de modelos
- Prototipado y experimentación
Características clave
- Modelo de aprovisionamiento: Estándar.
- Solicitudes no programadas: Solicita VMs según sea necesario sin reservas anticipadas ni compromisos a largo plazo. La asignación de recursos depende de la disponibilidad en tiempo real del hardware.
- Precios estándar: Paga por los recursos según las tarifas estándar on demand sin compromisos a largo plazo.
- Amplia compatibilidad con hardware: Se usa con cualquier serie de máquinas de GPU compatible en la ruta de GPU general.
Usa reservas estándar
Para ejecutar cargas de trabajo de GPU generales críticas que requieren un nivel muy alto de garantía de capacidad, puedes usar reservas estándar.
Cargas de trabajo ideales
- Cargas de trabajo de producción esenciales
- Cargas de trabajo que requieren capacidad garantizada
Características clave
- Modelo de aprovisionamiento: Estándar.
- Garantía de capacidad: Proporciona una garantía muy alta de que los recursos están disponibles.
- Precios: Se aplican tarifas estándar, pero puedes adjuntar CUD para ahorrar.
Opciones de consumo para las GPU agrupadas
Usa las siguientes opciones de consumo para adquirir capacidad para las GPU agrupadas.
Usa reservas futuras para bloques de capacidad
Para ejecutar cargas de trabajo distribuidas a gran escala y de larga duración que requieren la asignación de una gran cantidad de recursos, puedes solicitar recursos de procesamiento asignados de forma densa para una fecha y hora futuras. Tienes acceso exclusivo a tus recursos reservados durante ese período y puedes usarlos para crear VMs o clústeres. Al final del período de reserva, Compute Engine realiza las siguientes acciones:
- Compute Engine borra la reserva y cualquier grupo de almacenamiento vacío asociado.
- Según la acción de finalización que especifiques para las VMs, Compute Engine detiene o borra las VMs que usan la reserva.
Cargas de trabajo ideales
- Preentrenar modelos de base
- Inferencia para modelos de base en varios hosts
Características clave
- Modelo de aprovisionamiento: Con reserva.
- Compatibilidad con máquinas premium: Reserva tipos de máquinas A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega o A3 High (8 GPUs).
- Reservas de Hyperdisk: Puedes reservar un grupo de almacenamiento de Hyperdisk o un Exapool de Hyperdisk junto con la capacidad de procesamiento para garantizar que tus cargas de trabajo tengan suficientes recursos de almacenamiento. Google ubica los grupos de Hyperdisk junto con tus nodos de procesamiento para optimizar el rendimiento del almacenamiento.
- Requisitos de compromiso: Adjunta un compromiso basado en recursos para las reservas de un año o más para recibir descuentos en los recursos de procesamiento y los grupos de Hyperdisk.
- Modificaciones dinámicas: Habilita las notificaciones de mantenimiento de emergencia del hardware para el uso de trabajos de Vertex AI después de que comience el período.
Usa reservas futuras en el modo Calendario
Para ejecutar cargas de trabajo distribuidas de corta duración que requieren recursos asignados de forma densa, puedes solicitar recursos de procesamiento por hasta 90 días. Tienes acceso exclusivo a los recursos reservados durante ese tiempo y puedes usarlos para crear VMs o clústeres. Al final del período de reserva, Compute Engine hace lo siguiente:
- Compute Engine borra la reserva.
- Según la acción de finalización que especifiques para las VMs, Compute Engine detiene o borra las VMs que usan la reserva.
Cargas de trabajo ideales
- Entrenamiento previo y ajuste
- Simulaciones e inferencias a gran escala
Características clave
- Modelo de aprovisionamiento: Con reserva.
- Compatibilidad con series de máquinas: Reserva tipos de máquinas A4, A3 Ultra, A3 Mega o A3 High (8 GPUs).
- Límites de escalabilidad: Reserva hasta 80 VMs por un máximo de 90 días.
- Aprovisionamiento optimizado: Usa un modelo vinculado a reservas para aumentar tus probabilidades de obtener GPUs.
Usar el inicio flexible
Usa el inicio flexible para las solicitudes de cambio de tamaño de grupo de instancias administrado (MIG) agrupados en clústeres cuando necesites recursos asignados de forma densa durante un máximo de siete días.
Cargas de trabajo ideales
Las VMs de inicio flexible son ideales para ejecutar cargas de trabajo que pueden iniciarse en cualquier momento, como las siguientes:
- Entrenamiento previo de modelos pequeños
- Ajuste de modelos
- Simulación de computación de alto rendimiento (HPC)
- Inferencia por lotes
Características clave
- Modelo de aprovisionamiento: Inicio flexible.
- Asignación de recursos: Crea una solicitud de cambio de tamaño en un MIG para que Compute Engine aprovisione todas las VMs solicitadas juntas en una ubicación densa. Este enfoque te ayuda a evitar cargos innecesarios por la capacidad parcial hasta que todas las VMs solicitadas estén disponibles.
- Rentabilidad: Recibe un descuento de hasta el 53% en CPU virtuales, memoria, GPUs y cualquier disco SSD local conectado para las series de máquinas A4, A3, A2 y G4. Las tarifas estándar a pedido se aplican a otras series de máquinas compatibles.
Usar Spot
Para ejecutar cargas de trabajo tolerantes a errores que requieren una asignación densa, puedes usar VMs Spot con un precio con descuento. Sin embargo, Compute Engine puede interrumpir las VMs en cualquier momento para recuperar capacidad. Antes de crear VMs, puedes ver la disponibilidad de las VMs Spot y ver la tasa de interrupción y los precios de las VMs Spot en todas las regiones y zonas.
Cargas de trabajo ideales
- Entrenamiento distribuido tolerante a errores
- Procesamiento por lotes
Características clave
- Modelo de aprovisionamiento: Spot.
- Interrupción: Compute Engine puede interrumpir las instancias en cualquier momento.
- Rentabilidad: Recibe un descuento de hasta el 91% en las CPU virtuales, la memoria, las GPU y los discos SSD locales conectados.
¿Qué sigue?
- Para revisar el proceso y las opciones que debes elegir cuando inicias un clúster, consulta Planifica y crea tu infraestructura de IA.
- Para crear y usar reservas, consulta Crea y usa reservas.
- Para obtener más información sobre las VMs Spot, consulta Más información sobre las VMs Spot.
- Para crear una instancia de VM a pedido, consulta Crea una instancia de VM a pedido.
- Para diseñar y optimizar tu infraestructura de IA con asistencia potenciada por IA, consulta Diseña infraestructura de IA con Compute Advisor.