Acerca de la inferencia de modelos de IA/AA en GKE

En esta página, se describen los conceptos clave, los beneficios y los pasos para ejecutar cargas de trabajo de inferencia de modelos de IA y AA generativos en Google Kubernetes Engine (GKE) con las funciones de IA generativa de GKE.

La entrega de inferencias es fundamental para implementar tus modelos de IA generativa en aplicaciones del mundo real. GKE proporciona una plataforma sólida y escalable para administrar tus cargas de trabajo alojadas en contenedores, lo que la convierte en una opción atractiva para entregar tus modelos en desarrollo o producción. Con GKE, puedes usar las capacidades de Kubernetes para la organización, el escalamiento y la alta disponibilidad para implementar y administrar de manera eficiente tus servicios de inferencia.

Reconociendo las demandas específicas de la inferencia de IA/AA, Google Cloud introdujo las capacidades de IA generativa de GKE, un conjunto de funciones diseñadas específicamente para mejorar y optimizar la entrega de inferencias en GKE. Para obtener más información sobre funciones específicas, consulta Funciones de IA generativa de GKE.

Comienza a usar la inferencia de modelos de IA/AA en GKE

Puedes comenzar a explorar la inferencia de modelos de IA/AA en GKE en minutos. Puedes usar el nivel gratuito de GKE, que te permite comenzar a usar Kubernetes sin incurrir en costos por la administración de clústeres.

  1. Ir a la página de IA/AA de GKE en la consola de Google Cloud

  2. Prueba los pasos de Implementa modelos para implementar un modelo alojado en contenedores y un servidor de modelos.
  3. Lee la Descripción general de las prácticas recomendadas para la inferencia en GKE, que contiene orientación y recursos para planificar y ejecutar tus cargas de trabajo de inferencia en GKE.

Terminología

En esta página, se usa la siguiente terminología relacionada con la inferencia en GKE:

  • Inferencia: Es el proceso de ejecutar un modelo de IA generativa, como un modelo de lenguaje grande o un modelo de difusión, dentro de un clúster de GKE para generar texto, embeddings o cualquier otro resultado a partir de los datos de entrada. La inferencia de modelos en GKE aprovecha los aceleradores para controlar de forma eficiente los cálculos complejos para el procesamiento por lotes o en tiempo real.
  • Modelo: Es un modelo de IA generativa que aprendió patrones a partir de datos y se usa para la inferencia. Los modelos varían en tamaño y arquitectura, desde modelos más pequeños específicos de un dominio hasta redes neuronales masivas con miles de millones de parámetros que están optimizadas para diversas tareas de lenguaje.
  • Servidor de modelos: Es un servicio alojado en contenedores responsable de recibir solicitudes de inferencia y devolver inferencias. Este servicio puede ser una app de Python o una solución más robusta, como vLLM, JetStream, TensorFlow Serving o Triton Inference Server. El servidor de modelos controla la carga de modelos en la memoria y ejecuta cálculos en aceleradores para mostrar inferencias de manera eficiente.
  • Acelerador: Es hardware especializado, como las unidades de procesamiento gráfico (GPU) de NVIDIA y las unidades de procesamiento tensorial (TPU) de Google, que se pueden conectar a los nodos de GKE para acelerar los cálculos, en particular, para las tareas de entrenamiento y de inferencia.
  • Cuantización: Es una técnica que se usa para reducir el tamaño de los modelos de IA y AA, y mejorar la velocidad de inferencia convirtiendo los pesos y las activaciones de los modelos de tipos de datos de mayor precisión a tipos de datos de menor precisión.

Beneficios de GKE para la inferencia

La entrega de inferencias en GKE ofrece varios beneficios:

  • Relación eficiente entre precio y rendimiento: Obtén valor y velocidad para tus necesidades de entrega de inferencias. GKE te permite elegir entre una gama de aceleradores potentes (GPU y TPU), por lo que solo pagas por el rendimiento que necesitas.
  • Implementación más rápida: Acelera el tiempo de salida al mercado con prácticas recomendadas, calificaciones y prácticas recomendadas personalizadas que proporcionan las capacidades de IA generativa de GKE.
  • Rendimiento escalable: Escala horizontalmente el rendimiento con la supervisión compilada previamente usando GKE Inference Gateway, escalado automático horizontal de Pods (HPA) y métricas personalizadas. Puedes ejecutar una variedad de modelos previamente entrenados o personalizados, desde 8,000 millones de parámetros hasta 671,000 millones de parámetros.
  • Portabilidad completa: Benefíciate de la portabilidad completa con estándares abiertos. Google contribuye a las APIs de Kubernetes clave, incluidas Gateway y LeaderWorkerSet, y todas las APIs son portátiles con las distribuciones de Kubernetes.
  • Compatibilidad con el ecosistema: Compila sobre el sólido ecosistema de GKE, que admite herramientas como Kueue para la administración y la colocación en cola de recursos avanzadas, y Ray para el procesamiento distribuido, con el objetivo de facilitar el entrenamiento y la inferencia de modelos escalables y eficientes.

Cómo funciona la inferencia en GKE

En esta sección, se describen, a grandes rasgos, los pasos para usar GKE en la entrega de inferencias:

  1. Aloja tu modelo en un contenedor: Alojar en un contenedor una aplicación significa crear una imagen de contenedor, que es un paquete ejecutable que incluye todo lo necesario para ejecutar la aplicación: código, entorno de ejecución, herramientas del sistema, bibliotecas del sistema y parámetros de configuración. Una aplicación simple se puede alojar en contenedores como una sola unidad, mientras que una aplicación más compleja se puede dividir en varios componentes alojados en contenedores. Implementa un modelo en contenedores en el servidor de modelos (como vLLM) y carga los pesos del modelo desde Cloud Storage o un repositorio como Hugging Face. Cuando usas la guía de inicio rápido de inferencia de GKE, la imagen de contenedor se administra automáticamente en el manifiesto.

  2. Crea un clúster de GKE: Crea un clúster de GKE para alojar tu implementación. Elige Autopilot para obtener una experiencia administrada o Standard para personalizarla. Configura el tamaño del clúster, los tipos de nodos y los aceleradores. Para obtener una configuración optimizada, usa la guía de inicio rápido de inferencia.

  3. Implementa tu modelo como un Deployment de Kubernetes: Crea un Deployment de Kubernetes para administrar tu servicio de inferencia. Un Deployment es un objeto de la API de Kubernetes que te permite ejecutar varias réplicas de Pods que se distribuyen entre los nodos de un clúster. Especifica la imagen de Docker, las réplicas y la configuración. Kubernetes extrae la imagen y ejecuta tus contenedores en los nodos del clúster de GKE. Configura los Pods con tu servidor de modelos y el modelo, incluidos los adaptadores de LoRA si es necesario.

  4. Expón tu servicio de inferencia: Crea un Service de Kubernetes para proporcionar un extremo de red para tu Deployment y que se pueda acceder a tu servicio de inferencia. Usa la puerta de enlace de inferencia para el balanceo de cargas y el enrutamiento inteligentes que se adaptan específicamente a las cargas de trabajo de inferencia de IA generativa, o consulta la comparación de estrategias de balanceo de cargas para elegir la mejor opción según tus necesidades.

  5. Controla las solicitudes de inferencia: Envía datos de los clientes de tu aplicación al extremo de tu Service en el formato esperado (JSON, gRPC). Si usas un balanceador de cargas, este distribuye las solicitudes a las réplicas del modelo. El servidor de modelos procesa la solicitud, ejecuta el modelo y devuelve la inferencia.

  6. Escala y supervisa tu implementación de inferencia: Escala la inferencia con HPA para ajustar automáticamente las réplicas según la CPU o la latencia. El Horizontal Pod Autoscaler (HPA) es un controlador de Kubernetes que aumenta o disminuye automáticamente la cantidad de Pods en una carga de trabajo (como un Deployment) según las métricas observadas, como el uso de CPU o las métricas personalizadas. Usa la guía de inicio rápido de inferencia para obtener recomendaciones de escalamiento generadas de forma automática. Para hacer un seguimiento del rendimiento, usa Cloud Monitoring y Cloud Logging con observabilidad precompilada, incluidos los paneles para servidores de modelos populares, como vLLM.

Para ver ejemplos detallados en los que se usan modelos, servidores de modelos y aceleradores específicos, consulta Ejemplos de inferencia.

Capacidades de IA generativa de GKE

Puedes usar estas funciones juntas o de forma individual para abordar desafíos clave en la entrega de modelos de IA generativa y mejorar el uso de recursos dentro de tu entorno de GKE, sin costo adicional.

Nombre Descripción Beneficios
GKE Inference Quickstart

Analiza el rendimiento y la rentabilidad de tus cargas de trabajo de inferencia. Especifica las necesidades de tu empresa y obtén prácticas recomendadas personalizadas para la combinación de aceleradores, parámetros de configuración de escalamiento y almacenamiento, y servidores de modelos que mejor se adapten a tus necesidades. Puedes acceder a este servicio con la gcloud CLI y la consola de Google Cloud .

Para obtener más información, consulta Analiza el rendimiento y los costos de la entrega de modelos con la guía de inicio rápido de inferencia de GKE.

  • Ahorra tiempo, ya que automatiza los pasos iniciales para elegir y configurar tu infraestructura.
  • Te permite mantener el control total sobre tu configuración de Kubernetes para realizar más ajustes.
GKE Inference Gateway

Obtén enrutamiento basado en métricas, como el uso de la caché de KV, para mejorar la latencia.

Para obtener más información, consulta Acerca de GKE Inference Gateway.

  • Comparte modelos con ajuste fino que usen archivos de LoRA, con selección de extremos basada en afinidad para lograr rentabilidad.
  • Logra una alta disponibilidad accediendo de forma dinámica a la capacidad de GPU y TPU en todas las regiones.
  • Mejora la seguridad de tus modelos con las políticas de complementos de Model Armor.
Aceleradores de carga de pesos del modelo

Accede a los datos en Cloud Storage rápidamente con Cloud Storage FUSE con almacenamiento en caché y descargas paralelas. Para obtener más información sobre cómo usar Cloud Storage FUSE para cargas de trabajo de IA y AA, consulta la arquitectura de referencia.

Google Cloud Managed Lustre es un sistema de archivos paralelos de alto rendimiento y completamente administrado optimizado para la IA que se puede conectar a 10,000 Pods o más. Para obtener más información sobre el uso de Managed Lustre para cargas de trabajo de IA y AA, consulta la arquitectura de referencia.

Google Cloud Hyperdisk ML es un disco conectado a la red que se puede conectar a hasta 2,500 Pods.

  • Optimiza el tiempo de inicio de la inferencia minimizando la latencia del modelo de carga de pesos en GKE.
  • En el caso de las implementaciones con un escalamiento de nodos limitado, considera usar Cloud Storage FUSE para activar los pesos del modelo.
  • Para las cargas de trabajo de inferencia que exigen un rendimiento de escalamiento horizontal coherente, Google Cloud Managed Lustre admite el acceso a archivos de alta capacidad de procesamiento y baja latencia desde varios Pods de forma simultánea.
  • Para situaciones a gran escala que exigen un acceso coherente y de baja latencia a pesos de modelos grandes, Google Cloud Hyperdisk ML ofrece una solución de almacenamiento en bloque dedicada.

Métricas de rendimiento de inferencia

Para optimizar tus cargas de trabajo de inferencia, es importante comprender cómo medir su rendimiento. En la siguiente tabla, se describen las métricas clave para comparar el rendimiento de la inferencia en GKE.

Indicadores de referencia Métrica (unidad) Descripción
Latencia Tiempo hasta el primer token (TTFT) (ms) Es el tiempo que se tarda en generar el primer token para una solicitud.
Tiempo normalizado por token de salida (NTPOT) (ms) Es la latencia de la solicitud normalizada por la cantidad de tokens de salida, medida como request_latency / total_output_tokens.
Tiempo por token de salida (TPOT) (ms) Es el tiempo que se tarda en generar un token de salida, medido como (request_latency - time_to_first_token) / (total_output_tokens - 1).
Latencia entre tokens (ITL) (ms) Mide la latencia entre dos generaciones de tokens de salida. A diferencia del TPOT, que mide la latencia en toda la solicitud, la ITL mide el tiempo que se tarda en generar cada token de salida individual. Luego, estas mediciones individuales se agregan para producir valores de media, mediana y percentil, como p90.
Latencia de la solicitud (ms) Es el tiempo de extremo a extremo para completar una solicitud.
Capacidad de procesamiento Solicitudes por segundo Es la cantidad total de solicitudes que entregas por segundo. Ten en cuenta que esta métrica podría no ser una forma confiable de medir la capacidad de procesamiento de los LLM, ya que puede variar mucho según las diferentes longitudes de contexto.
Tokens de salida por segundo Es una métrica común que se mide como total_output_tokens_generated_by_server / elapsed_time_in_seconds.
Tokens de entrada por segundo Se mide como total_input_tokens_generated_by_server / elapsed_time_in_seconds.
Tokens por segundo Se mide como total_tokens_generated_by_server / elapsed_time_in_seconds. Esta métrica cuenta los tokens de entrada y salida, lo que te ayuda a comparar las cargas de trabajo con tiempos de precompletado altos con los tiempos de decodificación altos.

Planificación para la inferencia

Una implementación de inferencia exitosa requiere una planificación cuidadosa en varias áreas clave, como la rentabilidad, el rendimiento, la flexibilidad, la eficiencia y la disponibilidad de la capacidad del acelerador. Para obtener recomendaciones detalladas sobre cómo compilar una plataforma de inferencia escalable, eficaz y rentable, consulta Descripción general de las prácticas recomendadas de inferencia en GKE.

Prueba ejemplos de inferencia

Encuentra ejemplos de implementación de GKE para modelos de IA generativa, aceleradores y servidores de modelos. Si recién comienzas, te recomendamos que explores el instructivo Entrega modelos abiertos de Gemma con GPUs en GKE con vLLM.

O bien, busca un instructivo por palabra clave:

Accelerator Servidor de modelos Instructivo
GPU vLLM Entrega LLM como DeepSeek-R1 671B o Llama 3.1 405B en GKE
GPU vLLM Entrega modelos abiertos de Gemma con GPUs en GKE con vLLM
GPU vLLM Entrega un LLM con GKE Inference Gateway
GPU vLLM Entrega LLM abiertos en GKE con una arquitectura preconfigurada
GPU Ray Serve Entrega un LLM en GPU L4 con Ray
GPU TGI Entrega un LLM con varias GPUs en GKE
GPU TorchServe Entrega T5 en GKE con TorchServe
TPU vLLM Entrega un LLM con TPU Trillium en GKE con vLLM
TPU vLLM Entrega un LLM con TPU en GKE con KubeRay
TPU MaxDiffusion Entrega Stable Diffusion XL (SDXL) con TPU en GKE con MaxDiffusion
TPU vLLM Entrega LLM abiertos en TPU con una arquitectura preconfigurada

¿Qué sigue?

  • Visita el portal de organización de IA/AA en GKE para explorar nuestras guías, instructivos y casos de uso oficiales para ejecutar cargas de trabajo de IA/AA en GKE.
  • Explora muestras experimentales para aprovechar GKE y acelerar tus iniciativas de IA y AA en GKE AI Labs.