Acerca de los aceleradores de GPU

AI Hypercomputer proporciona una infraestructura integrada de forma vertical optimizada para cargas de trabajo exigentes de inteligencia artificial (IA) y aprendizaje automático (AA). Las GPU de NVIDIA de alto rendimiento se clasifican según cómo el sistema controla sus eventos de ciclo de vida y mantenimiento: GPU generales y GPU agrupadas.

Para identificar la categoría de infraestructura óptima para tu carga de trabajo, consulta Elige tu infraestructura de acelerador.

GPU generales

Las GPU generales se administran como unidades de procesamiento independientes, con las APIs estándar de Compute Engine y Google Kubernetes Engine (GKE) para integrarse directamente en el plano de control de Google Cloud.

Las GPU de uso general incluyen las siguientes series de máquinas:

  • A3 High con 1, 2 o 4 GPU (NVIDIA H100): Se optimizó para cargas de trabajo de inferencia y entrenamiento estándar que no requieren un clúster sincronizado de 8 GPU.
  • A3 Edge (NVIDIA H100): Se optimizó para la inferencia que se distribuye en varios hosts con alta capacidad de procesamiento a través de redes de VPC estándar.
  • A2 (NVIDIA A100): Optimizado para la entrega de nodo único de alto rendimiento y el ajuste a pequeña escala.
  • G4 (NVIDIA RTX PRO 6000): Se optimizó para cargas de trabajo de inferencia y gráficos de nivel de entrada rentables.
  • G2 (NVIDIA L4): Se optimizó para la inferencia convencional y la RAG.
  • N1 (NVIDIA T4 o V100): Se optimizó para tareas de inferencia y de investigación de nivel básico que priorizan el costo por sobre las interconexiones de alto rendimiento.

GPU agrupadas

Las GPU agrupadas se administran como un único sistema de acoplamiento alto de miles de aceleradores interconectados con Cluster Director.

Las GPU agrupadas incluyen las siguientes series de máquinas:

  • A5X (NVIDIA Vera Rubin): Se diseñó para el entrenamiento a exaescala de modelos de base, la inferencia para modelos de razonamiento y la computación de alto rendimiento en equipos físicos, con superchips Vera Rubin de NVIDIA.
  • A4X Max (NVIDIA GB300): Está diseñada para el entrenamiento a exaescala en equipos físicos y la computación de alto rendimiento, y cuenta con superchips NVIDIA GB300 Grace Blackwell Ultra.
  • A4X (NVIDIA GB200) y A4 (NVIDIA B200): Están diseñadas para el entrenamiento de modelos de base y el entrenamiento de modelos de base a exaescala.
  • A3 Ultra (NVIDIA H200), A3 Mega (NVIDIA H100) y A3 High con 8 GPU (NVIDIA H100): Están optimizadas para el entrenamiento distribuido a gran escala y la inferencia de varios hosts que involucran tablas de datos masivas.

Consideraciones sobre el rendimiento de las GPU

Para evaluar y optimizar el rendimiento de tu carga de trabajo, puedes hacer un seguimiento de las métricas a nivel del hardware, como el uso de núcleos CUDA y Tensor. Para supervisar tus recursos y evaluar el rendimiento en los entornos generales y agrupados, consulta lo siguiente:

  • Paneles de supervisión: Realiza un seguimiento del uso de GPU y de memoria en tiempo real para instancias independientes individuales o flotas de clústeres organizadas.
  • Recetas de métricas de procesamiento útil: mide el porcentaje de tiempo que tus aceleradores realizan un procesamiento útil en comparación con la sobrecarga del sistema, lo que se recomienda para el entrenamiento distribuido a gran escala en hardware agrupado.

¿Qué sigue?