Recursos de TPU en Compute Engine

Puedes crear y administrar TPU con recursos de Compute Engine. En esta página, se proporciona una descripción general conceptual del uso de las TPU con Compute Engine. Asigna conceptos de TPU a recursos de Compute Engine y describe el proceso para migrar a Compute Engine.

Conceptos de TPU y Compute Engine

Para administrar los recursos de TPU en Compute Engine, es útil comprender estos conceptos principales de TPU y Compute Engine:

  • VM de TPU: Es una máquina virtual que se conecta directamente al hardware de TPU. Una sola VM de TPU es lo mismo que una porción de host único.
  • Porción de TPU: Es un grupo lógico de chips TPU interconectados, a los que se accede a través de una o más VMs de TPU. Los Slices tienen uno de los siguientes alcances:
    • Porción de host único: Es una porción que consta de una máquina anfitrión. Porción de host único es otra forma de referirse a una sola VM de TPU.
    • Porción de varios hosts: Es una porción que consta de varias VMs de TPU interconectadas con una interconexión entre chips (ICI) de alta velocidad.

Para crear y administrar recursos TPU en Compute Engine, usa los siguientes recursos de Compute Engine:

  • Instancia de VM: Es una máquina virtual de Compute Engine. Una porción de TPU de host único se crea como una instancia de VM individual. En la API de Cloud TPU heredada, una sola porción de TPU se representa con un objeto REST Node.
  • Grupo de instancias administrado (MIG): Es una colección de instancias de VM que se administran como una sola unidad. Las porciones de TPU de varios hosts se crean como un MIG con una topología de acelerador especificada en una política de carga de trabajo. En la API de Cloud TPU heredada, una o más porciones se representan con objetos REST QueuedResource o Node.

Mapa de conceptos de TPU y Compute Engine

En la siguiente tabla, se describe cómo se asignan los conceptos de TPU a los recursos de Compute Engine:

Concepto de TPU Recurso de Compute Engine Detalles del recurso Caso de uso
VM de TPU Instancia de VM Es una VM de Compute Engine que proporciona acceso directo al hardware de TPU. Tareas individuales de VM, ejecución de comandos SSH o depuración
Porción de TPU de host único o subhost Instancia de VM o MIG con una sola VM Una configuración que consiste en una máquina anfitrión física. Inferencia con ajuste de escala automático
Porción de TPU de varios hosts MIG con topología de acelerador especificada en la política de carga de trabajo Es un grupo de VMs de TPU interconectadas con ICI que se administran como una sola unidad lógica. Entrenamiento distribuido a gran escala que requiere aprovisionamiento atómico

Migra desde la API de Cloud TPU

La API de Cloud TPU ya no está en desarrollo activo. Esto incluye Google Cloud CLI para la API de Cloud TPU y las bibliotecas cliente de Cloud para la API de Cloud TPU. La API de Cloud TPU solo recibirá correcciones de errores y actualizaciones de seguridad. Las nuevas generaciones de hardware, que comienzan con TPU7x (Ironwood), solo son compatibles con Compute Engine o Google Kubernetes Engine (GKE). Para obtener las funciones más recientes y la compatibilidad con las versiones más recientes de TPU, reemplaza las llamadas a la API de Cloud TPU heredadas por sus equivalentes en Compute Engine o GKE.

Según tus requisitos de organización y carga de trabajo, elige una de las siguientes rutas:

  • Compute Engine: Se recomienda para los usuarios que requieren control directo a nivel de la VM o imágenes de SO personalizadas. Para comenzar a aprovisionar TPU en Compute Engine, consulta Guía de inicio rápido: Crea una VM de TPU.
  • GKE: Se recomienda para cargas de trabajo alojadas en contenedores, escalado automático y organización a gran escala. Para obtener más información sobre el uso de TPU con GKE, consulta Acerca de las TPU en GKE.
  • Batch: Se recomienda para los usuarios que desean un servicio completamente administrado para ejecutar cargas de trabajo alojadas en contenedores o basadas en secuencias de comandos. Para obtener más información sobre el uso de TPU con Batch, consulta Crea y ejecuta un trabajo por lotes que use TPU.

Recursos TPU existentes

Los recursos TPU creados con la API de Cloud TPU (objetos REST Node o QueuedResource) son incompatibles con Compute Engine y GKE. Para comenzar a usar Compute Engine o GKE, haz lo siguiente:

  • Vuelve a escribir las secuencias de comandos que usan la API de Cloud TPU para usar las APIs de Compute Engine o GKE.
  • Borra recursos con la API de Cloud TPU y vuelve a crearlos con las APIs de Compute Engine o GKE.

Limitaciones

Las TPU en Compute Engine tienen las siguientes limitaciones:

  • Versiones de TPU: Compute Engine admite v5p, v6e y TPU7x.
  • Multislice: La creación de grupos de porciones de TPU de varios hosts interconectadas no está disponible con Compute Engine. Para usar Multislice, debes usar Google Kubernetes Engine (GKE). Para obtener más información, consulta Implementa TPU Multislices en GKE.
  • Colecciones: La programación de colecciones no está disponible con Compute Engine. Para usar la programación de recopilación, debes usar GKE. Para obtener más información, consulta Programación de recopilación en la documentación de GKE.

¿Qué sigue?