Risorse TPU in Compute Engine

Puoi creare e gestire le TPU utilizzando le risorse Compute Engine. Questa pagina fornisce una panoramica concettuale dell'utilizzo delle TPU con Compute Engine. Mappa i concetti delle TPU alle risorse di Compute Engine e descrive il processo di migrazione a Compute Engine.

Concetti relativi a TPU e Compute Engine

Per gestire le risorse TPU all'interno di Compute Engine, è utile comprendere questi concetti principali relativi a TPU e Compute Engine:

  • VM TPU: una macchina virtuale che si connette direttamente all'hardware TPU. Una singola VM TPU equivale a una sezione a host singolo.
  • Sezione TPU: un gruppo logico di chip TPU interconnessi, a cui si accede tramite una o più VM TPU. Le sezioni hanno uno dei seguenti ambiti:
    • Slice single-host: uno slice costituito da una macchina host. Slice single-host è un altro modo per fare riferimento a una singola VM TPU.
    • Sezione multi-host: una sezione costituita da più VM TPU interconnesse tramite un'interconnessione inter-chip (ICI) ad alta velocità.

Per creare e gestire le risorse TPU in Compute Engine, utilizza le seguenti risorse di Compute Engine:

  • Istanza VM: una macchina virtuale di Compute Engine. Una sezione TPU a host singolo viene creata come istanza VM individuale. Nell'API Cloud TPU legacy, una singola sezione TPU è rappresentata da un oggetto REST Node.
  • Gruppo di istanze gestite (MIG): una raccolta di istanze VM gestite come una singola unità. Le sezioni TPU multi-host vengono create come MIG con una topologia dell'acceleratore specificata in una policy del workload. Nell'API Cloud TPU legacy, una o più sezioni sono rappresentate utilizzando gli oggetti REST QueuedResource o Node.

Mappa concettuale di TPU e Compute Engine

La tabella seguente descrive come i concetti di TPU vengono mappati alle risorse di Compute Engine:

Concetto di TPU Risorsa Compute Engine Dettagli risorsa Caso d'uso
VM TPU Istanza VM Una VM di Compute Engine che fornisce l'accesso diretto all'hardware TPU. Attività di singole VM, esecuzione di comandi SSH o debug
Slice TPU single-host o sub-host Istanza VM o MIG con una singola VM Una configurazione costituita da una macchina host fisica. Inferenza con scalabilità automatica
Slice TPU multi-host MIG con topologia dell'acceleratore specificata nella policy del workload Un gruppo di VM TPU interconnesse tramite ICI, gestite come un'unica unità logica. Addestramento distribuito su larga scala che richiede il provisioning atomico

Esegui la migrazione dall'API Cloud TPU

L'API Cloud TPU non è più in fase di sviluppo attivo. Sono inclusi Google Cloud CLI per l'API Cloud TPU e le librerie client di Cloud per l'API Cloud TPU. L'API Cloud TPU riceverà solo correzioni di bug e aggiornamenti della sicurezza. Le nuove generazioni di hardware, a partire da TPU7x (Ironwood), sono supportate solo tramite Compute Engine o Google Kubernetes Engine (GKE). Per le funzionalità più recenti e il supporto delle versioni più recenti di TPU, esegui la migrazione sostituendo le chiamate API Cloud TPU legacy con i relativi equivalenti in Compute Engine o GKE.

A seconda dei requisiti di orchestrazione e workload, scegli uno dei seguenti percorsi:

  • Compute Engine: consigliato per gli utenti che richiedono un controllo diretto a livello di VM o immagini sistema operativo personalizzate. Per iniziare a eseguire il provisioning delle TPU in Compute Engine, consulta Guida rapida: crea una VM TPU.
  • GKE: consigliato per workload containerizzati, scalabilità automatizzata e orchestrazione su larga scala. Per saperne di più sull'utilizzo delle TPU con GKE, consulta Informazioni sulle TPU in GKE.
  • Batch: consigliato per gli utenti che vogliono un servizio completamente gestito per eseguire workload containerizzati o basati su script. Per saperne di più sull'utilizzo delle TPU con Batch, consulta Crea ed esegui un job Batch che utilizza le TPU.

Risorse TPU esistenti

Le risorse TPU create utilizzando l'API Cloud TPU (oggetti REST Node o QueuedResource) non sono compatibili con Compute Engine e GKE. Per iniziare a utilizzare Compute Engine o GKE:

  • Riscrivi gli script che utilizzano l'API Cloud TPU in modo che utilizzino le API Compute Engine o GKE.
  • Elimina le risorse utilizzando l'API Cloud TPU e ricreale utilizzando le API Compute Engine o GKE.

Limitazioni

Le TPU in Compute Engine presentano le seguenti limitazioni:

  • Versioni TPU: Compute Engine supporta v5p, v6e e TPU7x.
  • Multislice: la creazione di gruppi di sezioni TPU multi-host interconnesse non è disponibile con Compute Engine. Per utilizzare Multislice, devi utilizzare Google Kubernetes Engine (GKE). Per maggiori informazioni, consulta Esegui il deployment di TPU Multislice in GKE.
  • Raccolte: la pianificazione delle raccolte non è disponibile con Compute Engine. Per utilizzare la pianificazione della raccolta, devi utilizzare GKE. Per saperne di più, consulta Pianificazione della raccolta nella documentazione di GKE.

Passaggi successivi