Istanze TPU nei MIG

I gruppi di istanze gestite (MIG) automatizzano la creazione, la configurazione e la gestione del ciclo di vita di una raccolta di VM. I MIG offrono vantaggi quali l'alta affidabilità tramite il ripristino automatico e i deployment a livello di regione (multizona), la scalabilità automatica per gestire carichi variabili e gli aggiornamenti in sequenza semplificati per le applicazioni. Per saperne di più, consulta Gruppi di istanze gestite.

Puoi utilizzare i MIG per creare e gestire le VM TPU per le versioni TPU v5p, v6e e TPU7x. Puoi creare MIG con una singola VM TPU, VM TPU indipendenti (chiamate anche slice single-host) e MIG con VM TPU interconnesse (chiamate anche slice multi-host).

Ogni sezione in un MIG a host singolo ha al massimo una VM TPU. Le VM TPU all'interno del MIG non sono connesse con link Inter-Chip Interconnect (ICI).

Una sezione multi-host contiene più VM TPU interconnesse con link ICI.

MIG con sezioni TPU single-host

La creazione di un gruppo di istanze gestite (MIG) con più istanze TPU indipendenti è utile per i workload che richiedono diverse VM TPU singole, ma non necessitano di essere interconnessi con link ICI per i workload distribuiti. Ad esempio:

  • Gestione delle inferenze: ogni VM nel MIG può gestire in modo indipendente le richieste di inferenza. Un MIG consente di scalare il numero di istanze di gestione in base alla domanda e di gestirle come gruppo.
  • Attività indipendenti parallele: un MIG consente di gestire molti piccoli job di addestramento indipendenti o altri calcoli che possono essere eseguiti in parallelo su singole VM TPU.
  • Gestione: i MIG offrono le seguenti funzionalità:
    • Deployment: definisci un template di istanza una sola volta e utilizza il MIG per creare più VM TPU identiche.
    • Scalabilità: regola il numero di VM TPU ridimensionando il MIG.
    • Aggiornamenti in sequenza: aggiorna il software o il tipo di macchina in tutte le VM in modo controllato.
  • Convenienza: per le attività che non richiedono la piena potenza o l'interconnettività di una sezione TPU di grandi dimensioni, l'utilizzo di più sezioni TPU indipendenti più piccole può essere più conveniente.

Per saperne di più, consulta Crea un MIG con sezioni TPU single-host.

MIG con una sezione multi-host

A differenza dei gruppi di sezioni TPU indipendenti, un MIG configurato per una sezione multi-host gestisce un insieme di VM TPU strettamente accoppiate tramite link ICI. In questo modo viene creata una singola sezione TPU logica.

Vantaggi e prestazioni

I MIG per le sezioni TPU multi-host forniscono la scalabilità e le prestazioni necessarie per workload di machine learning intensivi.

  • Addestramento distribuito: l'addestramento dei modelli di machine learning spesso richiede una potenza TPU superiore a quella che può fornire una singola VM TPU. Le sezioni TPU più grandi distribuiscono il calcolo su molti chip TPU e VM, con i link ICI che consentono una comunicazione rapida tra loro. Questo è fondamentale per le prestazioni di addestramento.
  • Larghezza di banda di interconnessione elevata: la rete ICI offre una larghezza di banda maggiore e una latenza inferiore tra i chip TPU nella sezione rispetto alla rete di data center (DCN) standard. Questo è essenziale per le operazioni sincrone comuni nell'addestramento di modelli di grandi dimensioni.

Operazioni atomiche sul ciclo di vita

Per garantire l'integrità della topologia interconnessa, il MIG gestisce l'intera sezione come un'unica unità indivisibile durante tutto il suo ciclo di vita.

  • Creazione: il provisioning di tutte le VM nella sezione viene eseguito contemporaneamente. Se non è disponibile una capacità integra e interconnessa sufficiente per l'intera topologia richiesta, lo slice non viene creato.
  • Eliminazione: il MIG elimina l'intera sezione come unità.
  • Ridimensionamento: il ridimensionamento è limitato allo scale up da 0 alle dimensioni complete della sezione o allo scale down dalle dimensioni complete della sezione a 0. Non puoi ridimensionare parzialmente una sezione multi-VM.

Requisiti di configurazione

La configurazione di un MIG multi-host richiede la definizione sia della topologia di interconnessione fisica sia delle proprietà delle singole istanze.

  • Policy del workload: devi specificare una policy del workload con il parametro accelerator-topology (ad esempio 4x4, 8x8 o 4x4x4). In questo modo, il MIG viene configurato in modo da trattare le istanze come un'unica sezione interconnessa. Per informazioni sulla topologia, consulta Architettura di sistema.
  • Template di istanza: definisce proprietà come il tipo di macchina, l'immagine disco e altre impostazioni per ogni VM all'interno dello slice.

Disponibilità delle sezioni e ripristino dagli errori

Quando utilizzi i MIG per creare una sezione TPU multi-host, il comportamento di recupero dagli errori dipende dal modello di provisioning e dalla modalità di prenotazione che utilizzi:

  • Quando un MIG utilizza la modalità on-demand, avvio flessibile o prenotazioni (escluse le prenotazioni in modalità All Capacity). In questo scenario, Compute Engine gestisce automaticamente il processo di recupero dello slice. Se si verifica un errore dell'host o dell'ICI, lo slice passa allo stato REACTIVATING. Tutte le VM nello slice passano allo stato REPAIRING, anche se non necessariamente tutte contemporaneamente. Compute Engine recupera automaticamente lo slice riavviando le VM insieme su una capacità integra.

  • Quando un MIG utilizza il modello di provisioning spot. In questo scenario, sei responsabile della gestione del processo di recupero della sezione. Se si verifica il prerilascio delle VM spot, Compute Engine termina tutte le istanze nello slice. La sezione passa allo stato FAILED e le VM allo stato TERMINATED. Per eseguire il recupero dallo stato di errore, devi ricreare manualmente la sezione.

  • Quando un MIG utilizza le prenotazioni in modalità All Capacity. In questo scenario, sei responsabile della gestione del processo di recupero dello slice. Se si verifica un errore, la sezione passa allo stato FAILED e devi ricrearla manualmente.

    Il comportamento in modalità Capacità totale dipende inoltre da quanto segue:

    • Errore dell'host o VM segnalata come difettosa. La VM interessata passa allo stato REPAIRING. Una volta riparato l'hardware sottostante, la VM torna allo stato RUNNING.
    • Manutenzione di emergenza imminente. Quando avvii manualmente un evento di manutenzione, le VM passano dallo stato RUNNING allo stato REPAIRING. Al termine della manutenzione, la VM torna allo stato RUNNING.
    • Errore ICI. Le VM rimangono nello stato RUNNING, ma lo stato dello slice passa allo stato FAILED.

Per ricreare uno slice dopo il prerilascio delle VM spot o un errore in modalità All Capacity, devi eseguire una delle seguenti operazioni:

  • Elimina e ricrea il MIG.
  • Ridimensiona il MIG su 0, quindi aumentalo fino alle dimensioni richieste.

Ripristino da errori in seguito a un'interruzione dell'istanza

Se elimini o arresti un'istanza TPU o se arresti un'istanza dall'interno del sistema operativo, lo slice passa allo stato FAILED. In questo scenario, lo slice rimane nello stato FAILED finché non lo ricrei. Per ricreare la sezione, devi eliminare e ricreare il MIG o ridimensionarlo su 0 e poi aumentarne le dimensioni.

Per ulteriori informazioni sugli stati degli slice, consulta Visualizza lo stato di uno slice TPU.

Limitazioni

Le sezioni seguenti spiegano le limitazioni per la creazione di un MIG con VM TPU.

Limitazioni per i template di istanza

I template di istanza che specificano un tipo di macchina TPU presentano le seguenti limitazioni:

  • Quando utilizzi il modello di provisioning con prenotazione, devi impostare l'azione di terminazione dell'istanza su Elimina.

  • Le TPU possono utilizzare solo prenotazioni con target specifico.

  • Non puoi specificare una policy di posizionamento.

  • Non devi disattivare il riavvio automatico nei seguenti casi:

    • Slice multi-host che utilizzano modelli di provisioning standard, con avvio flessibile o con prenotazione (inclusa la modalità All Capacity).

    • Host singolo che utilizza il modello di provisioning con prenotazione in modalità Capacità totale.

  • Non devi attivare il riavvio automatico quando utilizzi il modello di provisioning spot.

Limitazioni per i MIG

I MIG con TPU presentano le seguenti limitazioni:

  • Operazioni del ciclo di vita: non puoi arrestare, avviare, riprendere o sospendere le istanze TPU. Per modificare le configurazioni che richiedono un riavvio o per interrompere l'addebito dei costi, devi eliminare le istanze.

  • Distribuzione delle zone dei MIG a livello di regione: devi impostare la forma di distribuzione target su ANY_SINGLE_ZONE.

  • Aggiornamenti della configurazione in un MIG:

    • Non puoi aggiornare un MIG che forma una sezione TPU multi-host a causa della topologia dell'acceleratore definita.
    • Puoi aggiornare un MIG che forma sezioni TPU a host singolo utilizzando i metodi automatici o selettivi. Tuttavia, gli aggiornamenti per la sezione TPU a host singolo non supportano l'azione di riavvio (RESTART). Se è necessario un riavvio e l'azione più invasiva consentita è la sostituzione (REPLACE), l'updater sostituirà l'istanza; in caso contrario, il tentativo di aggiornamento non va a buon fine e viene visualizzato un errore.

  • Per un MIG che forma una sezione TPU multi-host, si applicano anche le seguenti limitazioni:

    • Policy della dimensione target: devi impostare la modalità della policy della dimensione target su BULK. Una volta impostata questa modalità, non potrai più modificarla.

    • Dimensioni target: in modalità in blocco, puoi impostare le dimensioni target su 0 o sul numero di istanze necessarie per formare la topologia dell'acceleratore.

    • Policy del workload: devi specificare una policy del workload in cui è definita la topologia dell'acceleratore. Dopo aver impostato la policy del workload, non puoi modificarla o rimuoverla dal MIG.

    • Riparazioni avviate dal MIG: devi disattivare le riparazioni avviate dal MIG impostando il campo defaultActionOnFailure su DO_NOTHING. In questa configurazione, il MIG non esegue alcuna azione su un'istanza con errori. Compute Engine recupera automaticamente l'istanza non riuscita riavviando tutte le istanze nella stessa sezione con capacità integra.

  • Funzionalità non supportate: i MIG con TPU non supportano le seguenti funzionalità:

Passaggi successivi