I cluster di addestramento gestiti su Gemini Enterprise Agent Platform sono un servizio di Google Cloud progettato per semplificare e accelerare i workload AI/ML più grandi e complessi. È progettato specificamente per affrontare le sfide dell'addestramento su larga scala, come la configurazione complessa dei cluster, l'ottimizzazione del framework, la gestione degli errori hardware e l'integrazione di set di strumenti disparati.
Proposta di valore e funzionalità principali
I cluster di addestramento gestiti offrono diversi vantaggi principali:
UX Slurm open source e trasparenza dei cluster: Managed Training Clusters fornisce strumenti familiari e flessibili per lanciare e gestire i job tramite un'esperienza utente Slurm open source. Slurm è uno standard di settore noto per la pianificazione ottimizzata delle GPU, la tolleranza di errore automatizzata e l'avvio semplificato dei job paralleli.
Configurazione e setup automatici dei cluster: Managed Training Clusters automatizza il setup e la configurazione dei cluster, con l'obiettivo di passare dalla prenotazione all'addestramento in produzione in poche ore. Gli utenti possono creare cluster utilizzando la console Google Cloud (utilizzando architetture di riferimento o la configurazione passo passo) o tramite chiamate API con file JSON.
Workflow e formule di data science preconfigurati: i cluster di addestramento gestiti includono strumenti appositamente progettati e formule di addestramento ottimizzate per avviare l'addestramento per casi d'uso comuni come i modelli Llama e Gemma, che coprono il pre-addestramento, l'SFT (fine-tuning supervisionato) e l'apprendimento per rinforzo (RL). Queste ricette sono preconfigurate per prestazioni elevate sull'infrastruttura Google Cloud, dimostrando significativi miglioramenti delle prestazioni.
Resilienza dell'hardware e uptime elevato: Managed Training Clusters è progettato con resilienza dell'hardware per aumentare l'uptime del cluster. Risolve automaticamente i problemi hardware, rileva e classifica varie modalità di errore (ad esempio, controlli di correttezza, controlli di velocità, errori di codice di correzione degli errori (ECC), controlli di NVIDIA Data Center GPU Manager (DCGM), capacità di spazio su disco) e attiva azioni di correzione come il riavvio, la ricreazione dell'immagine o la sostituzione dei nodi difettosi e il ripristino dai checkpoint. Ciò contribuisce a mitigare il significativo aumento dei costi e i ritardi causati dalle interruzioni dei job e dagli errori hardware nell'addestramento su larga scala.
Architettura e componenti: i cluster di addestramento gestiti vengono eseguiti sull'infrastruttura Compute Engine che supporta GPU e CPU. Sfrutta un orchestratore Slurm gestito per il deployment e la gestione dei nodi di computing, inclusi i nodi di accesso e i nodi worker. Il servizio si integra con altri servizi Google Cloud , come il networking e lo spazio di archiviazione.
MLOps e osservabilità: si integra con gli strumenti MLOps di Agent Platform, come Gemini Enterprise Agent Platform Model Registry per la registrazione, il monitoraggio e il controllo delle versioni automatici dei workflow addestrati, e Gemini Enterprise Agent Platform Inference per il deployment con scalabilità automatica e metriche automatizzate. I cluster di addestramento gestiti offrono anche l'integrazione automatica dell'osservabilità con Vertex AI TensorBoard per visualizzare i processi di addestramento, monitorare le metriche e identificare i problemi in anticipo.
I cluster di addestramento possono essere creati, recuperati, elencati, aggiornati ed eliminati utilizzando l'API Gemini Enterprise Agent Platform Training Clusters. Puoi anche visualizzare i tuoi cluster nella console Google Cloud , che aggiunge le dashboard di Cloud Monitoring per il cluster. Dopo la creazione del cluster, gli utenti possono convalidarne la funzionalità accedendo ai nodi, eseguendo comandi Slurm di base (ad esempio sinfo, sbatch) ed eseguendo workload relativi alla GPU (ad esempio nvidia-smi). L'API Slurm Job consente di gestire i job Slurm direttamente tramite l'API Agent Platform.
I cluster di addestramento gestiti forniscono un'API per l'avvio di job LLM predefiniti utilizzando ricette ottimizzate per modelli come Llama e Gemma, supportando il pre-addestramento e il pre-addestramento continuo dai checkpoint. Il monitoraggio dei job è possibile accedendo al nodo di accesso ed esaminando i file di output e i comandi Slurm come squeue.
Terminologia
Questa sezione fornisce le definizioni dei termini e dei concetti chiave essenziali per comprendere e utilizzare in modo efficace i cluster di addestramento gestiti. Questi termini riguardano i componenti dei servizi principali, le considerazioni sull'architettura, le tecnologie di archiviazione integrate e i concetti fondamentali di machine learning (ML) e MLOps alla base del tuo ambiente di addestramento.
Concetti principali del servizio
nodo
- Una singola macchina virtuale (istanza di Compute Engine) all'interno di un cluster. Nel contesto dell'addestramento gestito su cluster prenotati, un nodo si riferisce a una singola macchina virtuale (VM) che funge da singola unità di calcolo all'interno del cluster. Immaginala come una delle macchine worker dedicate che esegue una parte del job di addestramento complessivo. Ogni nodo è dotato di risorse specifiche come CPU, memoria e acceleratori (ad esempio GPU A3 o A4) e tutti i nodi collaborano in modo coordinato per gestire attività di addestramento distribuite su larga scala.
nodo di accesso
- Un nodo di accesso è il punto di accesso principale per un utente per accedere al cluster, inviare job e gestire i file. Per saperne di più, consulta Che cos'è il computing ad alte prestazioni?.
partition
- In Slurm, un gruppo logico di nodi, spesso utilizzato per separare i nodi con configurazioni hardware diverse.
recipe
- Nel contesto dell'addestramento gestito, una formula è un pacchetto completo e riutilizzabile che contiene tutto il necessario per eseguire un workload di addestramento su larga scala specifico.
Cluster Slurm
- Una raccolta di istanze di Compute Engine, gestite da Slurm, che include un nodo di accesso e più nodi worker configurati per l'esecuzione di job di addestramento. Per saperne di più, consulta Gestore dei workload Slurm.
nodo worker
- Un nodo worker si riferisce a una singola macchina o istanza di computing all'interno di un cluster responsabile dell'esecuzione di attività o del lavoro. In sistemi come i cluster Kubernetes o Ray, i nodi sono le unità di computing fondamentali. Per saperne di più, consulta Che cos'è il computing ad alte prestazioni (HPC)?
Architettura e networking
rete VPC consumer
- Una rete VPC consumer è un Virtual Private Cloud (VPC) Google Cloud che accede privatamente a un servizio ospitato in un altro VPC (noto come VPC producer). Per saperne di più, consulta Private Service Connect.
Unità massima di trasmissione (MTU)
- La dimensione massima di un pacchetto di dati che un dispositivo connesso alla rete può trasmettere. Dimensioni MTU maggiori (frame jumbo) possono migliorare le prestazioni di rete per determinati workload. Per saperne di più, consulta Unità massima di trasmissione.
accesso privato ai servizi
- L'accesso privato ai servizi è una connessione privata tra la tua rete virtual private cloud (VPC) e le reti di proprietà di Google o di fornitori di servizi di terze parti. Consente alle istanze di macchine virtuali (VM) nella tua rete VPC di comunicare con questi servizi utilizzando indirizzi IP interni, evitando l'esposizione alla rete internet pubblica. Per saperne di più, consulta Accesso privato ai servizi.
Peering di rete VPC
- Una connessione di rete che consente a due reti VPC di comunicare privatamente. Nel contesto dell'addestramento gestito su cluster prenotati, il peering di rete VPC è un componente fondamentale per l'integrazione dei servizi essenziali. Ad esempio, è il metodo richiesto per connettere il VPC del cluster a un'istanza Filestore, che fornisce la directory `/home` condivisa necessaria per tutti i nodi del cluster.
zona
- Un'area di deployment specifica all'interno di una regione Google Cloud. Nel contesto dell'addestramento gestito su cluster prenotati, per ottenere le migliori prestazioni, tutti i componenti del servizio (il cluster, Filestore e le istanze di Managed Lustre) devono essere creati nella stessa zona.
Tecnologie di archiviazione integrate
Cloud Storage FUSE
- Un adattatore FUSE open source che consente di montare i bucket Cloud Storage come file system su sistemi Linux o macOS. Per saperne di più, consulta Cloud Storage FUSE.
Filestore
- Un servizio di archiviazione di file ad alte prestazioni completamente gestito di Google Cloud, spesso utilizzato per applicazioni che richiedono un file system condiviso. Per saperne di più, consulta la panoramica di Filestore.
Managed Lustre
- Un file system parallelo e distribuito progettato per il computing ad alte prestazioni. Managed Lustre di Google Cloud fornisce un file system con throughput elevato per workload impegnativi. Per saperne di più, consulta la panoramica di Managed Lustre.
livello di prestazioni
- Un'impostazione di configurazione per un'istanza Managed Lustre che definisce la velocità di throughput (in MBps per TiB) e influisce sulla capacità minima e massima.
Concetti chiave di ML e MLOps
checkpoint
- Dati che acquisiscono lo stato dei parametri di un modello durante l'addestramento o al termine dell'addestramento. Ad esempio, durante l'addestramento, puoi: 1. Interrompere l'addestramento, intenzionalmente o a causa di determinati errori. 2. Cattura il checkpoint. 3. In un secondo momento, ricarica il checkpoint, possibilmente su un hardware diverso. 4. Riavvia l'addestramento. In Gemini, un checkpoint si riferisce a una versione specifica di un modello Gemini addestrato su un set di dati specifico.
Fine-tuning supervisionato (SFT)
- Una tecnica di machine learning in cui un modello preaddestrato viene ulteriormente addestrato su un set di dati etichettato più piccolo per adattarlo a un'attività specifica.
Vertex AI Inference
- Un servizio Vertex AI che ti consente di utilizzare un modello di machine learning (ML) addestrato per fare inferenze da dati nuovi e mai visti. Vertex AI fornisce servizi per il deployment di modelli per l'inferenza. Per saperne di più, consulta Ottieni inferenze da un modello con addestramento personalizzato.
Vertex AI Model Registry
- Vertex AI Model Registry è un repository centrale in cui puoi gestire il ciclo di vita dei tuoi modelli ML. In Vertex AI Model Registry, hai una panoramica dei tuoi modelli, in modo da poter organizzare, monitorare e addestrare meglio le nuove versioni. Quando hai una versione del modello di cui vuoi eseguire il deployment, puoi assegnarla a un endpoint direttamente dal registry o, utilizzando gli alias, eseguire il deployment dei modelli in un endpoint. Per ulteriori informazioni, consulta Introduzione a Vertex AI Model Registry.
Vertex AI TensorBoard
- Vertex AI TensorBoard è un servizio gestito e scalabile su Google Cloud che consente ai data scientist e ai tecnici ML di visualizzare i propri esperimenti di machine learning, eseguire il debug dell'addestramento dei modelli e monitorare le metriche sul rendimento utilizzando la familiare interfaccia open source di TensorBoard. Si integra perfettamente con Vertex AI Training e altri servizi, fornendo archiviazione permanente per i dati degli esperimenti e consentendo l'analisi collaborativa dello sviluppo dei modelli. Per saperne di più, consulta Introduzione a Vertex AI TensorBoard.