La gestione dell'inferenza è fondamentale per il deployment dei modelli di AI generativa in applicazioni reali. GKE fornisce una piattaforma solida e scalabile per la gestione dei workload containerizzati, il che la rende una scelta interessante per la distribuzione dei modelli in fase di sviluppo o produzione. Con GKE, puoi utilizzare le funzionalità di Kubernetes per l'orchestrazione, la scalabilità e l'alta affidabilità per eseguire il deployment e gestire in modo efficiente i tuoi servizi di inferenza.
Riconoscendo le esigenze specifiche dell'inferenza AI/ML, Google Cloud ha introdotto le funzionalità di AI generativa di GKE, una suite di funzionalità progettate specificamente per migliorare e ottimizzare l'inferenza su GKE. Per saperne di più su funzionalità specifiche, consulta Funzionalità di AI generativa di GKE.
Inizia a utilizzare l'inferenza dei modelli di AI/ML su GKE
Puoi iniziare a esplorare l'inferenza dei modelli di AI/ML su GKE in pochi minuti. Puoi utilizzare il Livello senza costi di GKE, che ti consente di iniziare a utilizzare Kubernetes senza sostenere costi per la gestione dei cluster.
- Prova i passaggi descritti in Esegui il deployment dei modelli per eseguire il deployment di un modello containerizzato e di un server di modelli.
- Leggi la Panoramica delle best practice per l'inferenza su GKE, che contiene indicazioni e risorse per pianificare ed eseguire i workload di inferenza su GKE.
Terminologia
Questa pagina utilizza la seguente terminologia relativa all'inferenza su GKE:
- Inferenza: il processo di esecuzione di un modello di AI generativa, come un modello linguistico di grandi dimensioni o un modello di diffusione, all'interno di un cluster GKE per generare testo, embedding o altri output dai dati di input. L'inferenza dei modelli su GKE sfrutta gli acceleratori per gestire in modo efficiente calcoli complessi per l'elaborazione in tempo reale o batch.
- Modello: un modello di AI generativa che ha appreso pattern dai dati e viene utilizzato per l'inferenza. I modelli variano per dimensioni e architettura, dai modelli più piccoli specifici per un dominio alle reti neurali di grandi dimensioni con miliardi di parametri ottimizzate per diverse attività linguistiche.
- Server di modelli: un servizio containerizzato responsabile della ricezione delle richieste di inferenza e della restituzione delle inferenze. Questo servizio potrebbe essere un'app Python o una soluzione più solida come vLLM, TensorFlow Serving o Triton Inference Server. Il server di modelli gestisce il caricamento dei modelli in memoria ed esegue i calcoli sugli acceleratori per restituire le inferenze in modo efficiente.
- Acceleratore: hardware specializzato, come le unità di elaborazione grafica (GPU) di NVIDIA e le Tensor Processing Unit (TPU) di Google, che può essere collegato ai nodi GKE per velocizzare i calcoli, in particolare per le attività di addestramento e inferenza.
- Quantizzazione: una tecnica utilizzata per ridurre le dimensioni dei modelli di AI/ML e migliorare la velocità di inferenza convertendo i pesi e le attivazioni del modello da tipi di dati con precisione più elevata a tipi di dati con precisione inferiore.
Vantaggi di GKE per l'inferenza
La gestione delle inferenze su GKE offre diversi vantaggi:
- Rapporto prezzo/prestazioni efficiente: ottieni valore e velocità per le tue esigenze di gestione dell'inferenza. GKE ti consente di scegliere tra una gamma di potenti acceleratori (GPU e TPU), in modo da pagare solo per le prestazioni di cui hai bisogno.
- Deployment più rapido: accelera il time-to-market con best practice, qualifiche e best practice personalizzate fornite dalle funzionalità di AI generativa di GKE.
- Prestazioni scalabili: fai lo scale out delle prestazioni con il monitoraggio predefinito utilizzando GKE Inference Gateway, la scalabilità automatica orizzontale dei pod (HPA) e le metriche personalizzate. Puoi eseguire una serie di modelli preaddestrati o personalizzati, da 8 miliardi di parametri fino a 671 miliardi di parametri.
- Portabilità completa: sfrutta la portabilità completa con gli standard aperti. Google contribuisce alle API Kubernetes chiave, tra cui Gateway e LeaderWorkerSet, e tutte le API sono portatili con le distribuzioni Kubernetes.
- Supporto dell'ecosistema: sfrutta il solido ecosistema di GKE, che supporta strumenti come Kueue per la gestione e l'accodamento avanzati delle risorse e Ray per il computing distribuito, per facilitare l'addestramento e l'inferenza dei modelli scalabili ed efficienti.
Come funziona l'inferenza su GKE
Questa sezione descrive, a livello generale, i passaggi per utilizzare GKE per l'inferenza:
Containerizza il modello: containerizzare un'applicazione significa creare un'immagine container, ovvero un pacchetto eseguibile che include tutto il necessario per eseguire l'applicazione: codice, runtime, strumenti di sistema, librerie di sistema e impostazioni. Un'applicazione semplice può essere containerizzata come una singola unità, mentre un'applicazione più complessa può essere suddivisa in più componenti containerizzati. Esegui il deployment di un modello containerizzando il server di modelli (ad esempio vLLM) e caricando i pesi del modello da Cloud Storage o da un repository come Hugging Face. Quando utilizzi la guida rapida all'inferenza di GKE, l'immagine containerizzata viene gestita automaticamente nel manifest.
Crea un cluster GKE: crea un cluster GKE per ospitare il tuo deployment. Scegli Autopilot per un'esperienza gestita o Standard per la personalizzazione. Configura le dimensioni del cluster, i tipi di nodi e gli acceleratori. Per una configurazione ottimizzata, utilizza la guida rapida all'inferenza.
Esegui il deployment del modello come deployment Kubernetes: crea un deployment Kubernetes per gestire il servizio di inferenza. Un deployment è un oggetto API Kubernetes che consente di eseguire più repliche di pod distribuite tra i nodi di un cluster. Specifica l'immagine Docker, le repliche e le impostazioni. Kubernetes esegue il pull dell'immagine ed esegue i container sui nodi del cluster GKE. Configura i pod con il server di modelli e il modello, inclusi gli adattatori LoRA, se necessario.
Esponi il servizio di inferenza: rendi accessibile il servizio di inferenza creando un servizio Kubernetes per fornire un endpoint di rete per il tuo deployment. Utilizza Inference Gateway per il bilanciamento del carico e il routing intelligenti, specificamente personalizzati per i workload di inferenza dell'AI generativa, oppure consulta il confronto delle strategie di bilanciamento del carico per scegliere l'opzione migliore per le tue esigenze.
Gestisci le richieste di inferenza: invia i dati dai client dell'applicazione all'endpoint del servizio nel formato previsto (JSON, gRPC). Se utilizzi un bilanciatore del carico, questo distribuisce le richieste alle repliche del modello. Il server di modelli elabora la richiesta, esegue il modello e restituisce l'inferenza.
Scala e monitora il deployment dell'inferenza: scala l'inferenza con HPA per regolare automaticamente le repliche in base alla CPU o alla latenza. Horizontal Pod Autoscaler (HPA) è un controller Kubernetes che aumenta o diminuisce automaticamente il numero di pod in un workload (ad esempio un deployment) in base alle metriche osservate, come l'utilizzo della CPU o le metriche personalizzate. Utilizza Inference Quickstart per ricevere suggerimenti di scalabilità generati automaticamente. Per monitorare le prestazioni, utilizza Cloud Monitoring e Cloud Logging con l'osservabilità predefinita, incluse le dashboard per i server di modelli più diffusi come vLLM.
Per esempi dettagliati che utilizzano modelli, server di modelli e acceleratori specifici, consulta Esempi di inferenza.
Funzionalità di AI generativa di GKE
Puoi utilizzare queste funzionalità insieme o singolarmente per affrontare le sfide principali relative alla gestione dei modelli di AI generativa e al miglioramento dell'utilizzo delle risorse all'interno del tuo ambiente GKE, senza costi aggiuntivi.
| Nome | Descrizione | Vantaggi |
|---|---|---|
| GKE Inference Quickstart |
Analizza le prestazioni e l'efficienza dei costi dei tuoi workload di inferenza. Specifica le tue esigenze aziendali e ricevi best practice personalizzate per la combinazione di acceleratori, configurazioni di scalabilità e archiviazione e server di modelli che meglio soddisfa le tue esigenze. Puoi accedere a questo servizio con gcloud CLI e la console Google Cloud . Per saperne di più, consulta Analizza le prestazioni e i costi di erogazione del modello con GKE Inference Quickstart. |
|
| GKE Inference Gateway | Ottieni il routing in base a metriche, come l'utilizzo della cache KV, per una latenza migliore. Per saperne di più, consulta Informazioni su GKE Inference Gateway |
|
| Acceleratori di caricamento dei pesi del modello | Accedi rapidamente ai dati in Cloud Storage utilizzando Cloud Storage FUSE con memorizzazione nella cache e download paralleli. Per ulteriori informazioni sull'utilizzo di Cloud Storage FUSE per i workload AI/ML, consulta l'architettura di riferimento. Google Cloud Managed Lustre è un file system parallelo completamente gestito ad alte prestazioni ottimizzato per l'AI che può essere collegato a 10.000 o più pod. Per saperne di più sull'utilizzo di Managed Lustre per i workload AI/ML, consulta l'architettura di riferimento. Google Cloud Hyperdisk ML è un disco collegato alla rete che può essere collegato a un massimo di 2500 pod. |
|
Metriche sul rendimento dell'inferenza
Per ottimizzare i workload di inferenza, è importante capire come misurarne il rendimento. La tabella seguente descrive le metriche chiave per il benchmarking delle prestazioni di inferenza su GKE.
| Indicatori di benchmark | Metrico (unità) | Descrizione |
|---|---|---|
| Latenza | Tempo al primo token (TTFT) (ms) | Tempo necessario per generare il primo token per una richiesta. |
| Tempo normalizzato per token di output (NTPOT) (ms) | Latenza della richiesta normalizzata in base al numero di token di output, misurata come request_latency / total_output_tokens. |
|
| Tempo per token di output (TPOT) (ms) | Tempo necessario per generare un token di output, misurato come (request_latency - time_to_first_token) / (total_output_tokens - 1). |
|
| Latenza tra token (ITL) (ms) | Misura la latenza tra due generazioni di token di output. A differenza del TPOT, che misura la latenza nell'intera richiesta, l'ITL misura il tempo necessario per generare ogni singolo token di output. Queste singole misurazioni vengono poi aggregate per produrre valori medi, mediani e percentili, come p90. | |
| Latenza della richiesta (ms) | Tempo end-to-end per completare una richiesta. | |
| Throughput | Richieste al secondo | Numero totale di richieste che gestisci al secondo. Tieni presente che questa metrica potrebbe non essere un modo affidabile per misurare il throughput dell'LLM, perché può variare notevolmente per finestre contestuali diverse. |
| Token di output al secondo | Una metrica comune misurata come total_output_tokens_generated_by_server / elapsed_time_in_seconds. |
|
| Token di input al secondo | Misurato come total_input_tokens_generated_by_server / elapsed_time_in_seconds. |
|
| Token al secondo | Misurato come total_tokens_generated_by_server / elapsed_time_in_seconds. Questa metrica conteggia sia i token di input che quelli di output, aiutandoti a confrontare i workload con tempi di pre-compilazione elevati rispetto a quelli con tempi di decodifica elevati. |
Pianificazione dell'inferenza
Un deployment di inferenza di successo richiede un'attenta pianificazione in diverse aree chiave, tra cui l'efficienza dei costi, le prestazioni e la flessibilità, l'efficienza e la disponibilità della capacità dell'acceleratore. Per suggerimenti dettagliati su come creare una piattaforma di inferenza scalabile, performante e conveniente, consulta Panoramica delle best practice per l'inferenza su GKE.
Prova gli esempi di inferenza
Trova esempi di deployment GKE per modelli di AI generativa, acceleratori e server di modelli. Se hai appena iniziato, ti consigliamo di esplorare il tutorial Gestisci i modelli aperti Gemma utilizzando le GPU su GKE con vLLM.
In alternativa, cerca un tutorial per parola chiave:
| Acceleratore | Server di modelli | Tutorial |
|---|---|---|
| GPU | vLLM | Pubblica LLM come DeepSeek-R1 671B o Llama 3.1 405B su GKE |
| GPU | vLLM | Gestisci i modelli aperti Gemma utilizzando le GPU su GKE con vLLM |
| GPU | vLLM | Gestisci un LLM con GKE Inference Gateway |
| GPU | vLLM | Esegui il deployment di LLM aperti su GKE con un'architettura preconfigurata |
| GPU | Ray Serve | Gestisci un LLM su GPU L4 con Ray |
| GPU | TGI | Gestisci un LLM con più GPU in GKE |
| GPU | TorchServe | Esegui il deployment di T5 su GKE con TorchServe |
| TPU | vLLM | Gestisci un LLM utilizzando TPU Trillium su GKE con vLLM |
| TPU | vLLM | Gestisci un LLM utilizzando TPU su GKE con KubeRay |
| TPU | MaxDiffusion | Esegui il deployment di Stable Diffusion XL (SDXL) utilizzando le TPU su GKE con MaxDiffusion |
| TPU | vLLM | Gestisci LLM aperti su TPU con un'architettura preconfigurata |
Passaggi successivi
- Visita il portale di orchestrazione di AI/ML su GKE per esplorare le nostre guide, i tutorial e i casi d'uso ufficiali per l'esecuzione di workload di AI/ML su GKE.
- Esplora gli esempi sperimentali per sfruttare GKE e accelerare le tue iniziative di AI/ML in GKE AI Labs.