Documentazione sull'orchestrazione di AI/ML su GKE
Google Kubernetes Engine (GKE) fornisce una piattaforma unificata per orchestrare l'intero ciclo di vita di AI/ML. Ti offre la potenza e la flessibilità necessarie per potenziare i tuoi workload di addestramento, inferenza e agentici, in modo da semplificare l'infrastruttura e iniziare a ottenere risultati. Le funzionalità di orchestrazione allo stato dell'arte di GKE offrono quanto segue:
- Acceleratori hardware: accedi e gestisci le GPU e le TPU ad alte prestazioni di cui hai bisogno, sia per l'addestramento che per l'inferenza, su larga scala.
- Flessibilità dello stack: integrazione con i framework di computing distribuito, trattamento dati ed erogazione del modello che già conosci e di cui ti fidi.
- Semplicità di Kubernetes gestito: ottieni tutti i vantaggi di una piattaforma gestita per automatizzare, scalare e migliorare la sicurezza dell'intero ciclo di vita di AI/ML, mantenendo al contempo la flessibilità.
Esplora i nostri blog, tutorial e best practice per scoprire come GKE può ottimizzare i tuoi workload AI/ML. Per saperne di più sui vantaggi e sulle funzionalità disponibili, consulta la panoramica Introduzione ai workload AI/ML su GKE.
立获300美元免费赠金
Google Cloud新用户首次注册即可获得300美元赠金。此外，无论新老用户，均可免费使用20多款产品，积累动手实践经验。
立获300美元免费赠金
Google Cloud新用户首次注册即可获得300美元赠金。此外，无论新老用户，均可免费使用20多款产品，积累动手实践经验。
Risorse di documentazione
Gestisci l'infrastruttura e gli acceleratori di AI
- Concetto
- Concetto
- Concetto
- Best practice
- Best practice
- Best practice
- Guida rapida
- Video
- Video
Gestisci i workload di addestramento e inferenza
- Guida rapida
- Tutorial
- Istruzioni
- Tutorial
- Best practice
- Concetto
- Best practice
- Istruzioni
- Tutorial
Gestisci i workload agentici
- Concetto
- Concetto
- Istruzioni
- Best practice
- Istruzioni
- Tutorial
- Concetto
- Istruzioni
- Istruzioni
- Concetto
Risorse correlate
Ottimizza i workload di AI e ML con Cloud Storage e GKE
Scopri come utilizzare Cloud Storage FUSE per ottimizzare le prestazioni dei workload di AI e ML su GKE.
Ottimizza i workload AI e ML con Managed Lustre e GKE
Scopri come utilizzare Managed Lustre per ottimizzare le prestazioni dei workload di AI e ML su GKE.
Utilizza Kata Containers open source con Agent Sandbox su GKE
Scopri come utilizzare Kata Containers open source con Agent Sandbox su GKE per isolare l'esecuzione di codice non attendibile.
Esegui il deployment di un'applicazione di AI agentica su GKE con l'Agent Development Kit (ADK) e un LLM in hosting autonomo
Scopri come eseguire il deployment e gestire un'applicazione di AI agentica containerizzata su GKE, utilizzando l'Agent Development Kit (ADK) e vLLM per un'inferenza scalabile con Llama 3.1.
Esegui il deployment di un'applicazione di AI agentica su GKE con Agent Development Kit (ADK) e Agent Platform
Scopri come eseguire il deployment e gestire un'applicazione di AI agentica containerizzata su GKE, utilizzando l'Agent Development Kit (ADK) e Agent Platform per l'inferenza scalabile con Gemini 2.0 Flash.
Addestra un modello con PyTorch, Ray e GKE su GPU
Scopri come utilizzare GKE per addestrare un modello con Ray e PyTorch su GPU.
Addestra un LLM utilizzando JAX, Ray Train e TPU Trillium su GKE
Scopri come addestrare un LLM su GKE utilizzando JAX, MaxText, Ray Train e le TPU.
Addestramento multislice ed elastico su TPU utilizzando Ray Train su GKE
Scopri come eseguire workload di addestramento elastico e multislice su TPU utilizzando Ray Train su GKE.
Gestisci LLM aperti su GKE con un'architettura preconfigurata utilizzando Terraform
Scopri come eseguire il deployment e l'inferenza di LLM aperti su GKE utilizzando un'architettura preconfigurata con Terraform.
Gestisci LLM come Deepseek-R1 671B o Llama 3.1 405B su GKE
Scopri come gestire LLM, come DeepSeek-R1 671B e Llama 3.1 405B, su GPU multi-host in GKE utilizzando vLLM e LeaderWorkerSet (LWS).
Gestisci Gemma utilizzando le GPU su GKE con vLLM
Scopri come gestire i modelli aperti Gemma utilizzando le GPU su GKE con vLLM.
Gestisci un LLM utilizzando TPU Trillium su GKE con vLLM
Scopri come gestire un LLM utilizzando TPU Trillium su GKE con vLLM.
The following is a list of notable events in <b>2018 in science</b>. <h2>Events[edit]</h2> <h3>January[edit]</h2> * 1 January – Researchers at the University of Texas at Austin demonstrate a new method of 3D printing with multiple materials, including both hard and soft components.<sup>[1]</sup> * 2 January – A study published in the journal <i>Astrophysical Journal Letters</i> by researchers from the Harvard-Smithsonian Center for Astrophysics (CfA) suggests that the interstellar object ʻOumuamua may have been a "light sail" of artificial origin, sent to study our Solar System.<sup>[2]</sup><sup>[3]</sup> * 3 January * Computer security researchers disclose two major vulnerability design flaws in Intel and other microprocessors, named "Meltdown" and "Spectre", which allow hackers to steal sensitive data.<sup>[4]</sup><sup>[5]</sup> * Scientists at the University of Geneva announce the discovery of a "hot Neptune" designated WASP-166b, located 300 light years from Earth.<sup>[6]</sup> * 4 January – Researchers at the University of Pennsylvania and the Salk Institute announce they have successfully used gene therapy to reverse aging in mice.<sup>[7]</sup> * 5 January – Researchers at the University of Colorado Boulder report a new, more efficient way of creating solar fuels through water-splitting, using a metal oxide reactor.<sup>[8]</sup> * 8 January – Scientists at the University
Scopri come configurare l'erogazione di modelli multi-cluster con Ray Serve e GKE Inference Gateway.
Esegui il deployment di modelli open source utilizzando le TPU su GKE con Optimum TPU
Scopri come eseguire il deployment di LLM utilizzando le Tensor Processing Unit (TPU) su GKE con il framework di gestione Optimum TPU di Hugging Face.
Gestisci gli LLM su GKE con una strategia di provisioning delle GPU ottimizzata in termini di costi e ad alta affidabilità
Scopri come ottimizzare i costi per i workload di distribuzione di LLM su GKE utilizzando l'avvio flessibile di DWS.
Gestione di modelli linguistici di grandi dimensioni con KubeRay su TPU
Scopri come pubblicare modelli linguistici di grandi dimensioni (LLM) con KubeRay su TPU e come questo può contribuire a migliorare le prestazioni dei tuoi modelli.
Accelera il caricamento dei dati AI/ML con Hyperdisk ML
Scopri come semplificare e accelerare il caricamento dei pesi dei modelli di AI/ML su GKE utilizzando Hyperdisk ML.
Gestisci un LLM utilizzando le TPU su GKE con JetStream e PyTorch
Scopri come gestire un LLM utilizzando le Tensor Processing Unit (TPU) su GKE con JetStream tramite PyTorch.
Best practice per l'ottimizzazione dell'inferenza LLM con GPU su GKE
Scopri le best practice per ottimizzare le prestazioni di inferenza LLM con le GPU su GKE utilizzando i framework di gestione vLLM e Text Generation Inference (TGI).
Gestisci lo stack GPU con l'operatore GPU NVIDIA su GKE
Scopri quando utilizzare l'operatore GPU NVIDIA e come abilitarlo su GKE.
Configurare la scalabilità automatica per i carichi di lavoro LLM sulle TPU
Scopri come configurare l'infrastruttura di scalabilità automatica utilizzando Horizontal Pod Autoscaler (HPA) di GKE per eseguire il deployment dell'LLM Gemma utilizzando JetStream su host singolo.
Esegui il deployment di un'applicazione Ray Serve con un modello Stable Diffusion su GKE con TPU
Scopri come eseguire il deployment e l'erogazione di un modello Stable Diffusion su GKE utilizzando TPU, Ray Serve e il componente aggiuntivo Ray Operator.
Configura la scalabilità automatica per i workload LLM su GPU con GKE
Scopri come configurare l'infrastruttura di scalabilità automatica utilizzando Horizontal Pod Autoscaler (HPA) di GKE per eseguire il deployment dell'LLM Gemma con il framework di distribuzione Text Generation Interface (TGI) di Hugging Face.
Addestra Llama2 con Megatron-LM su macchine virtuali A3 Mega
Scopri come eseguire un workload PyTorch Megatron-LM basato su container su A3 Mega.
Esegui il deployment dei workload GPU in Autopilot
Scopri come richiedere acceleratori hardware (GPU) nei tuoi workload GKE Autopilot.
Gestisci un LLM con più GPU in GKE
Scopri come gestire Llama 2 70B o Falcon 40B utilizzando più GPU NVIDIA L4 con GKE.
Inizia a utilizzare Ray su GKE
Scopri come iniziare a utilizzare facilmente Ray su GKE eseguendo un workload su un cluster Ray.
Gestisci un LLM su GPU L4 con Ray
Scopri come gestire Falcon 7b, Llama2 7b, Falcon 40b o Llama2 70b utilizzando il framework Ray in GKE.
Orchestra i workload TPU multislice utilizzando JobSet e Kueue
Scopri come orchestrare un workload Jax su più sezioni TPU su GKE utilizzando JobSet e Kueue.
Monitoraggio dei workload GPU su GKE con NVIDIA Data Center GPU Manager (DCGM)
Scopri come osservare i workload delle GPU su GKE con NVIDIA Data Center GPU Manager (DCGM).
Guida rapida: addestra un modello con GPU su cluster GKE Standard
Questa guida rapida mostra come eseguire il deployment di un modello di addestramento con GPU in GKE e archiviare le previsioni in Cloud Storage.
Esecuzione del machine learning su larga scala su GKE
Questo video mostra in che modo GKE aiuta a risolvere i problemi comuni dell'addestramento di modelli di AI di grandi dimensioni su larga scala e le best practice per l'addestramento e l'erogazione di modelli di machine learning su larga scala in GKE.
TensorFlow su GKE Autopilot con accelerazione GPU
Questo blog post è una guida passo passo alla creazione, all'esecuzione e alla chiusura di un blocco note Jupiter abilitato per TensorFlow.
Implementa un sistema di coda dei job con condivisione della quota tra gli spazi dei nomi su GKE
Questo tutorial utilizza Kueue per mostrare come implementare un sistema di accodamento dei job e configurare la condivisione delle risorse e delle quote dei workload tra diversi namespace su GKE.
Crea un chatbot RAG con GKE e Cloud Storage
Questo tutorial mostra come integrare un'applicazione LLM (Large Language Model) basata sulla Retrieval-Augmented Generation con i file PDF caricati in un bucket Cloud Storage.
Analizza i dati su GKE utilizzando BigQuery, Cloud Run e Gemma
Questo tutorial mostra come analizzare set di dati di grandi dimensioni su GKE sfruttando BigQuery per l'archiviazione e l'elaborazione dei dati, Cloud Run per la gestione delle richieste e un LLM Gemma per l'analisi e le previsioni dei dati.
Pre-elaborazione dei dati distribuita con GKE e Ray: scalabilità per l'azienda
Scopri come sfruttare GKE e Ray per pre-elaborare in modo efficiente set di dati di grandi dimensioni per il machine learning.
Best practice per il caricamento dei dati per l'inferenza AI/ML su GKE
Scopri come velocizzare i tempi di caricamento dei dati per le tue applicazioni di machine learning su Google Kubernetes Engine.
Risparmia sulle GPU: scalabilità automatica più intelligente per i workload di inferenza GKE
Scopri come ottimizzare i costi di inferenza della GPU ottimizzando l'Horizontal Pod Autoscaler di GKE per la massima efficienza.
Gestisci in modo efficiente i modelli di AI ottimizzati con i microservizi NVIDIA NIM su GKE
Scopri come eseguire facilmente il deployment di microservizi NVIDIA NIM all'avanguardia su GKE e accelerare i tuoi workload di AI.
Accelera Ray in produzione con il nuovo operatore Ray su GKE
Scopri come Ray Operator su GKE semplifica i deployment di produzione di AI/ML, migliorando le prestazioni e la scalabilità.
Massimizza il throughput di distribuzione degli LLM per le GPU su GKE: una guida pratica
Scopri come massimizzare la velocità effettiva di pubblicazione dei modelli linguistici di grandi dimensioni (LLM) per le GPU su GKE, incluse le decisioni relative all'infrastruttura e le ottimizzazioni del server di modelli.
Best practice per l'esecuzione di workload in batch su GKE
Scopri come creare e ottimizzare piattaforme di elaborazione batch su GKE
Archiviazione AI/ML ad alte prestazioni tramite il supporto di SSD locali su GKE
Scopri come utilizzare gli SSD locali per fornire spazio di archiviazione AI/ML ad alte prestazioni su GKE.
Machine learning con JAX su Kubernetes con GPU NVIDIA
Scopri come eseguire applicazioni JAX multi-GPU e multi-nodo su GKE con GPU NVIDIA.
LiveX AI riduce i costi di assistenza clienti con agenti AI addestrati e forniti su GKE e NVIDIA AI
Come LiveX AI utilizza GKE per creare agenti AI che migliorano la soddisfazione dei clienti e riducono i costi.
Infrastruttura per un'applicazione di AI generativa compatibile con RAG utilizzando GKE e Cloud SQL
Architettura di riferimento per l'esecuzione di un'applicazione di AI generativa con Retrieval-Augmented Generation (RAG) utilizzando GKE, Cloud SQL, Ray, Hugging Face e LangChain.
Architettura di riferimento per una piattaforma di elaborazione batch su GKE
Architettura di riferimento per una piattaforma di elaborazione batch su GKE in modalità Standard che utilizza Kueue per gestire le quote delle risorse.
Innovazione nella ricerca brevettuale: come IPRally sfrutta l'AI con GKE e Ray
Come IPRally utilizza GKE e Ray per creare una piattaforma ML scalabile ed efficiente per ricerche di brevetti più rapide e accurate.
Approfondimento sulle prestazioni di Gemma su Google Cloud
Sfrutta Gemma su Cloud GPU e Cloud TPU per l'efficienza dell'inferenza e dell'addestramento su GKE.
Approfondimento di Gemma su GKE: innovazioni per gestire i modelli aperti di AI generativa
Utilizza i modelli aperti Gemma, i migliori della categoria, per creare applicazioni di AI portatili e personalizzabili ed eseguirne il deployment su GKE.
Pianificazione avanzata per AI/ML con Ray e Kueue
Orchestrare le applicazioni Ray in GKE con KubeRay e Kueue.
Come proteggere Ray su Google Kubernetes Engine
Applica insight sulla sicurezza e tecniche di protezione per l'addestramento dei workload AI/ML utilizzando Ray su GKE.
Progetta lo spazio di archiviazione per i workload di AI e ML in Google Cloud
Seleziona la migliore combinazione di opzioni di archiviazione per i workload di AI e ML su Google Cloud.
L'installazione automatica dei driver semplifica l'utilizzo delle GPU NVIDIA in GKE
Installa automaticamente i driver GPU Nvidia in GKE.
Accelera il tuo percorso verso l'AI generativa con il framework NVIDIA NeMo su GKE
Addestra modelli di AI generativa utilizzando GKE e il framework NVIDIA NeMo.
Perché GKE per i tuoi workload di AI Ray?
Migliora la scalabilità, l'efficienza in termini di costi, la tolleranza di errore, l'isolamento e la portabilità utilizzando GKE per i workload Ray.
Semplificare le operazioni MLOps con Weights & Biases con Google Kubernetes Engine
Semplifica il processo di sviluppo e deployment dei modelli utilizzando Weights & Biases con GKE.
Esecuzione dell'AI su GKE completamente gestito, ora con nuove opzioni di computing, prezzi e prenotazioni di risorse
Ottieni un migliore supporto GPU, prestazioni migliorate e prezzi più bassi per i workload AI/ML con GKE Autopilot.
In che modo SEEN ha aumentato l'output di 89 volte e ridotto i costi delle GPU del 66% utilizzando GKE
Una startup scala l'output di video personalizzati con GKE.
In che modo Spotify sta promuovendo l'innovazione del ML con Ray e GKE
In che modo Ray sta trasformando lo sviluppo del ML su Spotify.
In che modo Ordaōs Bio sfrutta l'AI generativa su GKE
Ordaōs Bio, uno dei principali acceleratori di AI per la ricerca e la scoperta biomedica, sta trovando soluzioni per nuove immunoterapie in oncologia e malattie infiammatorie croniche.
GKE da una startup in crescita basata sul machine learning
Come Moloco, una startup della Silicon Valley, ha sfruttato la potenza di GKE e Tensor Flow Enterprise per rafforzare la propria infrastruttura di machine learning (ML).
Miglioramento di 4 volte del tempo di lancio di Stable Diffusion su GKE
Scopri come migliorare il tempo di lancio di Stable Diffusion su GKE.
Esempi di Google Kubernetes Engine (GKE)
Visualizza le applicazioni di esempio utilizzate nei tutorial ufficiali dei prodotti GKE.
Esempi di GKE AI Labs
Visualizza esempi sperimentali per sfruttare GKE e accelerare le tue iniziative di AI/ML.
Piattaforme accelerate GKE
Visualizza le architetture di riferimento e le soluzioni per il deployment di workload accelerati su GKE.