Com o Cloud Run, é possível anexar GPUs para implantar modelos abertos e veicular inferência de IA. É possível treinar, ajustar e executar modelos com performance acelerada.
Se você não conhece os conceitos de IA, consulte GPUs para IA. Para saber mais sobre as opções de configuração, consulte o suporte a GPU para serviços, jobs e pools de worker.
Tutoriais para serviços
- Executar o Gemma no Cloud Run
- Executar inferência de LLM em GPUs do Cloud Run com o Gemma e o Ollama
- Executar o OpenCV no Cloud Run com aceleração de GPU
- Executar inferência de LLM em GPUs do Cloud Run com o Transformers.js do Hugging Face