Usa GPUs para ejecutar la inferencia de IA en Cloud Run. Si no conoces los conceptos de IA, consulta GPUs para IA. Las GPUs se usan para entrenar y ejecutar modelos de IA. Esto puede brindarte un rendimiento más estable con la capacidad de ajustar las cargas de trabajo según tu utilización general. Consulta Compatibilidad con GPU para servicios, trabajos, y grupos de trabajadores para obtener más información sobre las configuraciones de GPU.
Instructivos para servicios
- Ejecuta Gemma en Cloud Run
- Ejecuta la inferencia de LLM en GPUs de Cloud Run con Gemma y Ollama
- Ejecuta OpenCV en Cloud Run con aceleración de GPU
- Ejecuta la inferencia de LLM en GPUs de Cloud Run con Hugging Face Transformers.js