在 Cloud Run 中使用 GPU 執行 AI 推論

Cloud Run 可讓您附加 GPU，部署開放模型並提供 AI 推論服務。您可以訓練、微調及執行模型，並加快模型運作速度。

如果您剛接觸 AI 概念，請參閱「AI 專用 GPU」。如要進一步瞭解設定選項，請參閱「服務」、「工作」和「工作人員集區」的 GPU 支援。

服務教學課程

• 在 Cloud Run 執行 Gemma
• 使用 Gemma 和 Ollama 在 Cloud Run GPU 上執行 LLM 推論
• 在 Cloud Run 上執行 OpenCV，並加快 GPU 運算速度
• 使用 Hugging Face Transformers.js 在 Cloud Run GPU 上執行 LLM 推論

工作教學課程

• 使用 Cloud Run 工作，透過 GPU 微調 LLM
• 使用 Cloud Run 工作在 GPU 上執行批次推論
• 在 Cloud Run 工作中，使用 FFmpeg 透過 GPU 加速影片轉碼