在 Cloud Run 上執行 AI 解決方案

Cloud Run 可讓您託管 AI 應用程式和代理、提供模型推論，以及建構 AI 工作流程。有了代管基礎架構和隨選擴充功能，您不必管理伺服器或叢集，就能執行容器化 AI 工作負載。

Cloud Run：託管 AI 應用程式、代理和可擴充的 API 端點

Cloud Run 提供全代管平台，可擴充 AI 應用程式和工作負載。

在 Cloud Run 託管 AI 應用程式時，通常會使用下列架構元件：

• 提供和自動化調度管理：將應用程式程式碼或容器部署至 Cloud Run。
• AI 模型：您在應用程式中使用 Google 的 AI 模型、開放原始碼模型或自訂模型。
• 整合：您可以連結 Google Cloud 服務或第三方服務，用於記憶體、資料庫、儲存空間、安全性等。
• 工具：您可以連結其他工作和作業的工具。

下圖概略說明如何使用 Cloud Run 做為 AI 應用程式的託管平台：

圖 1 託管於 Cloud Run 的 AI 應用程式元件。

如圖表所示：

1. 在服務和自動化調度管理層中，Cloud Run 服務會做為應用程式核心邏輯的可擴充 API 端點。這項服務會自動、快速且隨選調度執行個體資源，有效率地管理多位並行使用者。

   您需要提供容器，才能部署至 Cloud Run。您可以將應用程式及其依附元件封裝至容器，或提供原始碼，讓 Cloud Run 自動將程式碼建構至容器以進行部署。如要部署原始碼，您可以使用任何語言、開放式架構或 SDK 建構 AI 應用程式。

2. AI 應用程式會做為可擴充的 API 端點，處理傳入的要求，並將資料傳送至預先訓練的 AI 模型進行處理，然後傳回結果。

   Cloud Run 整合了 Google 的模型，例如 Gemini 和 Vertex AI 模型，並可與 Llama 和 Gemma 等開放原始碼模型整合。如果您有自行訓練的自訂模型，也可以將該模型與 Cloud Run 資源搭配使用。

3. Google Cloud 提供多種解決方案，可支援 AI 應用程式的基礎架構。 以下是一些適合與 AI 應用程式搭配使用的 Google Cloud 整合項目：

   • 記憶體和資料庫
     • 短期
       • Memorystore 是快取和臨時高存取資料管理代管服務，可為短期資料儲存庫提供快速的外部快取。
     • 長期
       • AlloyDB for PostgreSQL 是與 PostgreSQL 相容的資料庫，專為嚴苛的交易和分析工作負載而設計。這項服務提供內建的向量嵌入生成功能和高速向量索引，與標準 pgvector 實作相比，語意搜尋速度更快。
       • Cloud SQL 是適用於 MySQL、PostgreSQL 和 SQL Server 的關聯式資料庫服務，也可透過 PostgreSQL 的 pgvector 擴充功能做為向量儲存庫。
       • Firestore 是可擴充的 NoSQL 文件資料庫服務，內建向量搜尋功能。
   • 儲存空間
     • Cloud Storage 是物件儲存庫解決方案，可存放用於模型訓練的大型資料集、應用程式的輸入/輸出檔案，或模型構件。
   • 安全性
     • Secret Manager 是 Secret 和憑證管理服務，可安全集中儲存 API 金鑰、密碼和憑證等機密資料，這些資料通常是 AI 應用程式與外部服務互動時所需。

   詳情請參閱「連線至 Google Cloud 服務」。

4. 工具可讓 AI 應用程式和模型與外部或 Cloud Run 執行的服務、API 或網站互動。

   舉例來說，如果 AI 應用程式是 AI 代理，代理可能會傳送要求至 MCP 伺服器，執行外部工具，或使用在容器中執行的工具，例如執行程式碼、電腦使用、資訊檢索等。

在 Cloud Run 託管模型，執行 AI 推論

除了建構使用大型語言模型 (LLM) 的應用程式和代理，您也可以透過 Cloud Run 啟用 GPU，執行預先訓練或自訂自行部署的模型，進行 AI 推論。

Cloud Run GPU 可處理大量運算，執行 AI 推論工作負載所需的運算密集型工作。以容器映像檔或原始碼的形式部署 AI 模型，並使用多種方法部署 Cloud Run 資源。

後續步驟

• 探索 Cloud Run AI 資源