Generative AI RAG with Cloud SQL

借助 App Design Center 内的使用 Cloud SQL 的生成式 AI RAG 模板,您可以部署一个生成式 AI 对话应用,该应用使用检索增强生成 (RAG) 技术,根据贵组织的数据来生成回答。您可以自定义预配置的 Cloud Run、Vertex AI 和 Cloud SQL 向量数据库组件,以适应您的工作负载,并将其部署为应用。

例如,您可以实现此模板来满足以下业务需求:

示例 业务需求 实现
客户服务聊天机器人 公司需要提供即时客户服务。 在 Cloud Run 上托管聊天界面。Vertex AI 会处理嵌入,并根据 Cloud SQL 中以向量形式存储的技术文档生成回答。
内部人力资源助理 员工需要查找有关福利、公司政策和内部流程的信息。 在 Cloud Run 上托管 HR 助理。当员工向该工具查询时,Vertex AI 会从 Cloud SQL 中检索相关政策信息,以生成准确、有依据的回答。
法律文件研究员 法律团队需要快速在大型文档库中找到相关的判例法或合同条款。 在 Cloud Run 上托管研究门户。Vertex AI 使用 Cloud SQL 中以向量形式存储的法律文档,总结相关先例并识别合同中的特定措辞。
语义商品搜索 电子商务公司希望让用户能够使用自然语言描述(而非确切关键字)来搜索商品。 在 Cloud Run 上托管搜索界面。Vertex AI 会处理用户描述,从 Cloud SQL 中以向量形式存储的商品清单中返回语义上最相关的商品。

架构

下图展示了应用中的组件和连接:

设计画布中的生成式 AI RAG 应用。该应用包含前端、检索、AI、Secret Manager 和数据库组件。

以下是应用的请求处理流程:

  1. 将数据加载到 Cloud SQL 中的 PostgreSQL 数据库。
  2. Vertex AI 会创建文本字段的嵌入,并以向量形式存储在数据库中。
  3. Cloud Load Balancing 前端接收外部请求,并将流量分发到 Cloud Load Balancing 后端。
  4. Cloud Load Balancing 后端将流量分配到 Cloud Run 前端服务。
  5. 前端服务与检索服务通信,以进行生成式 AI 调用。
  6. 检索服务使用 Secret Manager 安全地访问访问 Vertex AI 和 Cloud SQL 所需的 API 密钥和凭证。
  7. 检索服务会将请求转换为嵌入,并在 Cloud SQL 数据库中搜索类似向量。
  8. 检索服务会将搜索结果以及原始提示发送到 Vertex AI 以创建回答。

后续步骤