本文档提供了一个应用的概要架构,该应用使用 AI 为客户的支持问题生成解决方案。
本文档的目标受众群体包括在云端构建和管理生成式 AI 应用的架构师、开发者和管理员。本文档假定您对生成式 AI 有基本的了解。
本文档的部署部分提供了 AI 辅助客户服务应用场景的代码示例。
架构
下图展示了 Google Cloud中 AI 辅助支持中心应用的架构。该应用会接收客户的问题,从知识库中检索相关资源,然后为问题生成解决方案。该架构是检索增强生成 (RAG) 方法的一种实现。
此架构中的应用由部署在 Google Kubernetes Engine (GKE) 集群中的容器化服务组成。该架构展示了以下流程:
- 客户向支持中心应用提交问题。
- 支持中心应用将客户的问题传递给知识检索器服务。
- 知识检索器服务会构建提示并将其发送到 Gemini Enterprise Agent Platform,以检索与客户问题相关的资源。
- Agent Platform 上的 Gemini 模型会从存储在 Cloud Storage 中的支持知识库中识别相关资源。
- Gemini 会将相关资源的 ID 返回给知识检索器服务。
- 知识检索器服务会从 Cloud Storage 检索相关资源。
- 知识检索器服务会将客户的问题和相关资源发送到解决方案生成器服务。
- 解决方案生成器服务会将这些资源发送到 Agent Platform,并附带提示,要求为客户的问题生成详细的解决方案。
- Gemini 会生成解决方案,例如分步说明或视频演示。
- 解决方案生成器服务通过支持中心应用向客户提供解决方案。
使用的产品
此示例架构使用以下 Google Cloud 产品:
- Google Kubernetes Engine (GKE):一种 Kubernetes 服务,可用于使用 Google 的基础架构来大规模部署和操作容器化应用。
- Gemini Enterprise Agent Platform:一个综合性平台,可让您构建、扩缩、治理和优化企业级 AI 智能体。
- Cloud Storage:适用于各种数据类型的费用低廉且不受限制的对象存储区。数据可从 Google Cloud内部和外部访问,并且跨位置进行复制以实现冗余。
设计考虑事项
本部分介绍了符合 Google Cloud Well-Architected Framework 的设计因素、最佳实践和建议。在使用此参考架构开发满足特定安全性、费用优化、运营效率和性能要求的拓扑时,请考虑这些信息。
安全性、隐私权和合规性
如需在 Google Cloud 中设计满足工作负载安全性、隐私权和合规性要求的拓扑,请考虑以下建议:
- 如需筛查不受信任的客户提示词和 RAG 回答,以防范提示词注入、越狱和有害内容,请使用 Model Armor。
- 如需检测和隐去支持服务工单和知识库文档中的个人身份信息 (PII),请集成 Sensitive Data Protection。
如需了解特定于 AI 和机器学习工作负载的安全原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:安全性。
费用优化
本部分提供的指导可帮助您优化在 Google Cloud中设置和操作客户支持拓扑的费用。
当支持提示反复共享系统指令和参考文档时,请在 Agent Platform 上启用上下文缓存。跨请求重复使用缓存的前缀词元可减少重复输入词元费用,并缩短响应延迟时间。
如需了解特定于 AI 和机器学习工作负载的费用优化原则和建议,请参阅 Well-Architected Framework 中的AI 和机器学习视角:费用优化。
运营效率
如需设计可高效运行的 Google Cloud 拓扑,请考虑以下建议:
- 如需在 Cloud Storage 上自动执行文档分块、嵌入和接地检索,请使用 Gemini Enterprise Agent Platform 上的 RAG 引擎。如需通过非结构化支持文章提供引用,实现开箱即用的企业搜索,您也可以使用 Agent Search 为回答提供依据。
- 如需编排多轮支持工作流和工具调用,请使用智能体开发套件 (ADK) 构建服务。如需在多轮对话中持久保存对话状态,请使用 Gemini Enterprise Agent Platform 会话。如需在多个支持会话中保留长期客户上下文,请将 Agent Platform 会话与 Memory Bank 配对。
- 如果您的团队不需要集群级 GKE 自定义,则可以在 Gemini Enterprise Agent Platform 上的 Agent Runtime 中部署支持代理。对于无状态容器化 HTTP 服务,您还可以在 Cloud Run 上运行工作负载,以减少基础架构管理开销。
- 在部署对提示、检索逻辑或模型的更新之前,请使用 Agent Platform 上的模型和代理评估来衡量依据性和回答质量。
如需了解特定于 AI 和机器学习工作负载的卓越运营原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:卓越运营。
性能优化
如需在 Google Cloud 中设计满足工作负载性能要求的拓扑,请考虑以下建议:
- 如需在大型支持知识库中实现低延迟语义检索,请在 Vector Search 中为文档嵌入建立索引。如需在单个集合中将向量和关键字搜索与自动嵌入生成相结合,请考虑使用智能体检索。
- 为了在支持流量高峰期间保持一致的响应延迟时间并避免配额耗尽,请在智能体平台上使用预配吞吐量预留容量。
如需了解特定于 AI 和机器学习工作负载的性能优化原则和建议,请参阅 Well-Architected 框架中的 AI 和机器学习视角:性能优化。
部署
如需在Google Cloud中试用 AI 辅助客户服务应用,请使用以下代码示例:
后续步骤
- 使用 Gemini 构建客户服务智能体。
- 在 Customer Experience Agent Studio 中使用指令、基于流程的智能体和数据存储区工具,为客户服务用例构建 AI 智能体。
- 探索更多生成式 AI 架构指南。
- 如需简要了解 Google Cloud中特定于 AI 和机器学习工作负载的架构原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角。
- 如需查看更多参考架构、图表和最佳实践,请浏览 Cloud 架构中心。
贡献者
作者: Kumar Dhanagopal | 跨产品解决方案开发者
其他贡献者:
- Amina Mansour | 全球开发者关系与战略内容技术主管
- Megan O'Keefe | 开发技术推广工程师
- Samantha He | 技术文档工程师
- Shir Meir Lador | 开发者关系工程经理