智能体 AI 应用场景：对多模态数据进行分类

Last reviewed 2026-03-03 UTC

本文档提供了一种部署在 Cloud Run 上的多代理 AI 系统的高级架构，该系统可分析不同的多模态数据并生成高置信度的分类结果。这种方法通过将实时数据与历史标准答案进行匹配，对碎片化媒体进行交叉验证，从而生成有依据且可验证的分析洞见。

本文档的目标受众群体包括在云端构建和管理 AI 基础架构及应用的架构师、开发者和管理员。本文档假定您对 AI 代理和模型有基本的了解。本文档未提供有关设计和编码 AI 代理的具体指导。

本文档的部署部分列出了可用于学习如何构建和部署多智能体 AI 系统的代码示例。

架构

下图展示了多智能体 AI 系统的架构，该系统使用并行智能体设计模式来协调对多模态数据的独立分析，以生成单个分类结果。

对多模态数据进行分类的多智能体 AI 系统的架构。

该架构展示了以下数据传输：

  1. Web 应用向根代理发送请求，以分析一组用于分类的多模态数据。根代理是一个协调器代理，用于接收请求，并部署在 Cloud Run 服务上。
  2. 根代理会以以下方式处理请求：
    1. 根代理会启动 before_agent_callback 以收集环境配置、验证用户输入，并将资源路径保存在共享的会话状态中。所有子代理都可以访问共享会话状态，从而避免了冗余的调用来获取状态数据，并降低了总体延迟时间。
    2. 根代理使用 Gemini on Gemini Enterprise Agent Platform 来解读用户请求，并将任务分配给并行运行的专业子代理。
  3. 每个子代理都专注于特定领域，并独立执行以下任务：
    1. 图片和视频分析子代理会与自定义 Model Context Protocol (MCP) 服务器互动，以执行以下操作：
      1. 提取存储在 Cloud Storage 存储桶中的原始非结构化数据。
      2. 向 Gemini 发送请求，以解读输入数据、对数据进行分类并计算置信度。
      3. Gemini 会将建议的分类和置信度级别发送回自定义 MCP 服务器。
      4. 自定义 MCP 服务器将响应转发回子代理。
    2. 结构化数据分析师子智能体通过完成以下任务来协调分析：
      1. 与 BigQuery MCP 服务器互动，以提取存储在 BigQuery 数据集中的结构化上下文数据（例如历史记录、事件日志或传感器读数）。
      2. 结构化数据分析师向 Gemini 发送请求，要求其解读输入数据、对数据进行分类并计算置信度。
      3. Gemini 会将建议的分类和置信度返回给子代理。
  4. 每个子代理都会将建议的分类和置信度返回给根代理。
  5. 根代理使用 Gemini 总结专业子代理的输出，以生成单个高可信度的分类结果。
    • 如果专业子代理的大部分分类结果都匹配，根代理会将匹配的分类结果发送到 Web 应用。
    • 如果子代理未提供匹配的分类，则根代理会选择置信度最高的分类，并将其发送到 Web 应用。

使用的产品

此参考架构使用以下 Google Cloud 产品和工具：

如需了解如何为智能体 AI 系统选择替代组件（包括框架、智能体运行时、工具、内存和设计模式），请参阅选择智能体 AI 架构组件。

使用场景

此架构专为以下应用场景而设计：合成各种多模态数据，以用于分类和检测任务。为了提高准确性和可伸缩性，该架构采用多智能体 AI 系统，而不是单体式单智能体方法。这种设计模式可提供重点突出的指令，避免指令冲突，支持使用较小的工具集更快地做出决策，并支持独立更新，从而实现更稳健、更复杂的结果。

以下是本文档中描述的架构的一些用例示例：

  • 医学诊断：部署专业智能体来独立分析医学影像、患者症状和化验结果，从而提供全面的诊断评估。AI 系统会根据确定的置信度阈值总结这些发现，以便为临床医生提供有依据且可验证的洞见。
  • 欺诈检测：部署智能体来独立分析用户行为模式和交易数据（例如扫描的收据和商家账单），从而检测并标记潜在的欺诈行为。通过将文档中的直观证据与数字网络活动进行交叉对比，系统可以识别出差异，并标记任何单个代理识别出可疑指标的交易。
  • 文档处理：部署专门用于光学字符识别 (OCR)、文档分类和数据提取的代理，自动执行文档分类和信息提取。为了支持高可信度处理，AI 系统要求所有代理就输出达成一致。
  • 质量控制：通过部署专门的智能体进行视觉检查、传感器数据分析和规范检查，对产品质量进行分类或检测异常情况。系统会根据代理之间确定的置信度阈值来确定通过或失败。

设计考虑事项

如需在生产环境中实现此架构，请考虑以下建议：

如需了解设计因素和最佳实践，以及有关构建和部署多代理 AI 系统的建议，请参阅 Google Cloud中的多代理 AI 系统。

部署

如需部署此架构的示例实现，请尝试学习“回家之路”第 1 级 Codelab。

后续步骤

贡献者

作者：Samantha He | 技术文档工程师

其他贡献者：