实现两塔检索以进行大规模候选生成

Last reviewed 2026-11-18 UTC

本文档提供了一个参考架构,展示了如何使用 Gemini Enterprise Agent Platform 实现端到端双塔候选集生成工作流。双塔建模框架是一种强大的检索技术,适用于个性化应用场景,因为它可学习两个不同实体(例如 Web 查询和候选项)之间的语义相似度。

本文档面向开发具有低延迟服务要求的大规模推荐应用的技术从业人员(例如数据科学家和机器学习工程师)。

架构

下图展示了一种架构,用于训练双塔模型并单独部署每个塔,以执行不同的部署和服务任务:

一种用于训练双塔模型并单独部署每个塔的架构。

图中显示的架构包括以下组件:

  • 训练数据:训练文件存储在 Cloud Storage 中。
  • 双塔训练:组合双塔模型使用 Gemini Enterprise Agent Platform 托管式训练服务进行离线训练;每个塔单独保存,用于不同的任务。
  • 注册的查询和候选塔:在塔进行训练之后,每个塔都会单独上传到 Gemini Enterprise Agent Platform 上的 Model Registry。
  • 部署的查询塔:注册的查询塔会部署到 Agent Platform 在线端点。
  • 批量预测嵌入:在批量推理作业中使用注册的候选塔来预计算所有可用候选项的嵌入表示法。
  • 嵌入 JSON:预测的嵌入会保存到 Cloud Storage 中的 JSON 文件。
  • ANN 索引:Agent Platform Vector Search 用于创建为近似最近邻 (ANN) 搜索而配置的服务索引。
  • 部署的索引:ANN 索引会部署到 Agent Platform Vector Search 索引端点。

使用的产品

此参考架构使用以下 Google Cloud 产品:

使用场景

为了满足低延迟服务要求,大规模推荐系统通常以两阶段系统的形式(有时以多阶段系统的形式)部署到生产环境中。第一阶段(候选集生成)的目标是筛选大量候选项,并检索由数百个项组成的相关子集,以用于下游过滤和排名任务。如需优化此检索任务,请考虑以下两个核心目标:

  1. 在模型训练期间,学习要解决的问题或任务的最佳表示法,并将此表示法编译为 <query, candidate> 嵌入。
  2. 在模型部署期间,以足够快的速度检索相关项以满足延迟时间要求。

下图显示了两阶段推荐系统的概念性组件:

两阶段推荐系统的概念性组件。

在图中,候选集生成会过滤数百万个候选项。排名操作随后会过滤生成的数百个候选项,以返回数十个推荐项。

本文档中的参考架构会训练基于双塔的检索模型。在该架构中,每个塔都是一个神经网络,用于处理查询或候选项特征,然后生成这些特征的嵌入表示法。每个塔都是单独部署的,因为每个塔都将用于生产中的不同任务:

  • 候选塔:候选塔用于预计算所有候选项的嵌入。预计算的嵌入会部署到针对低延迟检索而优化的 Vector Search 索引端点。
  • 部署的塔:在线传送期间,部署的查询塔会将原始用户查询转换为嵌入表示法。嵌入表示法随后用于在部署的索引中查找相似项嵌入。

双塔架构非常适合许多检索任务,因为双塔架构可以捕获查询和候选实体的语义关系,并将它们映射到共享嵌入空间。当实体映射到共享嵌入空间时,语义上相似的实体会聚集在一起,距离较近。因此,如果您计算给定查询的向量嵌入,则可以在嵌入空间中搜索最接近(最相似)的候选项。这类架构的主要优势在于能够分离查询和候选表示法的推理。这种分离的优势主要体现在以下两个方面:

  • 您可以提供新(新鲜)内容,而无需重新训练新内容词汇表。通过将任意一组项特征馈送到候选项塔,您可以计算任意一组候选(即使是训练期间未见过的候选)的项嵌入。执行此计算有助于解决冷启动问题。
    • 候选塔可以支持任意一组候选项,包括尚未与推荐系统互动的项。之所以能实现这种支持,是因为双塔架构会处理有关每个 <query, candidate> 对的丰富内容和元数据特征。这种处理可让系统根据已知项来描述未知项。
  • 您可以通过预计算所有候选内容嵌入来优化检索推理。这些预先计算的嵌入可以编入索引并部署到针对低延迟检索进行了优化的服务基础设施。
    • 塔的共同学习使您可以根据查询描述项,反之亦然。如果您有某个对的一半(例如查询),需要查找另一个对应项,则可以提前预计算等式的一半。预计算可让您尽可能快速地做出其余决策。

设计考虑事项

本部分介绍了符合 Google Cloud Well-Architected Framework 的设计因素、最佳实践和建议。在使用此参考架构开发满足特定安全性、可靠性、费用优化、运营效率和性能要求的拓扑时,请考虑这些信息。

安全性、隐私权和合规性

Agent Platform Vector Search 支持公共端点、虚拟私有云 (VPC) 网络对等互连和 Private Service Connect,以便进行索引端点部署。请考虑为您的工作负载选择以下网络安全选项:

  • 使用 Private Service Connect 进行专用连接:对于大多数不公开部署,请在 Vector Search 搜索索引端点上配置 Private Service Connect。借助 Private Service Connect,多个 VPC 网络和项目中的客户端可以通过您定义的内部 IP 地址查询索引,而无需预留专用 VPC 对等互连 IP 范围。
  • VPC 网络对等互连:如果您使用 VPC 网络对等互连,则只有在线向量匹配查询需要来自同一 VPC 网络的对等互连连接。例如,如果您从 Gemini Enterprise Agent Platform Workbench 实例向对等互连的索引端点发送在线查询,请在同一 VPC 网络中创建该实例。用于创建、部署或删除索引的控制平面 API 调用不需要 VPC 网络对等互连连接。
  • 数据渗漏防护:为防止训练、存储和传送资源之间发生未经授权的数据移动,请将 Agent Platform 和 Cloud Storage 置于 VPC Service Controls 服务边界内。

可靠性

为帮助确保在线候选集生成的高可用性,请在 Vector Search 搜索索引端点和在线模型端点之间配置冗余:

  • 索引副本配置:将索引部署到 Vector Search 端点时,请将 minReplicaCount 字段设置为每个分片至少 2 个副本。DeployedIndex 资源要求每个分片至少有两个副本,才能享受 Agent Platform 服务等级协议 (SLA) 的保障。
  • 自动扩缩阈值:监控已部署索引分片的 CPU 和内存利用率,并配置 maxReplicaCount 字段,以便在 CPU 或内存利用率持续超过 60% 时,Vector Search 可以添加副本。

费用优化

如需管理离线训练和在线向量服务的基础设施费用,请合理调整索引分片和计算资源的大小:

  • 索引分片和机器大小:创建和部署 Vector Search 索引时,请选择适合候选嵌入语料库的最小分片大小(例如,SHARD_SIZE_SMALL 值表示最多 2 GiB,SHARD_SIZE_MEDIUM 值表示最多 20 GiB)和兼容的机器类型。适当调整分片大小有助于避免过度预配常年运行的索引端点虚拟机。

运营效率

为了简化候选嵌入、特征流水线和索引更新的持续维护,请考虑以下功能:

  • 流式索引更新:本文档中的架构使用批量索引重建来定期更新候选目录。如果您的应用要求在几秒钟内将新的或更新的候选内容显示在推荐中,请配置 Vector Search 流式索引,而不是批量重新构建完整索引。
  • 混合搜索:如果您的查询包含确切的产品 SKU、标识符或域外关键字以及语义嵌入,请使用 Vector Search 中的混合搜索,通过倒数排序融合 (RRF) 将密集双塔嵌入和稀疏词元嵌入合并到单个索引中。
  • 在线特征传送:如果部署的查询塔在在线推理期间需要实时用户上下文或行为特征,请将 Agent Platform Feature Store 与 Bigtable 在线传送搭配使用,以便从 BigQuery 表中提取低延迟特征。
  • 自动化工作流编排:如需自动执行周期性数据准备、双塔训练、批量推理和索引部署步骤,请使用 Gemini Enterprise Agent Platform Pipelines 编排工作流。

性能优化

本部分介绍在使用此参考架构在 Google Cloud 中设计满足工作负载性能要求的拓扑时应考虑的因素。

分析训练作业

如需优化数据输入流水线和整体训练图表,请使用 Agent Platform SDK 中的 cloud_profiler 插件和 Vertex AI TensorBoard(提供开源 TensorBoard Profiler 的托管版本)分析训练性能。

在自定义训练脚本中初始化 cloud_profiler 模块并配置 tf.keras.callbacks.TensorBoard 回调后,训练作业会为每个周期分析设定数量的批次。分析会捕获来自主机 CPU 以及设备 GPU 或 Cloud TPU 硬件的跟踪记录。跟踪记录提供有关训练作业资源消耗的信息。为避免出现内存不足错误,请先将分析时长设置为 2 到 10 个训练步,然后根据需要增加时长。

如需了解如何使用 Agent Platform 托管式训练和 Vertex AI TensorBoard 分析自定义训练作业,请参阅分析模型训练性能。如需了解调试最佳实践,请参阅优化 GPU 性能。如需了解如何优化性能,请参阅使用 Profiler 优化 TensorFlow 性能。

充分利用加速器

在挂接 NVIDIA GPU 或 Cloud TPU 等训练加速器时,请务必充分利用它们。充分利用训练加速器是费用管理方面的最佳实践,因为加速器是架构中最昂贵的组件。充分利用训练加速器也是提高作业效率的最佳实践,因为避免空闲时间可降低整体资源消耗。

如需充分利用加速器,您通常需要执行几次迭代,即找到瓶颈、优化瓶颈,然后重复这些步骤,直到加速器设备利用率达到可接受的水平。由于此应用场景的许多数据集过大而无法放入内存,因此瓶颈通常出现在存储、主机虚拟机和加速器之间。

下图展示了机器学习训练输入流水线的概念性阶段:

机器学习训练输入流水线的概念性阶段。

在该图中,数据从存储空间读取并进行预处理。数据经过预处理后,会发送到设备。如需优化性能,请首先确定整体性能是受主机 CPU 限制,还是受加速器设备(GPU 或 TPU)限制。设备负责加速训练循环,而主机负责向设备馈送训练数据并从设备接收结果。以下部分介绍了如何通过提高输入流水线性能和设备性能来解决瓶颈。

提高输入流水线性能

如需减少主机输入流水线瓶颈,请使用以下方法:

  • 从存储空间读取数据:如需提高数据读取速度,请使用缓存、prefetching、顺序访问模式和并行 I/O。
  • 预处理数据:如需改进数据预处理,请为数据提取和转换配置并行处理,并对数据输入流水线中的 interleave 转换进行调优。
  • 向设备发送数据:如需缩短总作业时间,请将数据从主机并行传输到多个设备。
提高设备性能

如需在每个训练步骤中提高加速器利用率,请使用以下方法:

  • 增大小批次大小:小批次是指每个设备在训练循环的一次迭代中使用的训练样本数量。增加小批次大小时,您会增加操作之间的并行性并提高数据重用率。不过,小批次必须能够与训练程序的其余部分一起放入内存。如果您过度增加小批次大小,可能会遇到内存不足错误和模型偏差。
  • 矢量化用户定义的函数:通常,数据转换可以表示为用户定义的函数,用于描述如何转换输入数据集的每个元素。如需对此函数进行向量化处理,您可以一次对一批输入应用转换操作,而不是一次转换一个元素。任何用户定义的函数都会产生与调度和执行相关的开销。转换一批输入时,您只需为每批输入承担一次开销,而不是为每个数据集元素承担一次开销。
先纵向扩容再横向扩容

为训练作业配置计算资源时,请先纵向扩容,然后再横向扩容。在考虑使用多个性能较低的设备之前,请先选择一个更大、更强大的设备。请按以下顺序扩缩训练资源:

  1. 单个工作器 + 单个设备
  2. 单个工作器 + 功能更强大的设备
  3. 单个工作器 + 多台设备
  4. 分布式训练

如需评估 ANN 搜索的优势,您可以测量给定查询的延迟时间和召回率。为了帮助您对索引进行调优,Agent Platform Vector Search 提供了创建暴力索引的功能。暴力索引会以更高的延迟时间为代价来执行穷举搜索,从而找到给定查询向量的真正最近邻。暴力索引不适合用于生产环境,但在索引调优期间计算召回率时,它可提供良好的基准。

如需评估召回率与延迟时间之间的权衡,您可以将预计算的候选嵌入部署到为 ANN 搜索而配置的一个索引,以及部署到为暴力搜索而配置的另一个索引。暴力索引会返回绝对最近邻,但通常比 ANN 搜索花费的时间更长。您可能愿意牺牲一些检索召回率来换取检索延迟时间的缩短,但这种权衡应进行评估。影响召回率和延迟时间的其他特征包括:

  • 建模参数:许多建模决策会影响嵌入空间,而嵌入空间最终会成为服务索引。比较从浅层和深度检索模型构建的索引中检索到的候选内容。
  • 维度:维度是最终由模型决定的另一个方面。ANN 索引的维度必须与查询和候选塔向量的维度一致。
  • 拥挤和过滤标记:标记可提供强大的功能,用于针对不同的生产应用场景定制结果。最佳实践是了解标记如何影响检索到的候选项以及如何影响性能。
  • ANN 数量:增加此值会提高召回率,但可能会按比例增加延迟时间。
  • 要搜索的叶节点百分比:要搜索的叶节点百分比是评估召回率与延迟时间之间权衡的最关键选项。增加此值会提高召回率,但可能会按比例增加延迟时间。

后续步骤

如需查看更多参考架构、图表和最佳实践,请浏览云架构中心。

贡献者

作者:

其他贡献者:Kaz Sato | 资深开发技术推广工程师