本页提供了有关注入用户事件的指南和一般最佳实践。如需开始使用,请参阅教程。
准备工作
- 验证数据是否已从 Google Analytics(分析)4 完全导入到 BigQuery。
- 在控制台中查看导入状态,并参阅针对用户事件记录缩减设置提醒以进行问题排查。
- 在导入历史用户事件数据之前,请查看本页中的记录用户事件的最佳实践和 准备工作部分。
- 导入历史目录数据可以进一步丰富用户事件并提高模型准确率。
教程
这些教程将向您展示如何从各种来源导入用户事件。
从 Cloud Storage 导入事件
本教程介绍如何从 Cloud Storage 导入用户事件。
从 BigQuery 导入事件
本教程介绍如何从 BigQuery 导入用户事件。
以内嵌方式导入事件
本教程介绍如何以内嵌方式导入用户事件数据。
AI Commerce Search 的数据注入流水线涵盖商品清单和用户事件数据。此数据流为模型训练和通过反馈机制进行持续评估奠定了基础。准确完整的数据注入是一个持续的过程,用于保持底层模型的适应性,直接影响搜索结果的质量和相关性。
用户事件注入的一般最佳实践
在设计搜索解决方案时,请考虑以下数据注入最佳实践,以最大限度地提高效率和效果。
在 AI Commerce Search 中注入用户事件
与目录注入过程类似,AI Commerce Search 为用户事件数据提供了双重机制。批量导入和实时流式传输为不同的客户后端架构提供了灵活性。不过,与目录不同的是,目录可以采用混合方法,而用户事件最好采用专门的注入策略。在两个选项中,实时流式传输是实际实现中的标准。
两者在模型训练、KPI 衡量和收入优化方面产生的结果相当,但存在细微的权衡。例如,批量导入可能更适合处理大量历史数据,而流式传输对用户的响应速度更快。
选择取决于您的零售环境要求,例如:
- 将用户事件纳入模型训练的延迟时间目标。
- 生成的事件量。
在 AI Commerce Search 中扩缩用户事件注入
主动规划伸缩场景,为流量激增做好准备,并确保数据完整性。周末促销等高流量特别活动可能会导致用户活动激增 10 到 20 倍。拥有足够的配额以及注入系统能够处理此类峰值至关重要。
这些事件通常表现为流量突然爆发,而不是逐渐增加。在这些高峰期丢失事件可能会阻碍模型训练、降低搜索性能并歪曲 KPI 衡量。调试问题可能具有挑战性,因为事件构成了 KPI 跟踪和一般问题排查的基础。实现可靠的提醒功能可以通知您数据质量下降,这通常是由于缺少或错误的事件数据造成的。
通过预测这些场景并采取行动,即使在极端负载条件下,您也可以保持用户事件数据的可靠性和准确性。准确的数据为 AI Commerce Search 系统在流量高峰期提供优化性能、准确分析和以用户为中心的体验奠定了基础。
批量事件注入的参考架构
批量注入需要一个可伸缩的架构,该架构专为将用户事件高效注入到 AI Commerce Search 而设计。该架构由多种服务组成,包括 Pub/Sub、Dataflow、BigQuery、Workflows 和 Cloud Storage,用于以分阶段、受控的方式管理注入过程。 Google Cloud
架构概览
批量事件注入架构采用多阶段方法,以确保将用户事件数据可靠且准确地传输到 AI Commerce Search。
关键组成部分包括:
- Pub/Sub:充当用户事件的初始入口点,提供可伸缩且持久的消息传递系统。
- Dataflow(流式事件):持续从 Pub/Sub 读取原始用户事件并将其写入 BigQuery 原始事件表,同时捕获任何失败的事件以进行调试。
- BigQuery:充当主要数据仓储解决方案,存储原始事件、转换后的事件以及与注入过程相关的各种元数据。
- 工作流:协调原始事件的每小时批量处理,确保数据完整性并简化错误处理。
- Cloud Storage:在处理期间为 Dataflow 提供临时存储,并用于归档失败的事件日志。
- AI Commerce Search:用户事件数据的最终目的地,支持高级搜索和推荐功能。
分步数据传输
以下是批量事件数据传输的分步流程。
事件流式传输和原始数据持久性:
- 用户事件从客户来源系统发布到 Pub/Sub 主题。
- Dataflow 流式传输流水线(流式事件)持续从 Pub/Sub 读取事件。
- 成功的原始事件将写入 BigQuery 原始事件表。
- 在此初始注入期间发生的任何失败都会被捕获并存储在单独的 BigQuery 原始失败表中,以供分析和问题排查。
每小时批量处理和转换:
- Workflows 会触发每小时计划的 Dataflow 流水线(Incr Batch Events)。
- 此流水线从 BigQuery 表读取原始事件。
- 事件将转换为所需的 AI Commerce Search 格式。
- 转换后的事件将写入 BigQuery 整理后的事件表。
- 任何转换失败都会捕获在 BigQuery 整理后的失败事件表中。
数据验证和准备:
- Workflows 执行 BigQuery 存储过程,以创建或更新视图 (Incr Update Event View),该视图反映了过去一小时内最新的转换后事件数据。
- 然后,工作流对此视图执行验证检查,确保转换后的事件数在预定义的阈值范围内。
AI Commerce Search 导入:
- 如果验证成功,Workflows 会调用 AI Commerce Search 导入事件 API,并将其指向包含转换后事件的 BigQuery 视图。
- 然后,AI Commerce Search 会导入这些事件以进行进一步处理和索引。
批量事件注入的其他注意事项
注入批量事件时需要考虑的其他方面包括:
- 安全性:应实施适当的安全措施(例如访问权限控制和加密)来保护敏感的用户事件数据。
- 监控和日志记录:应设置全面的监控和日志记录,以跟踪系统的性能并主动发现潜在问题。
- 费用优化:应监控资源利用率,以优化费用并确保高效使用 Google Cloud 服务。
此架构为将用户事件注入到 AI Commerce Search 奠定了基础。通过使用各种 Google Cloud 服务并采用数据处理和错误处理的最佳实践,组织可以构建可伸缩、可维护的解决方案,以提供高级搜索和推荐体验。