重新解析历史数据(日志重放)
本指南适用于希望使用日志重放功能在 Google Security Operations 中重新解析历史日志数据的安全工程师和检测工程师。其中介绍了如何验证有效的解析器配置,以及如何通过 Google Cloud 支持团队请求后端日志重放任务,以回填最多 180 天的历史遥测数据中更新后的统一数据模型 (UDM) 字段映射。通过遵循此方法,您可以将更新后的预构建解析器、自定义解析器或解析器扩展程序应用于存储的原始日志,而新的映射说明通常仅向前应用于新提取的日志。成功完成后,无需从源端点手动重新提取日志,即可提高历史威胁搜寻和检测规则覆盖率。
常见使用场景
重新解析历史日志可解决以下操作场景:
追溯性字段标准化
- 目标:在您启用预构建解析器更新、自定义解析器或解析器扩展程序后,在历史日志中回填新映射的 UDM 字段。
- 价值:在历史数据和实时数据中保持一致的可搜索性,而无需从源端点手动重新提取。
在 Logs Explorer 中搜寻威胁
- 目标:使用新映射的 UDM 属性查询历史日志,以调查过去的攻击者活动。
- 价值:通过显示之前未在原始日志文本中映射的历史失陷指标 (IOC),加快突发事件响应速度。
历史检测规则评估
- 目标:根据需要特定标准化 UDM 字段的过往日志数据评估 YARA-L 检测规则。
- 价值:在根据历史事件评估更新后的检测逻辑时,防止出现假负例。
主要术语
- 日志重放:Google SecOps 中的后端服务,通过活跃的解析器配置重新处理存储的原始日志,以生成更新后的 UDM 记录。
- 统一数据模型 (UDM):Google SecOps 用于对安全遥测数据进行标准化处理的标准化架构,以便进行搜索、在信息中心内显示以及应用检测规则。
- 不可变原始代码库:底层存储层,用于保留原始、未经修改的原始日志,以用于合规性、审核和历史重新解析。
准备工作
在请求日志重放任务之前,请确认您满足以下要求:
权限:您必须拥有以下权限:
- 在 Google SecOps 中查看和管理解析器配置(例如 Chronicle API Editor 角色)。
- 在 Google Cloud 控制台中创建支持请求(例如 Tech Support Editor 角色
roles/cloudsupport.techSupportEditor)。
环境检查:确认您有 Google SecOps 客户实例 ID 和关联的 Google Cloud 项目 ID。
限制
日志重放功能在以下可支持性范围内运行:
- 支持的保留期限:您可以请求对最多 180 天(6 个月)的历史日志数据进行历史重新解析。
- 需要有效的解析器:日志重放仅应用有效的解析器版本。您无法使用草稿、无效或已归档的解析器配置。
- 范围规范:重新解析的范围限定为特定日志类型,并采用 RFC 3339 UTC 格式定义了开始和结束时间戳。
- 不可变的原始存储:日志重放仅重新生成标准化 UDM 记录。原始原始日志在不可变的原始代码库中保持不变。
请求日志重放任务
完成以下步骤,验证解析器并提交日志重放请求。
验证活跃解析器配置
在请求重新解析历史数据之前,请确认目标解析器或解析器扩展程序处于活跃状态,并且正在对实时遥测数据进行标准化。
- 在 Google SecOps 控制台中,依次前往设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 解析器。
找到目标日志类型,并验证更新后的预构建解析器、自定义解析器或解析器扩展程序是否处于有效状态,以及是否按预期对实时传入日志进行归一化。
提交支持请求
提交支持服务工单,并提供所需的范围参数,以便 Google Cloud 支持团队启动后端重放作业。
- 使用 Google Cloud 控制台创建支持请求。
在支持请求说明中,请提供以下详细信息:
- 实例标识符:您的 Google SecOps 客户实例 ID 和关联的 Google Cloud 项目 ID。
- 日志类型:要重新解析的特定
log_type标签(例如PAN_FIREWALL或<var>CUSTOM_LOG_TYPE</var>)。 - 目标时间窗口:采用 RFC 3339 UTC 格式的精确开始和结束时间戳(例如
2026-06-01T00:00:00Z到2026-08-31T23:59:59Z),在支持的 180 天限制内。 - 解析器详细信息:要应用的有效解析器版本、自定义解析器名称或解析器扩展程序 ID(日志重放仅应用有效版本)。
- 业务理由:对需求的简要总结,例如追溯性字段标准化或突发事件调查。
示例和参考信息
使用本部分中的模板准备支持请求。
支持请求模板
提交支持请求说明时,请复制并填写以下模板:
Request type: Google SecOps Log Replay (historical re-parsing)
Customer instance ID: <YOUR_INSTANCE_ID>
Google Cloud project ID: <YOUR_PROJECT_ID>
Target log_type: <LOG_TYPE_LABEL>
Start timestamp (RFC 3339 UTC): 2026-06-01T00:00:00Z
End timestamp (RFC 3339 UTC): 2026-08-31T23:59:59Z
Active parser or extension ID: <ACTIVE_PARSER_NAME_OR_EXTENSION_ID>
Business justification: Retroactive UDM field normalization for active parser update
问题排查
本部分概述了性能预期,并提供了针对常见日志重放问题的自助修复方法。
延迟时间和限制
Google Cloud 支持团队启动日志重放任务后,该流程会在后台异步运行。处理时间取决于指定时间范围内的日志总量。随着任务处理历史原始日志,新生成的 UDM 记录会逐步替换该时间范围内的早期 UDM 记录。在重放任务运行期间,请勿针对同一日志类型和时间范围提交重复的支持请求。
错误修复
您可以使用此表解决请求或验证日志重放任务时遇到的常见问题。
| 问题 | 说明 | 修复 |
|---|---|---|
| 由于解析器处于非活跃状态,请求被拒绝 | 请求的自定义解析器或解析器扩展程序处于草稿或待处理状态。 | 在设置 > 数据管理 > 解析器中,激活解析器配置,验证实时日志是否按预期解析,然后重新提交支持请求。 |
| 由于时间窗口限制,请求被拒绝 | 请求的开始时间戳是 180 天之前。 | 请调整支持请求说明中的开始和结束时间戳,使其位于支持的 180 天保留窗口内。 |
| 更新了搜索中缺失的 UDM 字段 | 目标时间窗口的 UDM 搜索结果尚未显示新的字段映射。 | 等待异步后端重放任务完成对整个时间范围的处理,然后在 SIEM 搜索中验证查询语法。 |
验证和测试
Google Cloud 支持团队确认日志重放任务已完成后,请验证环境中的更新 UDM 记录:
- 在 Google SecOps 控制台中,依次前往调查 > SIEM 搜索。
- 将时间范围选择器设置为与重放请求中的历史开始和结束时间戳一致。
- 针对
log_type的新映射 UDM 字段运行 UDM 搜索查询,以确认历史事件显示归一化属性。