配置自定义解析器

支持范围:

本文档介绍了如何在没有预构建解析器或需要更多控制权的情况下创建自定义解析器。自定义解析器会与预构建解析器一起显示在解析器列表中。

常见用例包括:

限制和不支持的操作

创建和管理自定义解析器时,请考虑以下操作边界:

  • 解析器语法与 YARA-L 检测规则:注入解析器和解析器扩展程序在注入时使用 Logstash Grok 和配置语法以及过滤条件(例如 grok、mutate、json、date 和 base64)将原始日志解析为统一数据模型 (UDM)。解析器无法使用 YARA-L 语法、结果块或生成器函数(例如 yield)。YARA-L 2.0 严格来说是一种检测引擎查询语言,在下游对标准化 UDM 事件进行评估,以发出威胁提醒,但无法解析原始日志、更改 UDM 字段或丢弃传入的日志流量。
  • 1:1 提取模型:Google SecOps 自定义解析器严格按照 1:1 的关系运行。自定义解析器无法将包含多个嵌入式事件(例如 JSON 数组或串联字符串)的单个日志条目进行解批、循环或拆分为单独的 UDM 事件。您必须在提取之前使用日志收集流水线(例如 BindPlane OP、OpenTelemetry Collector、Fluent Bit 或提取前 Cloud Run 函数)拆分多事件载荷。
  • drop {} 过滤条件行为:解析器中的 drop {} 过滤条件仅会抑制 UDM 事件生成。当解析器丢弃日志时,Google SecOps 不会创建 UDM 记录,检测规则也无法评估事件。不过,Google SecOps 会将原始日志保留在不可变的原始代码库中,以满足合规性和审核保留要求。原始日志仍可通过“原始日志搜索”功能进行搜索。如需在存储之前丢弃日志,请在转发器或收集器中配置上游过滤。
  • 默认情况下仅向前解析:启用自定义解析器后,它仅适用于从启用时间开始新提取的日志。如果存在将自定义解析器映射应用于现有历史日志的关键业务需求,您可以请求后端日志重放任务。如需了解详情,请参阅重新解析历史数据(日志重放)。

根据映射说明创建自定义解析器

您可以通过编写代码将原始日志转换为 UDM 记录来创建自定义解析器。

附加阅读材料:

创建解析器时,请尽可能多地填充重要的 UDM 字段。

  1. 依次前往设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 解析器。

  2. 点击创建解析器。

  3. 从日志源列表中选择适当的日志源。

  4. 选择从原始日志开始,根据您的要求创建新的解析器。

  5. 点击创建。

  6. 在解析器代码终端中输入代码。如需了解详情,请参阅创建代码段映射指令。

    注意:请确保您的自定义解析器逻辑能够正确映射并生成有效的当前时间戳。如果自定义解析器错误地将时间戳映射到标准保留期限之外的日期,数据会成功提取,但在界面中仍无法搜索。由于搜索功能依赖事件时间戳进行过滤,因此即使数据成功提取,映射到错误日期的数据也无法显示。

  7. 可选:点击 修改,以修改现有原始日志或副本。

  8. 可选:点击 加载以加载最新的原始日志。

  9. 点击预览以查看 UDM 输出。如果代码不正确,系统会显示出错提示。

    在预览版中,您可以使用 statedump 过滤插件来验证解析器的内部状态。如需了解详情,请参阅使用 statedump 插件验证数据。

  10. 点击验证以验证自定义解析器。

    验证过程可能需要几分钟时间,因此我们建议您先预览自定义解析器,根据需要进行更改,然后验证自定义解析器。

  11. 点击提交。

    20 分钟后,解析器会激活并开始规范化流程。

基于现有解析器创建自定义解析器

使用现有解析器作为模板来创建新的自定义解析器。此方法仅支持基于代码的方法。要开始操作,请执行以下步骤:

  1. 依次前往设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 解析器。

  2. 点击创建解析器。

  3. 从日志源列表中选择适当的日志源。

  4. 选择从现有的预构建解析器入手,以现有解析器为基础创建新的自定义解析器。

  5. 点击创建。

  6. 在解析器代码终端中修改代码。如需了解详情,请参阅创建代码段映射指令。

  7. 可选:点击 修改以修改原始日志。

  8. 可选:点击 刷新以刷新原始日志。

  9. 在添加代码以构建解析器时,点击预览即可查看 UDM 输出。如果代码不正确,系统会显示出错提示。

    在预览版中,您可以使用 statedump 过滤插件来验证解析器的内部状态。如需了解详情,请参阅使用 statedump 插件验证数据。

  10. 点击验证以验证自定义解析器。

    验证过程可能需要几分钟时间,因此我们建议您先预览自定义解析器,根据需要进行更改,然后验证自定义解析器。

  11. 点击提交。

    20 分钟后,解析器会激活并开始规范化流程。

将自定义解析器设为非活跃状态

  1. 依次前往设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 解析器。

  2. 点击要停用的解析器旁边的 菜单,然后从列表中选择停用。

    系统会显示停用解析器对话框。

  3. 点击设为无效。

自定义解析器会被停用,当前的预构建解析器版本会在 20 分钟后启用。预构建解析器现在会成为默认解析器。

删除自定义解析器

  1. 依次前往设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 解析器。

  2. 点击要删除的自定义解析器旁边的 菜单,然后从列表中选择删除。注意:您无法删除预构建的解析器。

    系统会显示删除自定义解析器对话框。

  3. 点击删除。

自定义解析器将被删除,当前的预构建解析器版本将在 20 分钟后激活。

创建扩展程序

解析器扩展程序提供了一种灵活的方式来扩展现有自定义解析器的功能。它们不会取代自定义解析器。相反,它们支持将原始日志中的其他字段无缝提取到 UDM 记录中。解析器扩展程序与自定义解析器不同。

如需创建解析器扩展程序,请参阅使用解析器扩展程序。

验证状态

“验证”列会显示自定义解析器或解析器扩展程序的验证测试状态。

  • 解析器失败:自定义解析器验证失败
  • 解析器已通过验证:自定义解析器验证成功
  • 已跳过:自定义解析器未经验证
  • 已跳过扩展程序:解析器扩展程序未经验证

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。