自动提取功能概览
本文档简要介绍了如何自动注入数据，以增强注入、处理和分析数据的能力。
Google Security Operations 使用预构建的解析器，通过统一数据模型 (UDM) 架构提取日志数据并将其结构化。由于存在多种限制，管理和维护这些解析器可能具有挑战性：数据提取不完整、需要管理的解析器数量不断增加，以及随着日志格式的发展需要频繁更新。
为应对这些挑战，您可以使用自动提取功能。此功能会自动从注入到 Google SecOps 的 JSON 格式和 XML 格式日志中提取键值对。它还支持包含 JSON 消息的 Syslog 格式日志。这些提取的数据存储在名为 extracted 的 UDM 映射类型字段中。然后，您可以在 UDM 搜索查询、原生信息中心和 YARA-L 规则中使用这些数据。
最佳实践是，使用已提取字段的 UDM 搜索必须在其查询中包含 metadata.log_type，以提高搜索查询性能。
自动提取的好处是减少了对解析器的依赖，确保即使解析器不存在或无法解析日志，数据仍然可用。
从原始日志中解析和提取数据
解析：Google SecOps 会尝试使用特定于日志类型的解析器（如果有）来解析日志。如果不存在特定解析器，或者解析失败，Google SecOps 会使用通用解析器来提取基本信息，例如提取时间戳、日志类型和元数据标签。
数据提取：自动提取功能默认处于停用状态。选择启用，然后选择要从日志中提取的特定字段（数据点）。
事件丰富：Google SecOps 会将解析后的数据与任何自定义格式的字段相结合，以创建丰富事件，从而提供更多上下文和详细信息。
下游数据传输：然后，这些经过丰富的数据会被发送到其他系统，以进行进一步的分析和处理。
- 存在解析器时：不会进行默认自动提取。您必须明确选择启用所需的特定字段，如使用提取器部分中所述。
- 没有解析器时：自动提取功能会自动启动并提取前 100 个字段。
使用提取器
借助提取器，您可以从所有受支持的日志来源中提取字段，从而优化日志管理。通过使用提取器，您可以缩减事件大小、提高解析效率，并更好地控制数据提取。这对于管理新日志类型或最大限度缩短处理时间特别有用。
您可以使用设置菜单或执行原始日志搜索来创建提取器。
创建提取器
使用以下任一方法前往提取其他字段窗格：
- 依次点击设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台，请依次前往设置 > 解析器。执行以下操作：
- 在显示的解析器表格中，找到一个解析器（日志来源），然后依次点击 菜单 > 扩展解析器 > 提取其他字段。
- 使用原始日志扫描并执行以下操作：
- 从日志来源菜单中选择所需的日志来源（解析器）。
- 从原始日志结果中，选择一个日志来源以打开事件数据窗格。
- 在事件数据窗格中，依次点击管理解析器 > 扩展解析器 > 提取其他字段。
- 使用 UDM 搜索并执行以下操作：
- 在 UDM 搜索结果的事件标签页中，选择一个日志来源以查看事件查看器窗格。
- 在原始日志标签页上，依次点击管理解析器 > 扩展解析器 > 提取其他字段。
- 依次点击设置 > 数据管理 > 解析器。如果您使用的是仅限 SIEM 的平台，请依次前往设置 > 解析器。执行以下操作：
在提取其他字段窗格中的选择提取器标签页上，选择所需的原始日志字段。默认情况下，您最多可以选择 100 个字段。 如果没有其他字段可供提取，系统会显示警告通知。
点击参考原始日志标签页，查看原始日志数据并预览 UDM 输出。
点击保存。
新创建的提取器会标记为 EXTRACTOR。
提取的字段在 UDM 输出中显示为 extracted.field{"fieldName"}。
查看提取器详细信息
- 前往解析器表格中的提取器行，然后依次点击 菜单 > 扩展解析器 > 查看扩展程序。
- 在查看自定义解析器页面上，点击扩展程序和提取的字段标签页。
此标签页会显示解析器扩展程序和提取器字段的相关信息。 您可以在查看自定义解析器页面中修改或移除字段，并预览解析器输出。
限制
- 如果批量 UDM 事件大小超过 8.2 MB，系统会丢弃原始日志和所有提取的字段。
- 如果单个 UDM 事件超过 500 KB，则系统会舍弃提取的字段。