优化规则性能
本文档介绍了如何优化检测和报告性能。
总检测延迟时间
对于安全运维中心 (SOC),总平均检测时间 (MTTD) 是整个安全流水线中的延迟时间总和。如需准确衡量和缩短 MTTD,您需要跟踪三个主要组成部分:
日志注入延迟时间(日志创建到数据注入)
日志提取延迟时间是指从源系统上发生安全事件的时间 (metadata.event_timestamp) 到日志在 Google Security Operations 中成功提取和解析的时间 (metadata.ingested_time) 之间所经过的时间。
影响因素:
- 收集器或转发器问题(例如积压或网络节流)。
- 日志源解析问题(例如 UDM 规范化延迟)。
如需缩短日志提取延迟时间,请执行以下操作:
- 监控日志源运行状况,并优化收集器或转发器配置。
- 如需监控增量,请在 YARA-L 或 Data Lake 中比较 UDM 时间戳,即
metadata.ingested_timestamp与metadata.event_timestamp。
规则处理延迟时间(数据注入到检测创建)
规则处理延迟时间是指从数据注入到检测引擎成功创建提醒 (detection.creation_time) 之间所经过的时间。此组成部分很大程度上受 YARA-L 规则配置的影响。
影响因素:
- 规则运行频率 :接近实时(延迟时间最短)、10 分钟、1 小时或
match_window / 10(对于匹配窗口期超过 48 小时的规则)。如需了解详情,请参阅了解规则运行时间安排。 - 规则类型和复杂性 :多事件规则需要匹配窗口期才能完全处理,这会带来固有的延迟时间。依赖于其他非实时检测的复合规则也会引入延迟时间。如需了解详情,请参阅复合检测。
如需缩短规则处理延迟时间,请执行以下操作:
- 尽可能使用接近实时运行的单事件规则。
- 对于多事件规则,请设置尽可能小的窗口大小。
如需了解详情,请参阅信息中心示例 YARA-L 2.0 查询。
用于监控规则处理延迟时间的 YARA-L 规则
以下 YARA-L 规则用于识别日志提取时间和检测创建时间之间的增量超过特定阈值的情况。您可以使用此规则来识别检测流水线中的性能瓶颈。
在测试环境中部署此规则,以确定日志源的基准。
您可以将这些结果导出到信息中心,以直观呈现不同日志类型的延迟时间趋势。
该规则会将 metadata.event_timestamp(活动发生的时间)与 metadata.ingested_time(Google SecOps 收到日志的时间)进行比较。
rule rule_processing_latency_monitor {
meta:
author = "SecOps Engineering"
description = "Alerts when the gap between ingestion and detection creation is greater than 15 minutes."
severity = "Low"
events:
$event.metadata.event_timestamp.seconds = $event_ts
$event.metadata.ingested_time.seconds = $ingest_ts
// Calculate the delta in seconds
$latency_delta = $ingest_ts - $event_ts
// Threshold: 900 seconds (15 minutes)
$latency_delta > 900
match:
$event.metadata.log_type over 1h
outcome:
$max_latency = max($latency_delta)
$log_source = array_distinct($event.metadata.log_type)
condition:
$event
}
工单确认延迟时间(检测创建到分析师分配)
此部分与使用 Google SecOps SIEM 独立平台的客户无关。
工单确认延迟时间是指从创建提醒的检测到提醒被分析师确认以在 SOAR 组件中进行分类之间所经过的时间。
平均确认时间 (MTTA) 指标专门跟踪 SOC 团队响应生成的提醒的效率。
- 如需缩短工单确认延迟时间,请优化提醒路由、调整和自动化(例如,使用剧本进行自动分配或扩充),以便快速将提醒移至分类阶段。
后续步骤
- 如需了解 规则重放(也称为 清理运行)如何管理延迟到达的数据和上下文更新,以及这如何影响 MTTD 指标,请参阅了解规则重放和 MTTD。
- 如需详细了解 Google SecOps 中的规则检测延迟时间、影响因素、问题排查和缩短延迟时间的技术,请参阅了解规则检测延迟时间。