配置丰富化
丰富功能使用以下方法向统一数据模型 (UDM) 指示器或事件添加上下文:
- 标识描述指标(通常为 UDM 字段)的别名实体。
- 使用来自已识别别名或实体的其他详细信息填充 UDM 消息。
- 向 UDM 事件添加全局丰富数据,例如 GeoIP 和 VirusTotal。
查看事件
在事件查看器的事件字段标签页中查看事件。此标签页以分层树状结构显示 UDM 事件字段,并标记为已选择。每个 UDM 字段都标有一个图标,用于指示该字段包含的是丰富数据还是非丰富数据。图标标签如下:
- U:未扩充的字段会在标准化过程中直接从原始日志中提取值。
- E:丰富字段包含 Google SecOps 生成的值,用于提供有关环境中工件的更多背景信息。
丰富字段会显示所有关联的来源,以帮助您进行验证、问题排查、审核和合规性检查。您还可以按字段的丰富来源过滤字段,以优化视图。
了解丰富逻辑模式
Google SecOps 会根据丰富类型对数据应用不同的逻辑模式。请通过下表了解这些模式,以便进行问题排查,并解释为何某些字段会被填充、合并或覆盖。
| 逻辑模式 | 说明 | 适用的丰富化 |
|---|---|---|
| 首个匹配项 | 遵循严格的优先级列表。流水线仅查询序列中找到的第一个可用值。 | 制品(文件哈希) |
| 已合并 | 同时收集和合并来自多个字段的数据,以构建单个“黄金”实体记录。 | 资产、用户 |
| 条件后备 | 只有在缺少优先级较高的标识符时,系统才会使用特定字段进行丰富。 | 资产(ip 地址) |
| 映射和覆盖 | 使用唯一 ID (PSPI) 解析实体。来自丰富化来源的别名数据会替换现有的已解析数据。 |
流程 |
素材资源智能衍生
对于资产丰富,流水线通过评估多个 UDM 字段来识别唯一资产。与制品丰富(选择一个 ID)不同,资产丰富会合并来自多个 ID 的上下文,以构建完整的资产配置文件。
Google SecOps 会丰富使用相同命名空间分类的资产事件。
对于素材资源,逻辑是累积而非排他,但特定后备场景除外。请使用以下详细信息进行说明:
- 逻辑类型:合并或后备。除非满足后备条件(例如
asset_id检查),否则流水线会从所有可用字段中收集数据,以创建单个“实体”视图。 - 字段映射:
- 主机名、MAC 和
asset_id:被视为主要 ID。所有这些字段的别名结果会合并在一起,以生成最终的丰富资产配置文件。 - IP 地址:仅当
asset_id不可用时,才会包含在丰富查询中。
- 主机名、MAC 和
对于每个资产事件,流水线会从 principal、src 和 target 实体中提取以下 UDM 字段:
| UDM 字段 | 指标类型 | 逻辑/优先级 |
|---|---|---|
hostname |
HOSTNAME | 合并:这些字段的别名结果会合并,以生成最终的丰富资产记录。 |
asset_id |
PRODUCT_SPECIFIC_ID | 已合并:用于整合资产上下文的主要标识符。 |
mac |
MAC | 已合并:与其他标识符结合使用,以解析资产。 |
ip |
IP | 后备:仅当 asset_id 不可用时,才会包含在丰富查询中。 |
用户丰富
用户丰富功能通过查找特定标识符来解析身份数据。与制品丰富一样,此流水线使用偏好顺序来确定哪个标识符用作查找的主键。
对于每个用户事件,流水线会从 principal、src 和 target 中提取以下 UDM 字段:
| UDM 字段 | 指标类型 | 逻辑或优先级 |
|---|---|---|
user.email_addresses |
电子邮件 | 最高优先级:流水线首先尝试根据用户的主邮箱或辅助邮箱进行丰富。 |
user.windows_sid |
WINDOWS_SID | 第二优先级:如果没有邮箱,流水线会使用 Windows 安全标识符 (SID)。 |
user.userid |
USER_ID | 第三优先级:仅在缺少电子邮件地址和 SID 时使用;通常映射到本地或应用专用 ID。 |
user.employee_id |
EMPLOYEE_ID | 最低优先级:解析用户身份的最终后备方案。 |
对于每个指标,流水线都会执行以下操作:
- 检索用户实体列表。例如,
principal.email_address和principal.userid的实体可能相同,也可能不同。 - 从优先级最高的指标类型中选择别名,优先级顺序如下:
WINDOWS_SID、EMAIL、USERNAME、EMPLOYEE_ID和PRODUCT_OBJECT_ID。 - 使用其有效性间隔与事件时间相交的实体填充
noun.user。
进程丰富化
进程丰富化侧重于提供对执行事件的可见性。 该流水线会提取进程详细信息,并通过交叉对比文件声誉值和父子关系来丰富这些信息。
使用进程丰富功能将产品特定进程 ID (product_specific_process_id) 或 PSPI 映射到实际进程,并检索有关父级进程的详细信息。此过程依赖于 EDR 事件批处理类型。
| UDM 实体 | 字段来源 | 逻辑或优先级 |
|---|---|---|
| 主要实体 |
principal、src、target
|
提取:流水线从这些顶级实体中提取 PSPI,以启动查找。 |
| 父进程 |
principal.process.parent_process、src.process.parent_process、target.process.parent_process
|
映射:PSPI 通过进程别名检索有关父进程的详细信息。 |
| 数据合并 |
noun.process(例如 principal.process)
|
覆盖规则:别名字段具有绝对优先级。如果同一字段同时存在解析数据和别名数据,流水线会将解析数据替换为别名数据。 |
流水线使用进程别名从 PSPI 中识别实际进程,并检索有关父进程的信息。然后,它会将这些数据合并到丰富消息中的相应 noun.process 字段中。
用于进程别名化的 EDR 索引字段
进程启动时,系统会收集元数据(例如命令行、文件哈希和父进程详细信息)。机器上运行的 EDR 软件会分配一个供应商专属进程 UUID。
下表列出了在进程启动事件期间编入索引的字段:
| UDM 字段 | 指标类型 |
|---|---|
| target.product_specific_process_id | PROCESS_ID |
| target.process | 整个过程;而不仅仅是指示器 |
除了标准化事件中的 target.process 字段之外,Google SecOps 还会收集父进程信息并将其编入索引。
宇宙文物丰富化
工件丰富化会添加来自 VirusTotal 的文件哈希元数据和 IP 地址的地理定位数据。对于文件哈希,流水线会在找到优先级列表中的第一个值时停止;但对于 IP 地址,流水线会并行处理所有条目。对于每个 UDM 事件,流水线会从 principal、src 和 target 实体中提取并查询以下工件指标的情境数据,其中丰富行为因指标类型而异:
| 指标类型 | 提取逻辑 | 优先顺序/运算次序 |
|---|---|---|
| 文件哈希值 | 首个匹配项 |
流水线会按以下顺序搜索哈希,并仅选择第一个可用的哈希来查询 VirusTotal:
|
| IP 地址 | 并行(重复) | 每个公共或可路由 IP 地址都会被视为一个独立条目。没有优先顺序;每个 IP 都会收到自己的丰富结果。 |
流水线使用 UNIX 纪元和事件小时来定义文件工件查询的时间范围。如果地理定位数据可用,流水线会根据地理定位数据的来源,覆盖 principal、src 和 target 实体的以下 UDM 字段:
artifact.ipartifact.locationartifact.network(仅当数据包含 IP 网络上下文时)location(仅当原始数据不包含此字段时)
如果流水线找到文件哈希元数据,则会将该元数据添加到文件或 process.file 字段,具体取决于指标的来源。流水线会保留与新数据不重叠的所有现有值。
IP 地理位置丰富化
地理位置别名可提供外部 IP 地址的地理定位数据。对于 UDM 事件的 principal、target 或 src 字段中的每个非别名 IP 地址,系统都会创建一个 ip_geo_artifact 子协议缓冲区,其中包含关联的位置和 ASN 信息。
地理位置别名不使用回溯期或缓存。由于事件数量庞大,Google SecOps 会在内存中维护一个索引。
IP 地理位置不一致
Google 专有的 IP 地理定位技术结合使用网络数据以及其他输入和方法,为用户提供 IP 地址位置和网络解析。其他组织可能会使用不同的信号或方法,这有时可能会导致不同的结果。
如需解决或管理 IP 地理定位差异,请考虑以下选项:
- 发布地理位置信息 Feed:第三方 IP 所有者(例如 ISP 或云服务提供商)可以发布 RFC 8805 地理位置信息 Feed,并使用 Google ISP 门户进行注册。地理定位更新通常需要两到三周的时间才能传播,并且仅适用于今后新提取的事件;之前提取的 UDM 事件不会追溯更新。
- 使用自定义地理定位数据或丰富块:如需在 Google SecOps 中使用您自己的地理定位数据,您可以配置丰富块,以针对特定日志类型关闭默认
GeoIP丰富,或在查询时使用数据表联接您自己的 IP 位置查找数据。 - 与支持团队联系:如果您发现 Google 提供的 IP 地理定位结果不一致,请提交客户支持请求,以便 Google 进行调查,并在适当情况下更正其记录。
使用 VirusTotal 文件元数据丰富事件
Google SecOps 会将文件哈希丰富到 UDM 事件中,并在调查期间提供额外的上下文。哈希别名通过组合所有类型的文件哈希并在搜索期间提供有关文件哈希的信息来丰富 UDM 事件。
Google SecOps 集成了 VirusTotal 文件元数据和关系丰富功能,可识别恶意活动模式并跟踪恶意软件在网络中的移动。
原始日志提供的文件信息有限。VirusTotal 会使用文件元数据(包括有关恶意哈希和文件的详细信息)丰富事件。元数据包括文件名、类型、导入的函数和标记等信息。您可以在 UDM 搜索和检测引擎中将这些信息与 YARA-L 结合使用,以了解恶意文件事件,并在威胁搜寻期间使用。例如,您可以检测对原始文件的修改,这些修改使用文件元数据进行威胁检测。
以下信息会与记录一起存储。 如需查看所有 UDM 字段的列表,请参阅统一数据模型字段列表。
| 数据类型 | UDM 字段 |
|---|---|
| sha-256 | ( principal | target | src | observer ).file.sha256 |
| md5 | ( principal | target | src | observer ).file.md5 |
| sha-1 | ( principal | target | src | observer ).file.sha1 |
| 大小 | ( principal | target | src | observer ).file.size |
| ssdeep | ( principal | target | src | observer ).file.ssdeep |
| vhash | ( principal | target | src | observer ).file.vhash |
| authentihash | ( principal | target | src | observer ).file.authentihash |
| PE 文件元数据 Imphash | ( principal | target | src | observer ).file.pe_file.imphash |
| security_result.threat_verdict | ( principal | target | src | observer ).(process | file).security_result.threat_verdict |
| security_result.severity | ( principal | target | src | observer ).(process | file).security_result.severity |
| last_modification_time | ( principal | target | src | observer ).file.last_modification_time |
| first_seen_time | ( principal | target | src | observer ).file.first_seen_time |
| last_seen_time | ( principal | target | src | observer ).file.last_seen_time |
| last_analysis_time | ( principal | target | src | observer ).file.last_analysis_time |
| exif_info.original_file | ( principal | target | src | observer ).file.exif_info.original_file |
| exif_info.product | ( principal | target | src | observer ).file.exif_info.product |
| exif_info.company | ( principal | target | src | observer ).file.exif_info.company |
| exif_info.file_description | ( principal | target | src | observer ).file.exif_info.file_description |
| signature_info.codesign.id | ( principal | target | src | observer ).file.signature_info.codesign.id |
| signature_info.sigcheck.verfied | ( principal | target | src | observer ).file.signature_info.sigcheck.verified |
| signature_info.sigcheck.verification_message | ( principal | target | src | observer ).file.signature_info.sigcheck.verification_message |
| signature_info.sigcheck.signers.name | ( principal | target | src | observer ).file.signature_info.sigcheck.signers.name |
| signature_info.sigcheck.status | ( principal | target | src | observer ).file.signature_info.sigcheck.signers.status |
| signature_info.sigcheck.valid_usage | ( principal | target | src | observer ).file.signature_info.sigcheck.signers.valid_usage |
| signature_info.sigcheck.cert_issuer | ( principal | target | src | observer ).file.signature_info.sigcheck.signers.cert_issuer |
| file_type | ( principal | target | src | observer ).file.file_type |
排查数据丰富问题
如果您发现 UDM 事件缺少预期的丰富数据,请参考以下建议来解决问题。
常规丰富化
如果您的部分事件根本没有得到丰富,可能的原因是 Google SecOps 优先考虑传送速度。一小部分事件(<1%)可能会在首次处理时跳过丰富化。如需解决此问题,请过几分钟后再回来查看。系统会自动重新处理这些事件。如果一小时后仍未显示丰富信息,请验证日志来源是否已正确解析为 UDM。
制品丰富化(首个匹配逻辑)
如果您的事件具有 MD5 和 SHA256 哈希,但您只能看到 SHA256 的 VirusTotal 元数据,这就是首个匹配项逻辑。流水线在找到优先级最高的哈希 (sha256) 后会立即停止。如果存在 SHA256,则不会向 VirusTotal 查询 MD5。
如果您看到 principal.ip 的地理位置,但没有看到 target.ip 的地理位置,则并行逻辑会单独处理每个 IP。如果一个 IP 是内部或专用(不可路由)IP,而另一个 IP 是公共 IP,则只有公共 IP 会获得地理位置丰富。
素材资源智能衍生(合并和后备逻辑)
如果 IP 地址字段未显示资产的丰富数据,则表示该字段采用的是条件回退逻辑。仅当缺少 asset_id (PSID) 时,IP 才会用于丰富查询。如果存在 asset_id,系统会依赖它并忽略该特定查询的 IP,以防止数据冗余或冲突。
用户丰富化(顺序偏好)
如果 Department 字段显示 "IT",而我的本地日志显示 "Security",则表示用户丰富功能更倾向于使用解析字段,而不是别名字段。如果您的原始日志已使用 "IT" 进行解析,则丰富流水线不会使用身份源(例如 Okta 或 AD)中的 "Security" 值覆盖该值。
处理丰富化(映射和覆盖)
如果您在原始日志中看到某个进程名称,但在 UDM 搜索中,该名称被替换为其他名称,则表示这是覆盖逻辑。进程丰富化会优先处理别名字段。如果 PSPI 查找从 EDR 上下文中返回了更准确的进程名称,则会完全替换原始解析值。
后续步骤
如需了解如何将丰富的数据与其他 Google SecOps 功能搭配使用,请参阅以下内容: