Google SecOps 架构和数据流
现代安全环境会在云原生基础设施、微服务和分布式端点中生成海量的遥测数据。传统的安全信息和事件管理 (SIEM) 架构通常难以应对如此庞大的数据量，导致查询速度缓慢且可见性分散。
Google Security Operations 平台提供统一的高性能安全分析层。它基于为 Google 的核心全球服务提供支持的同一基础架构，可提取和查询 PB 级安全遥测数据，延迟时间不到一秒，同时消除了热数据层和冷数据层之间的传统区别。
本文档介绍了 Google SecOps 架构和数据流，涵盖数据注入、UDM 标准化、YARA-L 威胁检测和自动响应。
情报、分析和响应的融合
Google SecOps 统一了以往各自独立的安全运维功能。它将 SIEM 分析和安全编排、Automation 和响应 (SOAR) 整合到一个紧密耦合的平台中。此外，它还可将 Google Threat Intelligence 和 VirusTotal 的威胁情报以及由 Gemini 提供支持的生成式 AI 功能直接嵌入到调查和检测工作流中。
平台架构概览
Google SecOps 作为一个专门的云原生安全平面，构建在核心 Google Cloud 基础设施之上。它继承了底层 Google 服务（包括 Spanner 和 Colossus）的可伸缩性、持久性和性能属性。
系统上下文
Google SecOps 可作为安全环境的中央运营平面，用于管理三个主要阶段的数据：
- 输入：从混合环境（包括本地收集器 [例如 BindPlane 代理]、云提供商 API 和直接第三方软件即服务 [SaaS] 连接器）提取遥测数据。
- 处理核心：将原始遥测数据标准化为结构化 UDM 架构，使用 YARA-L 检测引擎评估事件，并使用 SOAR 案例管理引擎编排工作流。
- 输出：向分析师提供可据以采取行动的安全情报和 AI 分诊数据分析，同时通过 API 和远程代理将自动隔离命令发送回目标环境。
下图说明了系统上下文和数据流。
基础设施优势
Google SecOps 的一个关键架构优势是其统一的热存储模型。旧版架构会将旧遥测数据移至冷存储，从而减慢查询速度或需要手动重新水合。相比之下，Google SecOps 会以可搜索的索引形式将所有提取的遥测数据保留在活跃的热状态中，保留期限最长为 12 个月。借助此设计，您可以查询一整年的历史数据，性能与查询过去一小时的数据相同。
数据收集和归一化流水线
Google SecOps 使用高吞吐量注入流水线将原始的非结构化日志转换为结构化的统一数据模型 (UDM)。在归一化期间，流水线会使用来自实体上下文图的上下文元数据来丰富每个事件。
收集架构
数据注入通过以下三个主要途径进行：
- 收集器：部署在本地网络中以汇总 syslog 和数据包数据的基于代理的收集器（例如 BindPlane 代理或 OpenTelemetry 代理）。收集器会在传输层 (TLS) 对遥测数据进行缓冲、压缩和加密，然后再将其转发给 Google SecOps。
- 注入 API：直接 REST API 端点，用于从云服务、自定义应用和无服务器流水线注入结构化和非结构化遥测数据。
- 第三方集成：内置的拉取型连接器，可直接从外部 SaaS 平台和云 API（例如 Microsoft 365 或 Microsoft Entra ID）检索日志、提醒和目录数据。
数据收集和准备流水线流程
下图详细说明了从原始数据到 UDM 格式的具体转换步骤。
统一数据模型架构概览
统一数据模型 (UDM) 可将不同的供应商日志标准化为单一的结构化架构。这种标准表示法可确保等效实体（例如 IP 地址、用户名或文件哈希）在所有日志源中共享一致的字段路径，从而简化分析和搜索。
UDM 架构
UDM 使用强类型分层架构来表示安全事件和实体。它将数据整理为以下核心逻辑结构：
- 元数据：有关日志事件本身的上下文信息，包括事件时间戳、提取时间、供应商产品名称和事件类型。
- 主体：发起活动的行为实体（例如原始用户、主机、IP 地址或进程）。
- 目标：直接受活动影响的实体（例如目标文件、目标主机或用户账号）。
- 来源、中介和观察者：参与交易的次要网络参与者（例如转发代理、防火墙或路由跃点）。
- 网络：网络协议属性和交易制品（包括应用协议、DNS 查询和 HTTP 请求详细信息）。
- 安全结果：安全设备报告的操作或严重程度结果（例如
ALLOWED、BLOCKED或QUARANTINED）。 - 扩展元素：标准核心架构之外的特定于供应商的自定义字段和键值对。如需详细了解映射定义和解析器开发，请参阅配置自定义解析器和重要的 UDM 字段。
UDM 类图
下图提供了 UDM 的结构蓝图。
搜索架构
Google SecOps 提供强大的搜索机制，可满足不同的调查工作流需求。您可以查询热门存储空间中的标准化遥测数据，针对未解析的原始日志执行模式匹配，或搜索结构化案例数据。如需优化指南，请参阅 UDM 搜索最佳实践。
下表总结了整个平台提供的主要搜索功能：
| 搜索类型 | 建筑功能 |
|---|---|
| UDM 搜索 | 主要结构化搜索引擎，用于在 12 个月的热门窗口期内查询已编入索引的归一化 UDM 事件。它支持跨不同日志源进行多字段过滤、聚合和关联。 |
| 原始日志扫描 | 扫描已提取日志的原始未解析文本字符串。此功能支持对未映射到特定 UDM 语法的制品和自定义参数进行正则表达式 (`regex`) 和子字符串搜索。 |
| 自然语言搜索 | 使用 Gemini AI 将自然语言问题直接转换为正式的 UDM 搜索语法，从而加快查询撰写和调查工作流程。 |
| 支持请求搜索 | 响应层中的专用搜索引擎，用于查询 SOAR 数据库中的调查案例、提醒、playbook 和带注释的实体元数据。 |
威胁检测和响应循环
Google SecOps 架构可在检测分析和自动响应之间建立持续的反馈环。检测规则会生成高保真度提醒，从而触发响应工作流，而调查结果会提供反馈，用于优化和调整未来的检测逻辑。
检测漏斗架构
检测引擎采用多阶段漏斗方法，将海量原始安全遥测数据提炼为高保真度提醒：
- 提取和归一化：系统会持续提取原始日志，并将其格式化为标准 UDM 事件结构。
- 扩充：系统会动态扩充事件，添加别名映射、情境化资产数据和来自 Google Threat Intelligence 等来源的全球威胁情报。
- 检测评估：有状态的 YARA-L 2.0 引擎会在扩展的时间窗口内，根据行为规则和威胁规则评估富化事件。如需了解规则优化指南，请参阅 YARA-L 最佳实践。
- 确定优先级和分组：将匹配的检测结果汇总为提醒，分配动态风险得分，并分组到统一的案例中。
通过将情境化资产数据与威胁情报相结合，这种漏斗策略可过滤掉无害的异常情况（减少误报），并突出显示真实威胁（减少漏报），从而帮助安全团队专注于可采取行动的突发事件。
自动化补救和反馈环
检测和响应流水线将有状态规则评估与自动化分类和遏制相结合：
- 持续评估：通过有状态的 YARA-L 2.0 检测引擎丰富 UDM 遥测数据流。
- 创建支持请求和 AI 分诊：当满足规则条件时，Google SecOps 会生成提醒并开启支持请求。AI 赋能的分类和调查智能体会执行动态搜索和威胁情报查询，以评估调查结果。
- 自动执行 playbook：如果 AI 分诊确认是真阳性，平台会触发自动响应 playbook（例如通过远程代理隔离端点或暂停用户账号）。如果归类为假正例，支持请求会自动关闭。
- 持续调优：修复结果和分析师分诊判决会反馈回来，以优化检测阈值并减少未来的误报。
威胁检测层
YARA-L 2.0 引擎使用多阶段流处理流水线评估传入的 UDM 遥测数据，以检测扩展时间窗口内的行为异常和多事件攻击模式。您还可以使用 Gemini 生成和优化 YARA-L 规则。
每条 YARA-L 规则的处理生命周期都遵循五个不同的评估阶段：
- 提取 (
Ingest)：经过丰富处理的 UDM 事件会实时进入检测评估流水线。 - 过滤 (
Filter)：系统会根据规则的事件条件（events部分）评估传入的事件。不匹配的事件会被舍弃，而匹配的事件会传递到有状态评估。 - 匹配窗口化 (
Window)：匹配事件按指定的关联键在定义的时间窗口（从几秒到 12 个月不等）内进行分组。随着事件的累积，引擎会跟踪多个并发的有状态计时器（TimerStart到TimerEnd）。 - 条件评估 (
Condition)：当匹配窗口关闭或触发时，引擎会评估规则的condition部分中定义的阈值要求和数学表达式（例如事件计数、不同阈值或跨数据联接）。 - 触发 (
Trigger)：如果条件评估结果为True，引擎会生成检测结果，从而触发提醒并在响应层中打开或更新支持请求。如果值为False，则系统会清除状态，而不触发提醒。
规则执行状态机
下图展示了规则执行的生命周期。
响应架构和远程执行
Google SecOps SOAR 代表了平台的响应支柱。它作为分析层之上的编排引擎运行，可接收提醒、对案例进行分类并执行自动化响应工作流。
编排、自动化和调查
响应层包含专门的工具，旨在简化安全运维中心 (SOC) 在调查、支持请求管理和 playbook 自动化方面的工作流程：
- 案例管理：将相关提醒归入统一案例中；对突发事件队列进行排序和过滤；分配任务；在调查中进行协作，并进行全面的审核跟踪。
- Playbook 设计器：使用可视化无代码拖放式画布和预构建的集成操作，构建自动化响应 playbook。
- 集成开发环境 (IDE)：使用内置的基于代码的 IDE 编写自定义 Python 脚本、修改现有操作集成，以及调试复杂的自动化工作流。
- 调查视图和图表调查工具：使用基于图表的调查视图直观呈现攻击途径和实体关系。专用实体摘要（例如资产、IP 地址、哈希、网域和用户视图）可立即显示相关的时间轴事件。
- 信息中心和报告：使用开箱即用的信息中心或自定义报告 widget 跟踪 SOC 运营指标、分析师工作负荷和平均响应时间 (MTTR)。
SOAR 组件架构
下图展示了传入的提醒如何流入支持案例管理引擎，以及如何通过可视化剧本和自定义 IDE 集成触发自动补救工作流。
远程代理架构
为了在专用网络（例如本地数据中心或虚拟私有云）中执行补救措施，Google SecOps 依赖于安全的仅出站远程代理架构。
在此模型下，Google SecOps 平台绝不会主动发起与您的私有环境的入站连接：
- 任务启动：当 playbook 操作需要本地执行时，Google SecOps 会通过托管在 Google Cloud中的安全发布者队列发布指令。
- 异步轮询：部署在您的私有环境中的远程代理通过出站 TLS 加密连接持续轮询发布者队列。
- 本地执行：当检索到任务指令时，远程代理会针对内部安全工具或网络端点（例如停用账号或屏蔽防火墙端口）在本地执行所需的操作。
- 状态报告：完成后，远程代理会通过 TLS 将操作状态和执行日志返回到发布商队列，然后在 SOAR 案例视图中检索并显示这些信息。
安全性、合规性和责任共担
作为云原生平台，Google SecOps 采用责任共担模型：Google 负责平台本身的安全性，而您负责平台内的安全性。
责任共担模型
Google SecOps 继承了 Google Cloud 基础设施的核心安全设计、计算能力和存储架构。在此模式下：
- Google 管理：实体数据中心安全、底层云基础架构、平台可用性，以及静态数据和传输中数据的默认加密。
- 您负责管理：数据治理、通过 Identity and Access Management (IAM) 配置的访问权限控制和数据 RBAC、自定义检测规则以及租户合规性设置。
所有合规性要求、数据驻留规则和访问权限政策都会从组织层次结构向下继承，并从文件夹和项目一直强制执行到受合规性控制的租户。
合规性和企业就绪状态
为了满足严格的监管和组织治理要求，Google SecOps 提供合规性受控的租户。这些租户通过 Assured Workloads 强制执行严格的安全标准，同时支持监管合规框架和技术数据保护软件包。
支持的监管合规框架：
- FedRAMP：中等和高影响级别（
FEDRAMP_MODERATE、FEDRAMP_HIGH） - DoD 影响级别：IL4 和 IL5 (
IL4_AND_IL5) - 医疗保健和金融：HIPAA 和 PCI DSS（
HIPAA、PCI_DSS）
如需部署受合规性控制的租户，请将您的 Google SecOps 实例关联到 Google Cloud 位于 Assured Workloads 文件夹中的项目，该文件夹已针对所需的控制措施软件包进行配置。
数据驻留和访问权限透明度
Google SecOps 会强制执行严格的逻辑租户隔离，并支持 Access Transparency，以便您对管理员数据访问进行可验证的控制和审核。
支持的数据安全和驻留套餐：
- 客户管理的加密密钥 (CMEK)： 控制和管理用于加密静态数据 (
CMEK_V1) 的密钥。 - 高级数据驻留：强制执行区域数据驻留边界和管理员权限权限控制 (
DRZ_ADVANCED)。 - VPC Service Controls：使用 VPC Service Controls (
VPC-SC) 围绕您的云安全资源建立安全、自定义的边界。
该平台的安全架构依赖于四层继承模型，其中您的管理安全控制措施建立在核心 Google 基础设施的强化基础上：
四层安全堆栈：
- 客户安全控制层：您的顶级管理控制措施，包括通过 Identity and Access Management (IAM) 管理的基于角色的访问控制 (RBAC)、客户管理的加密密钥 (CMEK) 和区域数据驻留政策。
- 平台安全层：逻辑租户隔离、静态数据和传输中数据的默认加密 (TLS)，以及 Access Transparency 审核日志记录。
- Google 基础架构层：核心计算和存储基础架构，包括 Borg 集群管理、Colossus 分布式存储和 Spanner 全球数据库。
- 物理安全层：由 Google 企业数据中心、多重身份验证生物识别控件和自定义 Titan 安全芯片 (
roots of trust) 提供基础安全支持。
例如，启用 Access Transparency 后，如果 Google 支持或工程专家为了解决支持服务工单而访问您的租户数据，则必须提交有效的加密访问理由。此访问请求会被安全地记录下来，并近乎实时地显示在审核日志中。