数据注入概览

支持的国家/地区:

Google Security Operations 会提取客户日志、对数据进行标准化处理,并检测安全提醒。它提供数据注入、威胁检测、提醒和案例管理等自助服务功能。 Google SecOps 还可以接收来自其他 SIEM 系统的提醒并进行分析。

数据注入架构概览

下图展示了安全数据如何流入 Google SecOps,以及系统如何处理这些数据以便在界面中进行分析。

流向 Google SecOps 的数据流和数据处理

数据注入涉及的关键步骤

Google SecOps 会按以下方式处理您的安全数据:

  1. 从 Amazon S3 或Google Cloud等云服务中检索安全数据。Google SecOps 会加密传输中的数据。
  2. 在您的账号中单独存储加密的安全数据。只有您和少数 Google 人员有权访问这些数据,以便提供产品支持、进行产品开发和维护。
  3. 解析和验证原始安全数据,使其更易于处理和查看。
  4. 为数据编制索引,以便快速搜索。
  5. 在您的账号中存储经过解析和编入索引的数据。
  6. 为用户提供安全访问权限,以便他们搜索和查看其安全数据。
  7. 将您的安全数据与 VirusTotal 恶意软件数据库进行比较,以找出匹配项。在 SIEM 搜索中,打开网域、文件哈希或 IP 地址的概览标签页,然后点击 VT 上下文以查看 VirusTotal 信息。Google SecOps 不会与 VirusTotal 共享您的安全数据。

数据注入方法概览

Google SecOps 注入服务充当所有数据的网关。

Google SecOps 使用以下系统注入数据:

  • Google Cloud:Google SecOps 直接从您的 Google Cloud 组织检索数据,这是所有标准 Google Cloud 日志(例如审核、VPC 流、DNS 和防火墙)的主要方法。这是将 Google Cloud 遥测数据导入 Google SecOps 的最具成本效益和性能最高的方式。如需了解详情,请参阅将 Google Cloud 数据注入 Google SecOps。

  • Bindplane 代理:这是一种托管式代理,用于从本地环境和服务器(Windows 或 Linux)收集日志。 Bindplane 是一种遥测流水线,可以从任何来源收集、优化日志并将其导出到 Google SecOps,因此可以灵活地收集不适用于其他方法的不同类型的日志。 您可以使用它来处理本地数据(例如防火墙日志、Windows 和 Linux 日志),或在将云数据注入 Google SecOps 之前对其进行预处理(例如,优化或过滤)。您还可以使用 Bindplane OP 管理控制台管理此代理。如需了解详情,请参阅使用 Bindplane 代理。

  • 数据 Feed:数据 Feed 主要用于基于云的日志,其中第三方日志已汇总到对象存储区(例如 Cloud Storage 或 Amazon S3)中,或者第三方支持基于“推送”的方法(例如 webhook)。数据 Feed 还为一组预定义的基于 API 的集成提供开箱即用的支持。 对于基于云的日志(例如 EDR 或任何 SaaS 应用)以及预定义为直接 API 的特定集成,请使用数据 Feed。 数据 Feed 会将日志直接发送到 Google SecOps 提取服务。如需了解详情,请参阅 Feed 管理文档。数据 Feed 支持大小不超过 4 MB 的日志行。您可以使用 Cloud Logging 监控 Feed 活动和错误。如需了解详情,请参阅使用 Cloud Logging 分析 Feed 活动。

  • Chronicle API 注入方法:对于不适合其他方法的自定义、大容量或自研应用,请使用现代 Chronicle API 注入方法。此方法的使用难度略高于其他提取方法。

  • 转发器:Google SecOps 转发器已弃用,将于 2027 年 1 月 1 日服务终止,并于 2027 年 4 月 1 日停止注入数据。Google 建议改用 Bindplane 代理。

解析器会将客户系统中的日志 转换为统一数据模型 (UDM)。Google SecOps 中的下游系统使用 UDM 提供其他功能,包括规则和 UDM 搜索。

如需详细了解数据注入生命周期(包括端到端数据流和延迟时间,以及这些因素如何影响最近注入的数据是否可供查询和分析),请参阅了解搜索功能的数据可用性。

规格:

  • 注入文件时,文件的内容格式必须与文件扩展名中的预期格式匹配,才能成功注入日志。

  • 大文件(5-10 GB 或更大)可能会显著延迟数据注入。

  • 提取仅支持 UTF-8 编码。

了解提取和数据可用性时间

Google SecOps 中可供分析的数据取决于多个阶段。如需排查延迟问题,请区分源系统延迟和 Google SecOps 处理时间。

  • 源系统延迟(提取前):许多数据源都存在固有延迟。事件发生后,数据可能无法立即收集。出现该消息的常见原因包括:

    • 来源处理和批处理时间表。
    • 将事件写入日志文件或 API 端点所需的时间。
    • API 速率限制。
    • 事件时间戳与日志可供提取的时间(例如 createTime)之间的差值。
  • Google SecOps 注入和处理延迟:数据到达注入点后,以下步骤可能会导致延迟:

    • 收集间隔:对于池化来源(例如 API 或存储桶),配置的 Feed 频率(例如,每 5 分钟或每小时)决定了最大延迟。
    • 内部流水线:解析、标准化、索引编制和丰富。如需了解详情,请参阅了解搜索功能的数据可用性。

如果您遇到延迟,请确定是来源还是 Google SecOps 导致了延迟。例如,来自 Blob 存储服务的日志不是实时的,而是取决于轮询频率。

如需查看具有已知来源端延迟时间的日志类型列表,请参阅 Feed Management API 参考文档。

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。