导出到 Google 托管的 BigQuery 项目

支持：

Google SecOps SIEM

Google SecOps 通过将数据导出到 BigQuery，提供了一个托管的数据湖，其中包含经过规范化和威胁情报增强的遥测数据。这样，您便可以执行以下操作：

直接在 BigQuery 中运行临时查询。
使用您自己的商业智能工具（例如 Looker 或 Microsoft Power BI）创建信息中心、报告和分析。
将 Google SecOps 数据与第三方数据集联接。
使用数据科学或机器学习工具运行分析。
使用预定义的默认信息中心和自定义信息中心运行报告。

Google SecOps 会将以下类别的数据导出到 BigQuery：

UDM 事件记录 ：根据客户注入的日志数据创建的 UDM 记录。这些记录会使用别名信息进行扩充。
规则匹配项（检测结果）：规则与一个或多个事件匹配的实例。
IoC 匹配项：与失陷指标 (IoC) Feed 匹配的事件中的工件（例如网域、IP 地址）。这包括与全局 Feed 和客户专用 Feed 的匹配项。
注入指标 ：包括统计信息，例如注入的日志行数、根据日志生成的事件数、指示日志无法解析的日志错误数，以及 Google SecOps 转发器的状态。如需了解详情，请参阅注入指标 BigQuery 架构。
实体图和实体关系：存储实体及其与其他实体之间关系的说明。

表概览

Google SecOps 会在 BigQuery 中创建 datalake 数据集和以下表：

entity_enum_value_to_name_mapping：对于 entity_graph 表中的枚举类型，将数值映射到字符串值。
entity_graph：存储有关 UDM 实体的数据。
events：存储有关 UDM 事件的数据。
ingestion_metrics：存储与来自特定注入来源（例如 Google SecOps 转发器、Feed 和 Ingestion API）的数据的注入和规范化相关的统计信息。
ioc_matches：存储针对 UDM 事件找到的 IOC 匹配项。
job_metadata：用于跟踪数据导出到 BigQuery 的内部表。
rule_detections：存储在 Google SecOps 中运行的规则返回的检测结果。此表仅包含导出过程运行时处于有效状态（例如已启用且未删除）的规则的检测结果。即使检测时间在查询范围内，此表也不会包含在导出作业执行之前已停用或删除的规则的检测结果。
rulesets：存储有关 Google SecOps 精选检测的信息，包括每个规则集所属的类别、是否已启用以及当前提醒状态。
udm_enum_value_to_name_mapping：对于事件表中的枚举类型，将数值映射到字符串值。
udm_events_aggregates：存储按规范化事件的小时汇总的汇总数据。此表会尽力填充。每个小时的数据可能不会立即提供，并且填充可能会延迟。

数据新鲜度和导出时间表

BigQuery 表中的数据会以不同的时间间隔更新。了解这些信息有助于您设置对数据可用性的预期：

UDM 事件（events 表） ：通常会频繁更新，数据通常会在注入后大约两小时内提供。
尽力而为的导出 ：许多其他数据集会尽力而为 地导出。这包括但不限于：
- udm_events_aggregates
- rule_detections
- ioc_matches
- entity_graph
- ingestion_metrics

对于尽力而为导出的表，虽然更新是定期进行的，但没有严格承诺的延迟时间或时间安排。可能会出现延迟，对于 udm_events_aggregates 等每小时汇总，每个小时的数据可能不会在小时结束时立即提供。数据通常预计会在一天内更新。

访问 BigQuery 中的数据

您可以直接在 BigQuery 中运行查询，也可以将您自己的商业智能工具（例如 Looker 或 Microsoft Power BI）连接到 BigQuery。

如需启用对 BigQuery 实例的访问权限，请使用 Google SecOps BigQuery Access API。您可以为自己拥有的用户或群组提供电子邮件地址。如果您配置了对群组的访问权限，请使用该群组来管理哪些团队成员可以访问 BigQuery 实例。

如需将 Looker 或其他商业智能工具连接到 BigQuery，请与您的 Google SecOps 代表联系，以获取服务帐号凭据，以便您将应用连接到 Google SecOps BigQuery 数据集。该服务账号将具有 IAM BigQuery Data Viewer 角色 (roles/bigquery.dataViewer) 和 BigQuery Job Viewer 角色 (roles/bigquery.jobUser)。

数据保留

对于使用 Google 托管的 BigQuery 的 Google SecOps 企业 Plus 版客户，适用以下保留设置：

旧版 Google SecOps 企业 Plus 版客户（处于废弃路径中）：
- ioc_matches 和 rule_detections 表：由于数据量较小，因此未设置保留期限。
- entity_graph、udm_events_aggregates 和 events 表以外的其他分区表：180 天。
- events 表（UDM 事件）：数据会根据您的 Google SecOps 合同保留，如果合同中未指定，则默认保留 366 天。
新客户：保留期限受 Google SecOps 合同的约束（与高级 BigQuery 导出功能一致）。

后续步骤

详细了解以下架构：
- events
- ingestion_metrics
如需了解如何在 BigQuery 中访问和运行查询，请参阅运行交互式查询作业和批量查询作业。
如需了解如何查询分区表，请参阅查询分区表。
如需了解如何将 Looker 连接到 BigQuery，请参阅有关连接到 BigQuery的 Looker 文档。