排查数据提取问题
支持的平台:
Google SecOps
SIEM
本文档介绍了在 Google Security Operations 中进行数据注入和规范化期间可能会遇到的错误,并说明了如何修复这些错误。您可以使用下表来诊断提取失败问题、识别丢弃的日志并评估下游影响。
本文档介绍了以下数据提取方法的错误:Google SecOps Forwarder、Google SecOps Ingestion API、Google SecOps API Feed 和第三方技术合作伙伴。
来源错误和注入错误
在以下情况下,您可能会遇到以下错误:
- 从源系统检索数据。
- Google SecOps 转发器或第三方 Feed 尝试与外部 API 或资源进行通信。
| HTTP 状态代码 | 错误原因 | 规范错误代码 | 出错提示 | Error description | 问题排查 |
|---|---|---|---|---|---|
| 206 | 部分内容 | REMOTE_ |
因内容不完整而导致的远程服务器错误。 | 上游服务器针对 MICROSOFT_GRAPH_ALERT Feed 返回部分内容,而不是完整的数据集。 |
这是上游 API 问题。Google SecOps 会自动重试转移。数据不会丢失。您无需采取任何措施。 |
| 400 | 错误请求 | INVALID_ |
请求参数无效。 | 系统已与来源建立连接,但由于实参无效,Feed 失败。 | 验证来源授权、所需角色,并确保所有必填字段均已正确填写。检查 ID、区域或名称中是否存在非法字符,并确保轮询间隔等参数在限制范围内。检查 Feed 配置,并参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
| 401 | 未经授权 | LOGIN_ |
身份验证失败。请验证您的凭据,然后重试。 | 系统已建立连接,但由于凭据不正确或缺失,授权失败。 | 验证并重新输入来源的凭据,以确认凭据正确且未过期。 |
| 403 | 已禁止 | ACCESS_ |
访问遭拒。相应凭据缺少访问此资源的权限。 | 系统已与来源建立连接,但凭据缺少资源的必要权限。 | 确保服务、身份验证账号或 API 密钥具有资源所需的 Identity and Access Management (IAM) 角色或权限。如需了解详情,请参阅Feed 配置。例如,在 Azure 门户中仔细检查 Azure 事件中心连接字符串。或者,您也可以参阅 Feed 文档,了解所需的权限。如需了解权限,请参阅按来源类型进行配置。 |
| 404 | 未找到网址 | 文件 |
找不到端点。验证网址和资源详细信息。 | 系统找不到特定文件或端点。 | 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
| 429 | ACCESS_ |
Feed 超时。 | 来源正在限制请求速率。由于尝试访问来源的次数过多,Feed 失败。 | 这通常是暂时性问题。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |
| 500 | 已建立与来源的连接,但来源未响应数据。 | 确保来源可用且正在响应。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| 502 | Feed 遇到了网关错误。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| 503 | 暂时性连接问题。 | 来源或网关未能响应或超时。 | 确保来源可用且正在响应。如果以编程方式调用 API,请使用抖动指数退避算法。 | ||
| 504 | Google SecOps 无法连接到来源 IP 地址和端口。 | 此错误是暂时性的,应用将重试请求。 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
|||
| 通用凭据 | 无法验证凭据。检查配置详情。 | 在 Google SecOps 控制台中查看凭据集的一般配置详细信息。 | |||
| CONNECTION_ |
系统已与来源建立连接,但在 Feed 完成之前,连接已关闭。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| CONNECTION_ |
无法连接到来源。 | 系统无法建立网络连接。应用无法连接到来源 IP 地址和端口。 | 验证来源是否可用、没有防火墙阻止连接,以及 IP 地址是否正确。 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
||
| DNS_ |
DNS 错误。 | 系统无法解析源主机名。 | 验证 Feed 参数和源域名服务器设置中的网址。检查服务器主机名中是否存在拼写错误。 | ||
| FILE_ |
系统已与来源建立连接,但文件或资源出现问题。 | 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
|||
| GATEWAY_ |
API 向 Google SecOps 发出的调用返回了网关错误。 | 验证 Feed 的来源详细信息。应用将重试该请求。 | |||
| INTERNAL_ |
由于内部错误,无法注入数据。 | 如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| INVALID_ |
Feed 配置包含无效值。 | 检查 Feed 配置是否存在设置错误。如需了解正确的语法,请参阅 Feed 文档。 | |||
| INVALID_ |
已建立与来源的连接,但响应不正确。 | 检查 Feed 配置。详细了解如何设置 Feed。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| 无效的 |
密钥不匹配。 | 检查 Feed 中配置的密钥与 Google SecOps 在 HTTP 标头中收到的密钥是否不一致。例如,在使用 HTTPS 推送提取时。 | |||
| INVALID_ |
SSL 证书无效。 | 系统无法验证来源的 SSL 证书。 | 检查来源授权,并确保服务器的证书有效且可信。 | ||
| NO_ |
已建立与来源的连接,但来源未响应。 | 确保来源可以支持来自 Google SecOps 的请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| REMOTE_ |
已建立与来源的连接,但来源未响应数据。 | 确保来源可用且正在响应数据。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| REMOTE_ |
已与来源建立连接,但来源拒绝了请求。 | 检查 Feed 配置。如需了解详情,请参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| RESOURCE_ |
超出配额限制或速率限制。 | 检查是否因请求量过大或数据限制而导致配额被拒绝。来源发送请求的频率过高。监控配额用量,并在需要时与支持团队联系。例如,使用 Ingestion API 或 Google Workspace 时。 | |||
| SOCKET_ |
已建立与来源的连接,但连接在数据传输完成之前超时。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| TOO_ |
由于从来源中遇到多个错误,Feed 超时。 | 请与 Google SecOps 支持团队联系。 | |||
| TRANSIENT_ |
Feed 遇到临时内部错误。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| 不安全的 |
由于 IP 地址受到限制,应用未能建立连接。 | 此错误是暂时性的,Google SecOps 会重试该请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
解析器和归一化错误
这些错误发生在提取之后,即在将原始日志映射到统一数据模型 (UDM) 的过程中。如果此处出现错误,Google SecOps 可能会丢弃日志,或者您可能无法使用 UDM 字段搜索日志。
| 解析器错误类型 | Error description | 问题排查 |
|---|---|---|
| 正则表达式 | 解析器在处理正则表达式时遇到问题。 | 检查解析器逻辑。如需预构建的解析器,请与 Google SecOps 支持团队联系。 |
| Invalid_config | 解析器的配置文件存在问题。 | 验证并更正解析器配置文件。 |
| 索引编制事件批次验证错误 | 标准化数据未通过架构检查。 | 查看解析器与 UDM 字段的映射,确保它们符合要求。 |
| 积压 | 系统延迟了归一化。 | 原始日志正在队列中等待处理。如果延迟问题仍然存在,请与支持团队联系。 |
| LOG_PARSING_DROPPED_NO_EVENTS | 解析器未生成任何事件,导致日志被舍弃。 | 检查原始日志,确保其中包含实际上应生成事件的数据。 |
| LOG_PARSING_DROPPED_BY_FILTER | 解析器中的显式丢弃过滤条件导致系统丢弃了日志。 | 查看解析器代码中的过滤条件。对于没有安全价值的日志,这通常是故意的。 |
| LOG_PARSING_DROPPED_BY_FILTER: TAG_MALFORMED_ENCODING | JSON 或 XML 编码错误导致解析失败。 | 确保日志源使用的是受支持且格式正确的编码。 |
| LOG_PARSING_NO_PARSER_FOUND | 系统没有此日志类型的解析器。 | 验证您是否设置了正确的 LogType,以及是否有解析器针对该类型处于有效状态。 |