排查数据提取问题

支持的平台:

本文档介绍了在 Google Security Operations 中进行数据注入和规范化期间可能会遇到的错误,并说明了如何修复这些错误。您可以使用下表来诊断提取失败问题、识别丢弃的日志并评估下游影响。

本文档介绍了以下数据提取方法的错误:Google SecOps Forwarder、Google SecOps Ingestion API、Google SecOps API Feed 和第三方技术合作伙伴。

来源错误和注入错误

在以下情况下,您可能会遇到以下错误:

  • 从源系统检索数据。
  • Google SecOps 转发器或第三方 Feed 尝试与外部 API 或资源进行通信。
HTTP 状态代码 错误原因 规范错误代码 出错提示 Error description 问题排查
206 部分内容 REMOTE_SERVER_ERROR 因内容不完整而导致的远程服务器错误。 上游服务器针对 MICROSOFT_GRAPH_ALERT Feed 返回部分内容,而不是完整的数据集。 这是上游 API 问题。Google SecOps 会自动重试转移。数据不会丢失。您无需采取任何措施。
400 错误请求 INVALID_ARGUMENT 请求参数无效。 系统已与来源建立连接,但由于实参无效,Feed 失败。 验证来源授权、所需角色,并确保所有必填字段均已正确填写。检查 ID、区域或名称中是否存在非法字符,并确保轮询间隔等参数在限制范围内。检查 Feed 配置,并参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。
401 未经授权 LOGIN_FAILED 身份验证失败。请验证您的凭据,然后重试。 系统已建立连接,但由于凭据不正确或缺失,授权失败。 验证并重新输入来源的凭据,以确认凭据正确且未过期。
403 已禁止 ACCESS_DENIED / PERMISSION_DENIED 访问遭拒。相应凭据缺少访问此资源的权限。 系统已与来源建立连接,但凭据缺少资源的必要权限。 确保服务、身份验证账号或 API 密钥具有资源所需的 Identity and Access Management (IAM) 角色或权限。如需了解详情,请参阅Feed 配置。例如,在 Azure 门户中仔细检查 Azure 事件中心连接字符串。或者,您也可以参阅 Feed 文档,了解所需的权限。如需了解权限,请参阅按来源类型进行配置。
404 未找到网址 文件未找到 / 未找到 找不到端点。验证网址和资源详细信息。 系统找不到特定文件或端点。

请检查以下各项:

  • 文件存在于来源中。
  • 检查 API 网址或主机名中是否存在拼写错误。
  • 确保资源 ID(例如存储桶名称或网站 ID)和区域正确无误。
  • 相应用户有权访问该特定路径。

如果问题仍然存在,请与 Google SecOps 支持团队联系。

429 ACCESS_TOO_FREQUENT Feed 超时。 来源正在限制请求速率。由于尝试访问来源的次数过多,Feed 失败。 这通常是暂时性问题。如果问题仍然存在,请与 Google SecOps 支持团队联系。
500 已建立与来源的连接,但来源未响应数据。 确保来源可用且正在响应。如果问题仍然存在,请与 Google SecOps 支持团队联系。
502 Feed 遇到了网关错误。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
503 暂时性连接问题。 来源或网关未能响应或超时。 确保来源可用且正在响应。如果以编程方式调用 API,请使用抖动指数退避算法。
504 Google SecOps 无法连接到来源 IP 地址和端口。 此错误是暂时性的,应用将重试请求。

请检查以下各项:

  • 来源可用。
  • 防火墙未阻止连接。
  • 与服务器关联的 IP 地址正确无误。

如果问题仍然存在,请与 Google SecOps 支持团队联系。

通用凭据 无法验证凭据。检查配置详情。 在 Google SecOps 控制台中查看凭据集的一般配置详细信息。
CONNECTION_DROPPED 系统已与来源建立连接,但在 Feed 完成之前,连接已关闭。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
CONNECTION_FAILED 无法连接到来源。 系统无法建立网络连接。应用无法连接到来源 IP 地址和端口。 验证来源是否可用、没有防火墙阻止连接,以及 IP 地址是否正确。

请检查以下各项:

  • 来源可用。
  • 防火墙未阻止连接。
  • 与服务器关联的 IP 地址正确无误。
  • 如果问题仍然存在,请与 Google SecOps 支持团队联系。

DNS_ERROR DNS 错误。 系统无法解析源主机名。 验证 Feed 参数和源域名服务器设置中的网址。检查服务器主机名中是否存在拼写错误。
FILE_FAILED 系统已与来源建立连接,但文件或资源出现问题。

请检查以下各项:

  • 文件未损坏。
  • 文件级权限正确无误。

如果问题仍然存在,请与 Google SecOps 支持团队联系。

GATEWAY_ERROR API 向 Google SecOps 发出的调用返回了网关错误。 验证 Feed 的来源详细信息。应用将重试该请求。
INTERNAL_ERROR 由于内部错误,无法注入数据。 如果问题仍然存在,请与 Google SecOps 支持团队联系。
INVALID_FEED_CONFIG Feed 配置包含无效值。 检查 Feed 配置是否存在设置错误。如需了解正确的语法,请参阅 Feed 文档。
INVALID_REMOTE_RESPONSE 已建立与来源的连接,但响应不正确。 检查 Feed 配置。详细了解如何设置 Feed。如果问题仍然存在,请与 Google SecOps 支持团队联系。
无效的 Secret 密钥不匹配。 检查 Feed 中配置的密钥与 Google SecOps 在 HTTP 标头中收到的密钥是否不一致。例如,在使用 HTTPS 推送提取时。
INVALID_SSL_CERTIFICATE SSL 证书无效。 系统无法验证来源的 SSL 证书。 检查来源授权,并确保服务器的证书有效且可信。
NO_RESPONSE 已建立与来源的连接,但来源未响应。 确保来源可以支持来自 Google SecOps 的请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
REMOTE_SERVER_ERROR 已建立与来源的连接,但来源未响应数据。 确保来源可用且正在响应数据。如果问题仍然存在,请与 Google SecOps 支持团队联系。
REMOTE_SERVER_REPORTED_BAD_REQUEST 已与来源建立连接,但来源拒绝了请求。 检查 Feed 配置。如需了解详情,请参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。
RESOURCE_EXHAUSTED 超出配额限制或速率限制。 检查是否因请求量过大或数据限制而导致配额被拒绝。来源发送请求的频率过高。监控配额用量,并在需要时与支持团队联系。例如,使用 Ingestion API 或 Google Workspace 时。
SOCKET_READ_TIMEOUT 已建立与来源的连接,但连接在数据传输完成之前超时。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
TOO_MANY_ERRORS 由于从来源中遇到多个错误,Feed 超时。 请与 Google SecOps 支持团队联系。
TRANSIENT_INTERNAL_ERROR Feed 遇到临时内部错误。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
不安全的 连接 由于 IP 地址受到限制,应用未能建立连接。 此错误是暂时性的,Google SecOps 会重试该请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。

解析器和归一化错误

这些错误发生在提取之后,即在将原始日志映射到统一数据模型 (UDM) 的过程中。如果此处出现错误,Google SecOps 可能会丢弃日志,或者您可能无法使用 UDM 字段搜索日志。

解析器错误类型 Error description 问题排查
正则表达式 解析器在处理正则表达式时遇到问题。 检查解析器逻辑。如需预构建的解析器,请与 Google SecOps 支持团队联系。
Invalid_config 解析器的配置文件存在问题。 验证并更正解析器配置文件。
索引编制事件批次验证错误 标准化数据未通过架构检查。 查看解析器与 UDM 字段的映射,确保它们符合要求。
积压 系统延迟了归一化。 原始日志正在队列中等待处理。如果延迟问题仍然存在,请与支持团队联系。
LOG_PARSING_DROPPED_NO_EVENTS 解析器未生成任何事件,导致日志被舍弃。 检查原始日志,确保其中包含实际上应生成事件的数据。
LOG_PARSING_DROPPED_BY_FILTER 解析器中的显式丢弃过滤条件导致系统丢弃了日志。 查看解析器代码中的过滤条件。对于没有安全价值的日志,这通常是故意的。
LOG_PARSING_DROPPED_BY_FILTER: TAG_MALFORMED_ENCODING JSON 或 XML 编码错误导致解析失败。 确保日志源使用的是受支持且格式正确的编码。
LOG_PARSING_NO_PARSER_FOUND 系统没有此日志类型的解析器。 验证您是否设置了正确的 LogType,以及是否有解析器针对该类型处于有效状态。

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。