排查提取问题

支持的环境:

本文档介绍了您在 Google Security Operations 中提取和规范化数据时可能会遇到的错误,并介绍了如何解决这些错误。请使用下表诊断提取失败问题、识别丢弃的日志并评估下游影响。

本文档介绍了以下提取方法的错误:Google SecOps 转发器、Google SecOps 提取 API、Google SecOps API Feed 和第三方技术合作伙伴。

来源和提取错误

在以下情况下,您可能会遇到以下错误:

  • 从来源系统检索数据。
  • Google SecOps 转发器或第三方 Feed 尝试与外部 API 或资源通信。
HTTP 状态代码 错误原因 规范错误代码 错误消息 错误说明 问题排查
206 Partial content REMOTE_SERVER_ERROR Remote server error due to partial content. 上游服务器返回部分内容,而不是 MICROSOFT_GRAPH_ALERT Feed 的完整数据集。 这是上游 API 问题。Google SecOps 会自动重试传输。数据不会丢失。您无需采取任何措施。
400 错误请求 INVALID_ARGUMENT 请求参数无效。 系统已与来源建立连接,但由于参数无效,Feed 失败。 验证来源授权、所需角色,以及所有必填字段是否正确填写。检查 ID、区域或名称中是否存在非法字符,并确保轮询间隔等参数在限制范围内。查看 Feed 配置,并参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。
401 未经授权 LOGIN_FAILED 身份验证失败。请验证您的凭据,然后重试。 系统已建立连接,但由于凭据不正确或缺失,授权失败。 验证并重新输入来源的凭据,以确认凭据正确且未过期。
403 已禁止 ACCESS_DENIED / PERMISSION_DENIED 访问遭拒。凭据缺少访问此资源的权限。 系统已与来源建立连接,但凭据缺少访问该资源所需的权限。 确保服务或身份验证账号或 API 密钥具有访问该资源所需的 Identity and Access Management (IAM) 角色或权限。如需了解详情,请参阅 Feed 配置。例如,在 Azure 门户中仔细检查 Azure 事件中心连接字符串。或者,参阅 Feed 文档了解所需的权限。如需了解权限,请参阅按来源类型配置
404 未找到网址 FILE_NOT_FOUND / NOT_FOUND 找不到端点。请验证网址和资源详情。 系统找不到特定文件或端点。

请检查以下各项:

  • 文件存在于来源中。
  • 检查 API 网址或主机名中是否存在拼写错误。
  • 确保资源 ID(例如存储桶名称或网站 ID)和区域正确无误。
  • 相应用户有权访问该特定路径。

如果问题仍然存在,请与 Google SecOps 支持团队联系。

429 ACCESS_TOO_FREQUENT Feed 超时。 来源正在对请求进行速率限制。由于尝试访问来源的次数过多,Feed 失败。 这通常是暂时性问题。如果问题仍然存在,请与 Google SecOps 支持团队联系。
500 已与来源建立连接,但来源未响应数据。 确保来源可用且正在响应。如果问题仍然存在,请与 Google SecOps 支持团队联系。
502 Feed 遇到网关错误。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
503 暂时性连接问题。 来源或网关未能响应或超时。 确保来源可用且正在响应。如果以编程方式调用 API,请使用抖动指数退避算法。
504 Google SecOps 无法连接到来源 IP 地址和端口。 此错误是暂时性的,应用将重试请求。

请检查以下各项:

  • 来源可用。
  • 防火墙未阻止连接。
  • 与服务器关联的 IP 地址正确无误。

如果问题仍然存在,请与 Google SecOps 支持团队联系。

通用凭据 无法验证凭据。请检查您的配置详情。 检查在 Google SecOps 控制台中设置的凭据的一般配置详情。
CONNECTION_DROPPED 系统已与来源建立连接,但在 Feed 完成之前连接已关闭。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
CONNECTION_FAILED 无法连接到来源。 系统无法建立网络连接。应用无法连接到来源 IP 地址和端口。 验证来源可用、没有防火墙阻止连接,并且 IP 地址正确无误。

请检查以下各项:

  • 来源可用。
  • 防火墙未阻止连接。
  • 与服务器关联的 IP 地址正确无误。
  • 如果问题仍然存在,请与 Google SecOps 支持团队联系。

DNS_ERROR DNS 错误。 系统无法解析来源主机名。 验证 Feed 参数和来源域名服务器设置中的网址。检查服务器主机名中是否存在拼写错误。
FILE_FAILED 系统已与来源建立连接,但文件或资源出现问题。

请检查以下各项:

  • 文件未损坏。
  • 文件级权限正确无误。

如果问题仍然存在,请与 Google SecOps 支持团队联系。

GATEWAY_ERROR API 向 Google SecOps 发出的调用返回了网关错误。 验证 Feed 的来源详情。应用将重试请求。
INTERNAL_ERROR 由于内部错误,无法注入数据。 如果问题仍然存在,请与 Google SecOps 支持团队联系。
INVALID_FEED_CONFIG Feed 配置包含无效值。 查看 Feed 配置中是否存在不正确的设置。如需了解正确的语法,请参阅 Feed 文档。
INVALID_REMOTE_RESPONSE 已与来源建立连接,但响应不正确。 检查 Feed 配置。详细了解如何设置 Feed。如果问题仍然存在,请与 Google SecOps 支持团队联系。
INVALID_SECRET 密钥不匹配。 检查 Feed 中配置的密钥与 Google SecOps 在 HTTP 标头中收到的密钥是否不匹配。 例如,在使用 HTTPS 推送提取时。
INVALID_SSL_CERTIFICATE SSL 证书无效。 系统无法验证来源的 SSL 证书。 检查来源授权,并确保服务器的证书有效且受信任。
NO_RESPONSE 已与来源建立连接,但来源未响应。 确保来源可以支持来自 Google SecOps 的请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
REMOTE_SERVER_ERROR 已与来源建立连接,但来源未响应数据。 确保来源可用且正在响应数据。如果问题仍然存在,请与 Google SecOps 支持团队联系。
REMOTE_SERVER_REPORTED_BAD_REQUEST 已与来源建立连接,但来源拒绝了请求。 检查 Feed 配置。如需了解详情,请参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。
RESOURCE_EXHAUSTED 超出配额限制或速率限制。 检查是否因请求量过高或数据限制而导致配额拒绝。来源发送请求的频率过高。监控配额使用情况,并在需要时与支持团队联系。例如,在使用提取 API 或 Google Workspace 时。
SOCKET_READ_TIMEOUT 已与来源建立连接,但在数据传输完成之前连接超时。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
TOO_MANY_ERRORS 由于 Feed 从来源中遇到多个错误,因此超时。 请与 Google SecOps 支持团队联系。
TRANSIENT_INTERNAL_ERROR Feed 遇到暂时性内部错误。 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。
UNSAFE_CONNECTION 由于 IP 地址受到限制,应用无法建立连接。 此错误是暂时性的,Google SecOps 将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。

解析器和规范化错误

这些错误发生在提取之后,即在将原始日志映射到统一数据模型 (UDM) 的过程中。如果此处发生错误,Google SecOps 可能会丢弃日志,或者您可能无法使用 UDM 字段搜索日志。

解析器错误类型 错误说明 问题排查
Regex 解析器的正则表达式存在问题。 检查解析器逻辑。对于预构建的解析器,请与 Google SecOps 支持团队联系。
Invalid_config 解析器的配置文件存在问题。 验证并更正解析器配置文件。
索引事件批次验证错误 规范化数据未能通过架构检查。 查看解析器到 UDM 字段的映射,确保其符合要求。
积压 系统延迟了规范化。 原始日志正在队列中等待处理。如果延迟仍然存在,请与支持团队联系。
LOG_PARSING_DROPPED_NO_EVENTS 解析器未生成任何事件,导致日志被丢弃。 检查原始日志,确保其中包含应实际生成事件的数据。
LOG_PARSING_DROPPED_BY_FILTER 解析器中的显式丢弃过滤条件导致系统丢弃了日志。 查看解析器代码中的过滤条件。对于没有安全价值的日志,这通常是故意的。
LOG_PARSING_DROPPED_BY_FILTER: TAG_MALFORMED_ENCODING JSON 或 XML 编码错误导致解析失败。 确保日志源使用的是受支持且格式正确的编码。
LOG_PARSING_NO_PARSER_FOUND 系统没有适用于此日志类型的解析器。 验证您是否设置了正确的 LogType,以及是否有解析器针对该类型处于活跃状态。

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。