排查提取问题
支持的环境:
Google SecOps
SIEM
本文档介绍了您在 Google Security Operations 中提取和规范化数据时可能会遇到的错误,并介绍了如何解决这些错误。请使用下表诊断提取失败问题、识别丢弃的日志并评估下游影响。
本文档介绍了以下提取方法的错误:Google SecOps 转发器、Google SecOps 提取 API、Google SecOps API Feed 和第三方技术合作伙伴。
来源和提取错误
在以下情况下,您可能会遇到以下错误:
- 从来源系统检索数据。
- Google SecOps 转发器或第三方 Feed 尝试与外部 API 或资源通信。
| HTTP 状态代码 | 错误原因 | 规范错误代码 | 错误消息 | 错误说明 | 问题排查 |
|---|---|---|---|---|---|
| 206 | Partial content | REMOTE_ |
Remote server error due to partial content. | 上游服务器返回部分内容,而不是 MICROSOFT_GRAPH_ALERT Feed 的完整数据集。 |
这是上游 API 问题。Google SecOps 会自动重试传输。数据不会丢失。您无需采取任何措施。 |
| 400 | 错误请求 | INVALID_ |
请求参数无效。 | 系统已与来源建立连接,但由于参数无效,Feed 失败。 | 验证来源授权、所需角色,以及所有必填字段是否正确填写。检查 ID、区域或名称中是否存在非法字符,并确保轮询间隔等参数在限制范围内。查看 Feed 配置,并参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
| 401 | 未经授权 | LOGIN_ |
身份验证失败。请验证您的凭据,然后重试。 | 系统已建立连接,但由于凭据不正确或缺失,授权失败。 | 验证并重新输入来源的凭据,以确认凭据正确且未过期。 |
| 403 | 已禁止 | ACCESS_ |
访问遭拒。凭据缺少访问此资源的权限。 | 系统已与来源建立连接,但凭据缺少访问该资源所需的权限。 | 确保服务或身份验证账号或 API 密钥具有访问该资源所需的 Identity and Access Management (IAM) 角色或权限。如需了解详情,请参阅 Feed 配置。例如,在 Azure 门户中仔细检查 Azure 事件中心连接字符串。或者,参阅 Feed 文档了解所需的权限。如需了解权限,请参阅按来源类型配置。 |
| 404 | 未找到网址 | FILE_ |
找不到端点。请验证网址和资源详情。 | 系统找不到特定文件或端点。 | 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
| 429 | ACCESS_ |
Feed 超时。 | 来源正在对请求进行速率限制。由于尝试访问来源的次数过多,Feed 失败。 | 这通常是暂时性问题。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |
| 500 | 已与来源建立连接,但来源未响应数据。 | 确保来源可用且正在响应。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| 502 | Feed 遇到网关错误。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| 503 | 暂时性连接问题。 | 来源或网关未能响应或超时。 | 确保来源可用且正在响应。如果以编程方式调用 API,请使用抖动指数退避算法。 | ||
| 504 | Google SecOps 无法连接到来源 IP 地址和端口。 | 此错误是暂时性的,应用将重试请求。 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
|||
| 通用凭据 | 无法验证凭据。请检查您的配置详情。 | 检查在 Google SecOps 控制台中设置的凭据的一般配置详情。 | |||
| CONNECTION_ |
系统已与来源建立连接,但在 Feed 完成之前连接已关闭。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| CONNECTION_ |
无法连接到来源。 | 系统无法建立网络连接。应用无法连接到来源 IP 地址和端口。 | 验证来源可用、没有防火墙阻止连接,并且 IP 地址正确无误。 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
||
| DNS_ |
DNS 错误。 | 系统无法解析来源主机名。 | 验证 Feed 参数和来源域名服务器设置中的网址。检查服务器主机名中是否存在拼写错误。 | ||
| FILE_ |
系统已与来源建立连接,但文件或资源出现问题。 | 请检查以下各项:
如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
|||
| GATEWAY_ |
API 向 Google SecOps 发出的调用返回了网关错误。 | 验证 Feed 的来源详情。应用将重试请求。 | |||
| INTERNAL_ |
由于内部错误,无法注入数据。 | 如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| INVALID_ |
Feed 配置包含无效值。 | 查看 Feed 配置中是否存在不正确的设置。如需了解正确的语法,请参阅 Feed 文档。 | |||
| INVALID_ |
已与来源建立连接,但响应不正确。 | 检查 Feed 配置。详细了解如何设置 Feed。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| INVALID_ |
密钥不匹配。 | 检查 Feed 中配置的密钥与 Google SecOps 在 HTTP 标头中收到的密钥是否不匹配。 例如,在使用 HTTPS 推送提取时。 | |||
| INVALID_ |
SSL 证书无效。 | 系统无法验证来源的 SSL 证书。 | 检查来源授权,并确保服务器的证书有效且受信任。 | ||
| NO_ |
已与来源建立连接,但来源未响应。 | 确保来源可以支持来自 Google SecOps 的请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| REMOTE_ |
已与来源建立连接,但来源未响应数据。 | 确保来源可用且正在响应数据。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| REMOTE_ |
已与来源建立连接,但来源拒绝了请求。 | 检查 Feed 配置。如需了解详情,请参阅 Feed 文档。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| RESOURCE_ |
超出配额限制或速率限制。 | 检查是否因请求量过高或数据限制而导致配额拒绝。来源发送请求的频率过高。监控配额使用情况,并在需要时与支持团队联系。例如,在使用提取 API 或 Google Workspace 时。 | |||
| SOCKET_ |
已与来源建立连接,但在数据传输完成之前连接超时。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| TOO_ |
由于 Feed 从来源中遇到多个错误,因此超时。 | 请与 Google SecOps 支持团队联系。 | |||
| TRANSIENT_ |
Feed 遇到暂时性内部错误。 | 此错误是暂时性的,应用将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 | |||
| UNSAFE_ |
由于 IP 地址受到限制,应用无法建立连接。 | 此错误是暂时性的,Google SecOps 将重试请求。如果问题仍然存在,请与 Google SecOps 支持团队联系。 |
解析器和规范化错误
这些错误发生在提取之后,即在将原始日志映射到统一数据模型 (UDM) 的过程中。如果此处发生错误,Google SecOps 可能会丢弃日志,或者您可能无法使用 UDM 字段搜索日志。
| 解析器错误类型 | 错误说明 | 问题排查 |
|---|---|---|
| Regex | 解析器的正则表达式存在问题。 | 检查解析器逻辑。对于预构建的解析器,请与 Google SecOps 支持团队联系。 |
| Invalid_config | 解析器的配置文件存在问题。 | 验证并更正解析器配置文件。 |
| 索引事件批次验证错误 | 规范化数据未能通过架构检查。 | 查看解析器到 UDM 字段的映射,确保其符合要求。 |
| 积压 | 系统延迟了规范化。 | 原始日志正在队列中等待处理。如果延迟仍然存在,请与支持团队联系。 |
| LOG_PARSING_DROPPED_NO_EVENTS | 解析器未生成任何事件,导致日志被丢弃。 | 检查原始日志,确保其中包含应实际生成事件的数据。 |
| LOG_PARSING_DROPPED_BY_FILTER | 解析器中的显式丢弃过滤条件导致系统丢弃了日志。 | 查看解析器代码中的过滤条件。对于没有安全价值的日志,这通常是故意的。 |
| LOG_PARSING_DROPPED_BY_FILTER: TAG_MALFORMED_ENCODING | JSON 或 XML 编码错误导致解析失败。 | 确保日志源使用的是受支持且格式正确的编码。 |
| LOG_PARSING_NO_PARSER_FOUND | 系统没有适用于此日志类型的解析器。 | 验证您是否设置了正确的 LogType,以及是否有解析器针对该类型处于活跃状态。 |