收集 Apache Tomcat 日志

解析器版本:3.0

支持范围:

本文档介绍了如何使用 Bindplane 代理将 Apache Tomcat 日志注入 Google Security Operations。

Apache Tomcat 是一款 Web 应用服务器,可为 HTTP 请求、身份验证事件和服务器活动生成 JSON 访问日志。解析器会从 JSON 格式和 syslog 格式的日志中提取字段,并将其映射到统一数据模型 (UDM)。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例
  • Windows Server 2016 或更高版本,或者安装了 systemd 的 Linux 主机
  • 安装在 Tomcat 服务器上的 Bindplane 代理(用于读取本地日志文件)
  • 如果在代理后面运行,请确保按照 Bindplane 代理要求打开防火墙端口
  • Tomcat 服务器的管理员权限

获取 Bindplane 代理的 Google SecOps 凭证

如需向 Google SecOps 验证 Bindplane 代理,请选择以下方法之一:

  • 新部署:使用 Chronicle API(选项 1)。
  • 旧版部署:继续使用数据注入身份验证文件(方法 2),直到 Ingestion API 于 2027 年 7 月 20 日停用。
  1. 登录 Google Cloud 控制台,然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 依次前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号。
  4. 提供以下配置详细信息:
    • 服务账号名称:输入账号的名称(例如 bindplane-ingest)。
    • 服务账号说明:输入说明(例如 Bindplane agent log ingestion)。
  5. 点击创建并继续。
  6. 在向此服务账号授予对项目的访问权限部分,点击选择角色,然后选择 Chronicle Editor。
  7. 点击继续,然后点击完成。
  8. 点击您创建的服务账号,然后前往密钥标签页。
  9. 依次点击添加密钥 > 创建新密钥。
  10. 选择 JSON,然后点击创建。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录(Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)中的 ingestion-auth.json,或更新 config.yaml 中的 creds_file_path 以匹配您保存它的路径。
  12. 前往 IAM 和管理 > 设置,然后复制项目编号。您在配置导出器时需要用到该名称。

方法 2:下载数据注入身份验证文件(旧版)

  1. 登录 Google SecOps 控制台。
  2. 依次前往设置 > 数据管理 > 收集代理。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 收集代理。
  3. 下载数据注入身份验证文件。
  4. 将该文件安全地保存在将要安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 依次前往设置 > 管理 > 个人资料。如果您使用的是仅限 SIEM 的平台,请依次前往设置 > 个人资料。
  3. 复制并保存组织详细信息部分中的客户 ID。

在 Tomcat 服务器上安装 Bindplane 代理以收集日志文件

在 Tomcat 服务器本身上安装 Bindplane 代理,因为它需要读取本地日志文件。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。
  2. 运行以下命令:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sc query observiq-otel-collector
    

    该服务应显示为正在运行。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。
  2. 运行以下命令:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sudo systemctl status observiq-otel-collector
    

    该服务应显示为 active (running)。

其他安装资源

如需了解其他安装选项和问题排查,请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 Tomcat 日志并发送到 Google SecOps

找到配置文件

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置:

    receivers:
      filelog/tomcat:
        include:
          - /path/to/tomcat/logs/access-log.*.json
        start_at: beginning
    
    exporters:
      chronicle/tomcat:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: chronicle.googleapis.com
        log_type: TOMCAT
        raw_log_field: body
    
    service:
      pipelines:
        logs/tomcat_to_chronicle:
          receivers:
            - filelog/tomcat
          exporters:
            - chronicle/tomcat
    

配置参数

替换以下占位符:

  • 接收器配置:

    • include:Tomcat JSON 访问日志文件的路径。请根据您的 Tomcat 日志目录和文件模式进行调整。
    • start_at:设置为 beginning 可读取现有日志,设置为 end 可仅读取新条目。
  • 导出器配置:

    • creds_file_path:服务账号 JSON 密钥文件的完整路径(选项 1):
      • Linux:/opt/observiq-otel-collector/ingestion-auth.json
      • Windows:C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id:从 Google SecOps 控制台复制的客户 ID
    • location:将 <LOCATION> 替换为 Google SecOps 实例所在的区域(例如 us、europe 或 asia-southeast1)。导出工具会在此值前面加上 chronicle.googleapis.com。如需查看完整列表,请参阅区域级端点。
    • project:将 <PROJECT_NUMBER> 替换为 IAM 和管理 > 设置中的项目编号。
    • endpoint:保持设置为 chronicle.googleapis.com。

旧版提取 API 导出工具

  • 如果您使用选项 2 中的数据注入身份验证文件,请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为数据注入身份验证文件的路径,如果您的实例位于美国境外,请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点(例如 europe-malachiteingestion-pa.googleapis.com)。

    exporters:
      chronicle/tomcat:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: TOMCAT
        raw_log_field: body
    

保存配置文件

  • 修改后,保存文件:
    • Linux:依次按 Ctrl+O、Enter 和 Ctrl+X
    • Windows:依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理,请运行以下命令:

    sudo systemctl restart observiq-otel-collector
    
    1. 验证服务是否正在运行:

      sudo systemctl status observiq-otel-collector
      
    2. 检查日志中的错误:

      sudo journalctl -u observiq-otel-collector -f
      
  • 如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:

    • 以管理员身份运行命令提示符或 PowerShell:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • “服务”控制台:

      1. 按 Win+R,输入 services.msc,然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry 收集器。
      3. 右键点击并选择重启。
      4. 验证服务是否正在运行:

        sc query observiq-otel-collector
        
      5. 检查日志中的错误:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

在 Tomcat 中配置 JSON 访问日志

  1. 打开位于 $CATALINA_BASE/conf/server.xml 的 Tomcat 配置文件。
  2. 找到 <Host> 标记,并在其中添加以下内容:

    <Valve className="org.apache.catalina.valves.JsonAccessLogValve"
           directory="logs"
           prefix="access-log"
           suffix=".json"
           rotatable="true"
           maxDays="7"/>
    
  3. 重启 Tomcat 以应用更改:

    cd /path/to/tomcat
    bin/catalina.sh stop
    bin/catalina.sh start
    
  4. 系统每天都会生成一个新的 JSON 日志文件(例如 logs/access-log.2025-07-02.json)。

UDM 映射表

日志字段 UDM 映射 逻辑
@timestamp metadata.event_timestamp 原始日志中的 @timestamp 值会直接映射到此 UDM 字段。它表示事件发生的时间。
agent.ephemeral_id additional.fields[ephemeral_id].value.string_value 来自代理的临时 ID 会作为键值对添加到 additional 字段中。
agent.hostname observer.hostname 代理的主机名用作观察器主机名。
agent.id observer.asset_id 智能体 ID 会与智能体类型组合在一起,以创建观察者资产 ID(例如 filebeat: <agent_id>)。
agent.type observer.application 智能体类型用作观察者应用。
agent.version observer.platform_version 代理版本用作观察器平台版本。
host.hostname principal.hostname 主机的域名用作主域名。
host.id principal.asset.asset_id 主机 ID 前面会加上 Host Id:,以创建主资产 ID。
host.ip principal.ip,observer.ip 主机的 IP 地址同时用作主 IP 和观察器 IP。如果存在多个 IP,它们会合并到一个数组中。
host.mac principal.mac 主机的 MAC 地址用作主 MAC 地址。如果存在多个 MAC,它们会合并到一个数组中。
host.os.family principal.platform 如果主机操作系统系列为 rhel 或 redhat,则主要平台设置为 LINUX。
host.os.kernel principal.platform_patch_level 主机操作系统内核版本用作主要平台补丁级别。
host.os.name additional.fields[os_name].value.string_value 主机操作系统名称会作为键值对添加到 additional 字段中。
host.os.version principal.platform_version 主机操作系统版本用作主要平台版本。
log.file.path principal.process.file.full_path 日志路径用作主进程文件的完整路径。
log_level security_result.severity、security_result.severity_details、security_result.action 日志级别用于确定安全结果严重级别、严重级别详细信息和操作。DEBUG、INFO 和 AUDIT 映射到 INFORMATIONAL 严重级别和 ALLOW 操作。ERROR 映射到 ERROR 严重级别和 BLOCK 操作。WARNING 和 WARN 映射到 MEDIUM 严重级别和 BLOCK 操作。原始 log_level 值也会映射到 severity_details。
logstash.irm_environment additional.fields[irm_environment].value.string_value Logstash 中的 Iron Mountain 环境会作为键值对添加到 additional 字段中。
logstash.irm_region additional.fields[irm_region].value.string_value Logstash 中的 Iron Mountain 区域会作为键值对添加到 additional 字段中。
logstash.irm_site additional.fields[irm_site].value.string_value 来自 Logstash 的 Iron Mountain 站点会作为键值对添加到 additional 字段中。
logstash.process.host intermediary.hostname Logstash 处理主机用作中间主机名。
logstash.process.timestamp metadata.collected_timestamp Logstash 处理时间戳用作收集的时间戳。
logstash.xyz_environment additional.fields[xyz_environment].value.string_value Logstash 中的 xyz 环境会作为键值对添加到 additional 字段中。
logstash.xyz_region additional.fields[xyz_region].value.string_value Logstash 中的 xyz 区域会作为键值对添加到 additional 字段中。
logstash.xyz_site additional.fields[xyz_site].value.string_value Logstash 中的 xyz 网站会作为键值对添加到 additional 字段中。
message metadata.description 消息字段会解析为 JSON,其 event_message 字段会用作元数据说明。中介应用已硬编码为 logstash。元数据事件类型已硬编码为 USER_UNCATEGORIZED。元数据日志类型设置为 TOMCAT,该值来自原始日志的 batch.type 或 batch.log_type。元数据产品名称已硬编码为 Tomcat。元数据供应商名称已硬编码为 Tomcat。
user principal.user.userid 原始日志中的用户字段用作主账号用户 ID。
product_event metadata.product_event_type 从更新日志映射
summary security_result.summary 从更新日志映射
query additional.fields 从更新日志映射

更新日志

查看此解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。