收集 Apache Cassandra 日志

解析器版本: 4.0

支持:

本文档介绍了如何使用 Bindplane 代理将 Apache Cassandra 日志注入 Google Security Operations。

Apache Cassandra 会生成数据库操作、集群事件和系统活动的日志。解析器使用 grok 模式和 JSON 过滤器提取字段,然后将这些字段映射到统一数据模型 (UDM)。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例
  • Windows Server 2016 或更高版本,或者具有 systemd 的 Linux 主机
  • Bindplane 代理与 Apache Cassandra 主机之间的网络连接
  • 如果通过代理运行,请确保防火墙端口根据 Bindplane 代理要求处于开放状态
  • 对 Apache Cassandra 主机的管理 (SSH) 访问权限

获取 Google SecOps 注入身份验证文件

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置 > 收集代理
  3. 下载数据注入身份验证文件
  4. 将该文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置 > 个人资料
  3. 组织详细信息 部分复制并保存客户 ID

安装 Bindplane 代理

按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符PowerShell
  2. 运行以下命令:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sc query observiq-otel-collector
    

    该服务应显示为正在运行

Linux 安装

  1. 使用 root 或 sudo 权限打开终端。
  2. 运行以下命令:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sudo systemctl status observiq-otel-collector
    

    该服务应显示为活跃 (正在运行)

其他安装资源

如需了解其他安装选项和问题排查方法,请参阅 Bindplane 代理安装指南

配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps

找到配置文件

  • Linux

    sudo nano /etc/bindplane-agent/config.yaml
    
  • Windows

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

修改配置文件

  • config.yaml 的全部内容替换为以下配置:

    receivers:
        udplog:
            listen_address: "0.0.0.0:514"
    
    exporters:
        chronicle/cassandra:
            compression: gzip
            creds_file_path: '/etc/bindplane-agent/ingestion-auth.json'
            customer_id: '<customer_id>'
            endpoint: malachiteingestion-pa.googleapis.com
            log_type: CASSANDRA
            raw_log_field: body
    
    service:
        pipelines:
            logs/cassandra_to_chronicle:
                receivers:
                    - udplog
                exporters:
                    - chronicle/cassandra
    

配置参数

替换以下占位符:

  • 接收器配置

    • listen_address:要监听的 IP 地址和端口:
      • 0.0.0.0 以监听所有接口(推荐)
      • 端口 514 是标准 syslog 端口(在 Linux 上需要 root;对于非 root 用户,请使用 1514
  • 导出器配置

    • creds_file_path:注入身份验证文件的完整路径:
      • Linux: /etc/bindplane-agent/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id:从 Google SecOps 控制台复制的客户 ID
    • endpoint:区域端点网址:
      • 美国malachiteingestion-pa.googleapis.com
      • 欧洲: europe-malachiteingestion-pa.googleapis.com
      • 亚洲: asia-southeast1-malachiteingestion-pa.googleapis.com
      • 如需查看完整列表,请参阅区域端点

保存配置文件

  • 修改后,保存文件:
    • Linux:按 Ctrl+O,然后按 Enter,再按 Ctrl+X
    • Windows:依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理,请运行以下命令:

    sudo systemctl restart observiq-otel-collector
    
    1. 验证服务正在运行:

      ```bash
      sudo systemctl status observiq-otel-collector
      ```
      
    2. 检查日志中的错误:

      ```bash
      sudo journalctl -u observiq-otel-collector -f
      ```
      
  • 如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:

    • 以管理员身份运行命令提示符或 PowerShell:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • 服务控制台:

      1. Win+R,输入 services.msc,然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry Collector
      3. 右键点击并选择重启
      4. 验证服务正在运行:

        sc query observiq-otel-collector
        
      5. 检查日志中的错误:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

在 Apache Cassandra 中配置 syslog 导出

  1. 使用 SSH 登录 Apache Cassandra 主机。
  2. 打开配置文件 logback.xml

    • Apache Cassandra(大多数版本):$(CASSANDRA_HOME)/conf
    • Datastax Enterprise(软件包安装):/etc/dse
    • Datastax Enterprise(tar 安装):$(TARBALL_ROOT)/resources/cassandra/conf
  3. 将以下 Appender 定义添加到第 28 行的 logback.xml 文件中:

    <appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender">
        <syslogHost>BINDPLANE_IP</syslogHost>
        <port>BINDPLANE_PORT</port>
        <facility>LOCAL7</facility>
        <throwableExcluded>true</throwableExcluded>
        <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern>
    </appender>
    
  4. BINDPLANE_IPBINDPLANE_PORT 替换为实际的 Bindplane 代理 IP 地址和端口。

  5. 将以下代码添加到 logback.xml 文件中的根记录器块 <root level="INFO">

    插入此行的位置取决于您的 Apache Cassandra 版本:

    • Apache Cassandra 5.0.x,第 123 行
    • Apache Cassandra 4.0.x 和 4.1.x,第 115 行
    • Apache Cassandra 3.11.x 和 3.0.x,第 92 行
    • Datastax Enterprise(所有版本),第 121 行
    <appender-ref ref="SYSLOG" />
    

UDM 映射表

日志字段 UDM 映射 逻辑
agent.ephemeral_id observer.labels.value 来自内部 JSON 消息的 agent.ephemeral_id 的值。
agent.hostname observer.hostname 来自内部 JSON 消息的 agent.hostname 的值。
agent.id observer.asset_id filebeat: 和来自内部 JSON 消息的 agent.id 的值的串联。
agent.name observer.user.userid 来自内部 JSON 消息的 agent.name 的值。
agent.type observer.application 来自内部 JSON 消息的 agent.type 的值。
agent.version observer.platform_version 来自内部 JSON 消息的 agent.version 的值。
cloud.availability_zone principal.cloud.availability_zone 来自内部 JSON 消息的 cloud.availability_zone 的值。
cloud.instance.id principal.resource.product_object_id 来自内部 JSON 消息的 cloud.instance.id 的值。
cloud.instance.name principal.resource.name 来自内部 JSON 消息的 cloud.instance.name 的值。
cloud.machine.type principal.resource.attribute.labels.value 来自内部 JSON 消息的 cloud.machine.type 的值,其中对应的 keymachine_type
cloud.provider principal.resource.attribute.labels.value 来自内部 JSON 消息的 cloud.provider 的值,其中对应的 keyprovider
event_metadata._id metadata.product_log_id 来自内部 JSON 消息的 event_metadata._id 的值。
event_metadata.version metadata.product_version 来自内部 JSON 消息的 event_metadata.version 的值。
host.architecture target.asset.hardware.cpu_platform 来自内部 JSON 消息的 host.architecture 的值。
host.fqdn target.administrative_domain 来自内部 JSON 消息的 host.fqdn 的值。
host.hostname target.hostname 来自内部 JSON 消息的 host.hostname 的值。
host.id target.asset.asset_id Host Id: 和来自内部 JSON 消息的 host.id 的值的串联。
host.ip target.asset.ip 来自内部 JSON 消息中 host.ip 的 IP 地址数组。
host.mac target.mac 来自内部 JSON 消息中 host.mac 的 MAC 地址数组。
host.os.kernel target.platform_patch_level 来自内部 JSON 消息的 host.os.kernel 的值。
host.os.platform target.platform 如果 host.os.platformdebian,则设置为 LINUX
host.os.version target.platform_version 来自内部 JSON 消息的 host.os.version 的值。
hostname principal.hostname 使用 grok 从 message 字段提取的 hostname 的值。
key security_result.detection_fields.value 使用 grok 从 message 字段提取的 key 的值,其中对应的 keykey
log.file.path principal.process.file.full_path 来自内部 JSON 消息的 log.file.path 的值。
log_level security_result.severity 根据 log_level 的值进行映射:DEBUGINFOAUDIT 映射到 INFORMATIONALERROR 映射到 ERRORWARNING 映射到 MEDIUM
log_level security_result.severity_details 使用 grok 从 message 字段提取的 log_level 的值。
log_type metadata.log_type 原始日志中的 log_type 的值。
message security_result.description 使用 grok 从 message 字段提取的说明。
message target.process.command_line 使用 grok 从 message 字段提取的命令行。
now security_result.detection_fields.value 使用 grok 从 message 字段提取的 now 的值,其中对应的 keynow。从使用 grok 从 message 字段提取的 event_time 字段解析。如果 hostnamehost.hostname 都存在,则设置为 USER_RESOURCE_ACCESS,否则设置为 GENERIC_EVENT。设置为 CASSANDRA。设置为 CASSANDRA。设置为 ephemeral_id。如果 cloud.instance.name 存在,则设置为 VIRTUAL_MACHINE。对于相应的检测字段,设置为 keynow
timestamp timestamp 来自原始日志的 create_time 字段。
authenticated_var event.idm.read_only_udm.principal.user.userid 从变更日志映射
authenticated_var event.idm.read_only_udm.target.user.userid 从变更日志映射
user_var event.idm.read_only_udm.target.user.userid 从变更日志映射
operation event.idm.read_only_udm.security_result.description 从变更日志映射
operation event.idm.read_only_udm.target.process.command_line 从变更日志映射

更新日志

查看此解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。