收集 Apache Cassandra 日志
解析器版本: 4.0
本文档介绍了如何使用 Bindplane 代理将 Apache Cassandra 日志注入 Google Security Operations。
Apache Cassandra 会生成数据库操作、集群事件和系统活动的日志。解析器使用 grok 模式和 JSON 过滤器提取字段,然后将这些字段映射到统一数据模型 (UDM)。
准备工作
请确保满足以下前提条件:
- Google SecOps 实例
- Windows Server 2016 或更高版本,或者具有
systemd的 Linux 主机 - Bindplane 代理与 Apache Cassandra 主机之间的网络连接
- 如果通过代理运行,请确保防火墙端口根据 Bindplane 代理要求处于开放状态
- 对 Apache Cassandra 主机的管理 (SSH) 访问权限
获取 Google SecOps 注入身份验证文件
- 登录 Google SecOps 控制台。
- 前往 SIEM 设置 > 收集代理。
- 下载数据注入身份验证文件
将该文件安全地保存在将安装 Bindplane 代理的系统上。
获取 Google SecOps 客户 ID
- 登录 Google SecOps 控制台。
- 前往 SIEM 设置 > 个人资料。
从组织详细信息 部分复制并保存客户 ID 。
安装 Bindplane 代理
按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。
Windows 安装
- 以管理员身份打开命令提示符 或 PowerShell 。
运行以下命令:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet等待安装完成。
运行以下命令,验证安装是否成功:
sc query observiq-otel-collector该服务应显示为正在运行 。
Linux 安装
- 使用 root 或 sudo 权限打开终端。
运行以下命令:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh等待安装完成。
运行以下命令,验证安装是否成功:
sudo systemctl status observiq-otel-collector该服务应显示为活跃 (正在运行) 。
其他安装资源
如需了解其他安装选项和问题排查方法,请参阅 Bindplane 代理安装指南。
配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps
找到配置文件
Linux:
sudo nano /etc/bindplane-agent/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
修改配置文件
将
config.yaml的全部内容替换为以下配置:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/cassandra: compression: gzip creds_file_path: '/etc/bindplane-agent/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: CASSANDRA raw_log_field: body service: pipelines: logs/cassandra_to_chronicle: receivers: - udplog exporters: - chronicle/cassandra
配置参数
替换以下占位符:
接收器配置:
listen_address:要监听的 IP 地址和端口:0.0.0.0以监听所有接口(推荐)- 端口
514是标准 syslog 端口(在 Linux 上需要 root;对于非 root 用户,请使用1514)
导出器配置:
creds_file_path:注入身份验证文件的完整路径:- Linux:
/etc/bindplane-agent/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
customer_id:从 Google SecOps 控制台复制的客户 IDendpoint:区域端点网址:- 美国:
malachiteingestion-pa.googleapis.com - 欧洲:
europe-malachiteingestion-pa.googleapis.com - 亚洲:
asia-southeast1-malachiteingestion-pa.googleapis.com - 如需查看完整列表,请参阅区域端点
- 美国:
保存配置文件
- 修改后,保存文件:
- Linux:按
Ctrl+O,然后按Enter,再按Ctrl+X - Windows:依次点击文件 > 保存
- Linux:按
重启 Bindplane 代理以应用更改
如需在 Linux 中重启 Bindplane 代理,请运行以下命令:
sudo systemctl restart observiq-otel-collector验证服务正在运行:
```bash sudo systemctl status observiq-otel-collector ```检查日志中的错误:
```bash sudo journalctl -u observiq-otel-collector -f ```
如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:
以管理员身份运行命令提示符或 PowerShell:
net stop observiq-otel-collector && net start observiq-otel-collector服务控制台:
- 按
Win+R,输入services.msc,然后按 Enter 键。 - 找到 observIQ OpenTelemetry Collector 。
- 右键点击并选择重启 。
验证服务正在运行:
sc query observiq-otel-collector检查日志中的错误:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- 按
在 Apache Cassandra 中配置 syslog 导出
- 使用 SSH 登录 Apache Cassandra 主机。
打开配置文件
logback.xml:- Apache Cassandra(大多数版本):
$(CASSANDRA_HOME)/conf - Datastax Enterprise(软件包安装):
/etc/dse - Datastax Enterprise(tar 安装):
$(TARBALL_ROOT)/resources/cassandra/conf
- Apache Cassandra(大多数版本):
将以下 Appender 定义添加到第 28 行的
logback.xml文件中:<appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender"> <syslogHost>BINDPLANE_IP</syslogHost> <port>BINDPLANE_PORT</port> <facility>LOCAL7</facility> <throwableExcluded>true</throwableExcluded> <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern> </appender>将
BINDPLANE_IP和BINDPLANE_PORT替换为实际的 Bindplane 代理 IP 地址和端口。将以下代码添加到
logback.xml文件中的根记录器块<root level="INFO">:插入此行的位置取决于您的 Apache Cassandra 版本:
- Apache Cassandra 5.0.x,第 123 行
- Apache Cassandra 4.0.x 和 4.1.x,第 115 行
- Apache Cassandra 3.11.x 和 3.0.x,第 92 行
- Datastax Enterprise(所有版本),第 121 行
<appender-ref ref="SYSLOG" />
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
agent.ephemeral_id |
observer.labels.value |
来自内部 JSON 消息的 agent.ephemeral_id 的值。 |
agent.hostname |
observer.hostname |
来自内部 JSON 消息的 agent.hostname 的值。 |
agent.id |
observer.asset_id |
filebeat: 和来自内部 JSON 消息的 agent.id 的值的串联。 |
agent.name |
observer.user.userid |
来自内部 JSON 消息的 agent.name 的值。 |
agent.type |
observer.application |
来自内部 JSON 消息的 agent.type 的值。 |
agent.version |
observer.platform_version |
来自内部 JSON 消息的 agent.version 的值。 |
cloud.availability_zone |
principal.cloud.availability_zone |
来自内部 JSON 消息的 cloud.availability_zone 的值。 |
cloud.instance.id |
principal.resource.product_object_id |
来自内部 JSON 消息的 cloud.instance.id 的值。 |
cloud.instance.name |
principal.resource.name |
来自内部 JSON 消息的 cloud.instance.name 的值。 |
cloud.machine.type |
principal.resource.attribute.labels.value |
来自内部 JSON 消息的 cloud.machine.type 的值,其中对应的 key 为 machine_type。 |
cloud.provider |
principal.resource.attribute.labels.value |
来自内部 JSON 消息的 cloud.provider 的值,其中对应的 key 为 provider。 |
event_metadata._id |
metadata.product_log_id |
来自内部 JSON 消息的 event_metadata._id 的值。 |
event_metadata.version |
metadata.product_version |
来自内部 JSON 消息的 event_metadata.version 的值。 |
host.architecture |
target.asset.hardware.cpu_platform |
来自内部 JSON 消息的 host.architecture 的值。 |
host.fqdn |
target.administrative_domain |
来自内部 JSON 消息的 host.fqdn 的值。 |
host.hostname |
target.hostname |
来自内部 JSON 消息的 host.hostname 的值。 |
host.id |
target.asset.asset_id |
Host Id: 和来自内部 JSON 消息的 host.id 的值的串联。 |
host.ip |
target.asset.ip |
来自内部 JSON 消息中 host.ip 的 IP 地址数组。 |
host.mac |
target.mac |
来自内部 JSON 消息中 host.mac 的 MAC 地址数组。 |
host.os.kernel |
target.platform_patch_level |
来自内部 JSON 消息的 host.os.kernel 的值。 |
host.os.platform |
target.platform |
如果 host.os.platform 为 debian,则设置为 LINUX。 |
host.os.version |
target.platform_version |
来自内部 JSON 消息的 host.os.version 的值。 |
hostname |
principal.hostname |
使用 grok 从 message 字段提取的 hostname 的值。 |
key |
security_result.detection_fields.value |
使用 grok 从 message 字段提取的 key 的值,其中对应的 key 为 key。 |
log.file.path |
principal.process.file.full_path |
来自内部 JSON 消息的 log.file.path 的值。 |
log_level |
security_result.severity |
根据 log_level 的值进行映射:DEBUG、INFO、AUDIT 映射到 INFORMATIONAL;ERROR 映射到 ERROR;WARNING 映射到 MEDIUM。 |
log_level |
security_result.severity_details |
使用 grok 从 message 字段提取的 log_level 的值。 |
log_type |
metadata.log_type |
原始日志中的 log_type 的值。 |
message |
security_result.description |
使用 grok 从 message 字段提取的说明。 |
message |
target.process.command_line |
使用 grok 从 message 字段提取的命令行。 |
now |
security_result.detection_fields.value |
使用 grok 从 message 字段提取的 now 的值,其中对应的 key 为 now。从使用 grok 从 message 字段提取的 event_time 字段解析。如果 hostname 和 host.hostname 都存在,则设置为 USER_RESOURCE_ACCESS,否则设置为 GENERIC_EVENT。设置为 CASSANDRA。设置为 CASSANDRA。设置为 ephemeral_id。如果 cloud.instance.name 存在,则设置为 VIRTUAL_MACHINE。对于相应的检测字段,设置为 key 和 now。 |
timestamp |
timestamp |
来自原始日志的 create_time 字段。 |
authenticated_var |
event.idm.read_only_udm.principal.user.userid |
从变更日志映射 |
authenticated_var |
event.idm.read_only_udm.target.user.userid |
从变更日志映射 |
user_var |
event.idm.read_only_udm.target.user.userid |
从变更日志映射 |
operation |
event.idm.read_only_udm.security_result.description |
从变更日志映射 |
operation |
event.idm.read_only_udm.target.process.command_line |
从变更日志映射 |