收集 Commvault 日志
解析器版本: 3.0
本文档介绍了如何使用 Bindplane 代理将 Commvault 日志注入 Google Security Operations。
Commvault 会为备份操作、提醒、事件和系统活动生成 syslog 消息。解析器会从日志消息中提取字段,并将这些字段映射到统一数据模型 (UDM)。
准备工作
请确保满足以下前提条件:
- Google SecOps 实例
- Windows Server 2016 或更高版本,或者具有
systemd的 Linux 主机 - Bindplane 代理与 Commvault 系统之间的网络连接
- 如果通过代理运行,请确保防火墙端口根据 Bindplane 代理要求处于打开状态
- 对 Commvault 管理控制台的特权访问权限
获取 Google SecOps 注入身份验证文件
- 登录 Google SecOps 控制台。
- 依次前往 SIEM 设置 > 收集代理。
- 下载数据注入身份验证文件。
将该文件安全地保存在将安装 Bindplane 代理的系统上。
获取 Google SecOps 客户 ID
- 登录 Google SecOps 控制台。
- 依次前往 SIEM 设置 > 个人资料。
从组织详细信息 部分复制并保存客户 ID 。
安装 Bindplane 代理
按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。
Windows 安装
- 以管理员身份打开命令提示符 或 PowerShell 。
运行以下命令:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet等待安装完成。
运行以下命令,验证安装是否成功:
sc query observiq-otel-collector该服务应显示为 RUNNING 。
Linux 安装
- 使用 root 或 sudo 权限打开终端。
运行以下命令:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh等待安装完成。
运行以下命令,验证安装是否成功:
sudo systemctl status observiq-otel-collector该服务应显示为 active (running) 。
其他安装资源
如需了解其他安装选项和问题排查,请参阅 Bindplane 代理安装指南。
配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps
找到配置文件
Linux:
sudo nano /etc/bindplane-agent/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
修改配置文件
将
config.yaml的全部内容替换为以下配置:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/commvault: compression: gzip creds_file_path: '/etc/bindplane-agent/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: COMMVAULT raw_log_field: body service: pipelines: logs/commvault_to_chronicle: receivers: - udplog exporters: - chronicle/commvault
配置参数
替换以下占位符:
接收器配置:
listen_address:要监听的 IP 地址和端口:0.0.0.0以监听所有接口(推荐)- 端口
514是标准 syslog 端口(在 Linux 上需要 root;对于非 root 用户,请使用1514)
导出器配置:
creds_file_path:注入身份验证文件的完整路径:- Linux:
/etc/bindplane-agent/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
customer_id:从 Google SecOps 控制台复制的客户 IDendpoint:区域级端点网址:- 美国:
malachiteingestion-pa.googleapis.com - 欧洲:
europe-malachiteingestion-pa.googleapis.com - 亚洲:
asia-southeast1-malachiteingestion-pa.googleapis.com - 如需查看完整列表,请参阅区域级端点
- 美国:
保存配置文件
- 修改后,保存文件:
- Linux:按
Ctrl+O,然后按Enter,再按Ctrl+X - Windows:依次点击文件 > 保存
- Linux:按
重启 Bindplane 代理以应用更改
如需在 Linux 中重启 Bindplane 代理,请运行以下命令:
sudo systemctl restart observiq-otel-collector验证服务正在运行:
sudo systemctl status observiq-otel-collector检查日志中的错误:
sudo journalctl -u observiq-otel-collector -f
如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:
以管理员身份运行命令提示符或 PowerShell:
net stop observiq-otel-collector && net start observiq-otel-collector“服务”控制台:
- 按
Win+R,输入services.msc,然后按 Enter 键。 - 找到 observIQ OpenTelemetry Collector 。
- 右键点击并选择重启 。
验证服务正在运行:
sc query observiq-otel-collector检查日志中的错误:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- 按
在 Commvault Cloud 中配置 syslog
- 登录 Commvault 管理控制台。
- 依次前往管理 > 系统。
- 点击 SIEM 连接器图块。
- 点击添加连接器 。
- 在常规 标签页上,输入以下详细信息:
- 连接器名称:输入连接器的名称。
- 连接器类型:选择 Syslog。
- 流式数据:选择要导出的数据。
- 点击下一步 。
- 在连接器定义 标签页上,点击添加 syslog 服务器 。
- 提供以下配置详细信息:
- Syslog 服务器:输入 Bindplane 代理 IP 地址。
- 端口号:输入 Bindplane 代理端口号。
点击提交 。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
| AgentType | event.idm.read_only_udm.observer.application | 从日志消息中的 AgentType 字段获取的值。 |
| Alertid | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 Alertid 字段获取的值。此字段在 alert_id 键下映射。 |
| Alertname | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 Alertname 字段获取的值。此字段在 alert_name 键下映射。 |
| Alertseverity | event.idm.read_only_udm.security_result.severity | 此字段用于根据其值填充 security_result.severity 字段。 |
| Alerttime | event.idm.read_only_udm.metadata.event_timestamp | 从日志消息中的 Alerttime 字段获取的值,并转换为时间戳。 |
| BackupLevel | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 BackupLevel 字段获取的值。此字段在 backup_level 键下映射。 |
| BackupSet | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 BackupSet 字段获取的值。此字段在 backup_set 键下映射。 |
| Client | event.idm.read_only_udm.principal.hostname | 从日志消息中的 Client 字段获取的值。 |
| CommCell | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 CommCell 字段获取的值。此字段在 comcell_field 键下映射。 |
| Computer | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 Computer 字段获取的值。此字段在 computer_field 键下映射。 |
| Description | event.idm.read_only_udm.metadata.description | 从日志消息中的 Description 字段获取的值,经过一些处理和清理。 |
| DetectedCriteria | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 DetectedCriteria 字段获取的值。此字段在 detected_criteria 键下映射。 |
| DetectedTime | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 DetectedTime 字段获取的值。此字段在 detected_time 键下映射。 |
| Details | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 Details 字段获取的值。此字段在 details_field 键下映射。 |
| Eventid | event.idm.read_only_udm.metadata.product_log_id | 从日志消息中的 Eventid 字段获取的值。 |
| Eventseverity | event.idm.read_only_udm.security_result.severity | 此字段用于根据其值填充 security_result.severity 字段。 |
| Failure | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 Failure 字段获取的值。此字段在 failure_filed 键下映射。 |
| Instance | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 Instance 字段获取的值。此字段在 instance_field 键下映射。 |
| Jobid | event.idm.read_only_udm.principal.process.pid | 从日志消息中的 Jobid 字段获取的值。 |
| MonitoringCriteria | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 MonitoringCriteria 字段获取的值。此字段在 monitoring_criteria 键下映射。 |
| Occurencetime | event.idm.read_only_udm.metadata.event_timestamp | 从日志消息中的 Occurencetime 字段获取的值,并转换为时间戳。 |
| Opid | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 Opid 字段获取的值。此字段在 op_id 键下映射。 |
| Program | event.idm.read_only_udm.principal.application | 从日志消息中的 Program 字段获取的值。 |
| Severitylevel | event.idm.read_only_udm.security_result.severity | 从日志消息中的 Severitylevel 字段获取的值,并根据预定义的映射进行映射。 |
| StoragePoliciesUsed | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 StoragePoliciesUsed 字段获取的值。此字段在 storage_policies_used 键下映射。 |
| Subclient | event.idm.read_only_udm.additional.fields.value.string_value | 从日志消息中的 Subclient 字段获取的值。此字段在 subclient_field 键下映射。 |
| Type | event.idm.read_only_udm.security_result.detection_fields.value | 从日志消息中的 Type 字段获取的值。此字段在 alert_type 键下映射。 |
| Username | event.idm.read_only_udm.principal.user.userid | 从日志消息中的 Username 字段获取的值。 |
| anomaly_type | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 detected_anomaly_type 键下映射。 |
| errors | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 errors_field 键下映射。 |
| file_name | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 detected_malicious_file 键下映射。 |
| media_agent | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 detected_media_agent 键下映射。 |
| no_of_files_created | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 no_of_files_created_field 键下映射。 |
| no_of_files_deleted | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 no_of_files_deleted_field 键下映射。 |
| no_of_files_modified | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 no_of_files_modified_field 键下映射。 |
| no_of_files_renamed | event.idm.read_only_udm.security_result.detection_fields.value | 使用 grok 模式从 Description 字段提取的值。此字段在 no_of_files_renamed_field 键下映射。 |
| 网址 | event.idm.read_only_udm.network.http.referral_url | 使用 grok 模式从 Description 字段提取的值。 |
| event.idm.read_only_udm.metadata.event_type | 如果存在 Client 字段,此字段设置为 STATUS_UPDATE,否则设置为 GENERIC_EVENT。 |
|
| event.idm.read_only_udm.metadata.product_name | 此字段设置为 COMMVAULT。 |
|
| event.idm.read_only_udm.metadata.vendor_name | 此字段设置为 COMMVAULT。 |
|
| event.idm.read_only_udm.principal.user.user_role | 如果 User 字段为 Administrator,此字段设置为 ADMINISTRATOR。 |
|
Commcellname |
additional.fields |
从更新日志映射 |
Operation |
metadata.description |
从更新日志映射 |
Companyname |
principal.user.company_name |
从更新日志映射 |
machine_name |
principal.hostname |
从更新日志映射 |
locale |
additional.fields |
从更新日志映射 |