收集 Fortinet Web 代理日志

解析器版本：3.0

支持：

本文档介绍了如何使用 Bindplane 代理将 Fortinet Web 代理日志注入 Google Security Operations。

Fortinet FortiGate Web 代理会生成显式和透明代理会话的日志，捕获 HTTP/HTTPS 流量、网址过滤决策和 Web 访问事件。日志采用 syslog 键值对格式，包含网络元数据、安全操作和用户身份信息。

准备工作

请确保满足以下前提条件：

  • Google SecOps 实例
  • Windows Server 2016 或更高版本，或者具有 systemd 的 Linux 主机
  • Bindplane 代理与 FortiGate 设备之间的网络连接
  • 如果在代理后面运行，请确保按照 Bindplane 代理要求打开防火墙端口
  • 对 FortiGate 设备具有管理员权限的特权访问权限

获取 Bindplane 代理的 Google SecOps 凭据

如需向 Google SecOps 验证 Bindplane 代理的身份，请选择以下方法之一：

  • 新部署：使用 Chronicle API（选项 1）。
  • 旧版部署：继续使用提取身份验证文件（方法 2），直到提取 API 于 2027 年 7 月 20 日停用。
  1. 登录 Google Cloud 控制台，然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号。
  4. 提供以下配置详细信息：
    • 服务账号名称：输入账号的名称（例如 bindplane-ingest）。
    • 服务账号说明：输入说明（例如 Bindplane agent log ingestion）。
  5. 点击创建并继续。
  6. 在向此服务账号授予对项目的访问权限部分，点击选择角色，然后选择 Chronicle Editor。
  7. 点击继续，然后点击完成。
  8. 点击您创建的服务账号，然后前往密钥标签页。
  9. 依次点击添加密钥 > 创建新密钥。
  10. 选择 JSON，然后点击创建。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录（Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json）中的 ingestion-auth.json，或更新 config.yaml 中的 creds_file_path 以匹配您保存该文件的路径。
  12. 前往 IAM 和管理 > 设置，然后复制项目编号。您在配置导出器时需要用到该名称。

方法 2：下载数据注入身份验证文件（旧版）

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 收集代理。
  3. 下载数据注入身份验证文件。
  4. 将文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 配置文件。

  3. 从组织详细信息部分复制并保存客户 ID。

安装 Bindplane 代理

根据以下说明，在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。

  2. 运行以下命令：

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 等待安装完成。

  4. 运行以下命令，验证安装是否成功：

    sc query observiq-otel-collector

    该服务应显示为正在运行。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。

  2. 运行以下命令：

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 等待安装完成。

  4. 运行以下命令，验证安装是否成功：

    sudo systemctl status observiq-otel-collector

    该服务应显示为有效（正在运行）。

其他安装资源

如需了解其他安装选项和问题排查信息，请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 Syslog 并发送到 Google SecOps

找到配置文件

  • Linux：

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows：

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置：

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/fortinet_webproxy:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: chronicle.googleapis.com
    log_type: FORTINET_WEBPROXY
    raw_log_field: body
    ingestion_labels:
      env: production

service:
  pipelines:
    logs/webproxy_to_chronicle:
      receivers:
        - udplog
      exporters:
        - chronicle/fortinet_webproxy

配置参数

替换以下占位符：

  • 接收器配置：

    • udplog：基于协议的接收器类型：
      • udplog（适用于 UDP syslog）
      • tcplog（适用于 TCP syslog）
    • 0.0.0.0：要监听的 IP 地址：
      • 0.0.0.0，以监听所有接口（推荐）
      • 在某个接口上监听的特定 IP 地址
    • 514：要监听的端口号（例如 514、1514、6514）

  • 导出器配置：

    • fortinet_webproxy：导出器的描述性名称
    • creds_file_path：服务账号 JSON 密钥文件的完整路径（选项 1）：
      • Linux：/opt/observiq-otel-collector/ingestion-auth.json
      • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • <customer_id>：上一步中的客户 ID
    • location：将 <LOCATION> 替换为 Google SecOps 实例的区域（例如 us、europe 或 asia-southeast1）。导出器会使用此值作为 chronicle.googleapis.com 的前缀。如需查看完整列表，请参阅区域级端点。
    • project：将 <PROJECT_NUMBER> 替换为“IAM 和管理”>“设置”中的项目编号。
    • endpoint：保持设置为 chronicle.googleapis.com。
    • FORTINET_WEBPROXY：日志类型，与 Chronicle 中显示的完全一致
    • ingestion_labels：YAML 格式的可选标签（例如 env: production）

  • 流水线配置：

    • webproxy_to_chronicle：流水线的描述性名称

旧版提取 API 导出工具

  • 如果您使用选项 2 中的提取身份验证文件，请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为提取身份验证文件的路径，如果您的实例位于美国境外，请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点（例如 europe-malachiteingestion-pa.googleapis.com）。

    exporters:
  chronicle/fortinet_webproxy:
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: FORTINET_WEBPROXY
    raw_log_field: body
    ingestion_labels:
      env: production

保存配置文件

  • 修改后，保存文件：
    • Linux：依次按 Ctrl+O、Enter 和 Ctrl+X
    • Windows：依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

    sudo systemctl restart observiq-otel-collector

    1. 验证服务是否正在运行：

      sudo systemctl status observiq-otel-collector

    2. 检查日志中的错误：

      sudo journalctl -u observiq-otel-collector -f

  • 如需在 Windows 中重启 Bindplane 代理，请选择以下选项之一：

    • 以管理员身份运行命令提示符或 PowerShell：

      net stop observiq-otel-collector && net start observiq-otel-collector

    • “服务”控制台：

      1. 按 Win+R，输入 services.msc，然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry 收集器。
      3. 右键点击，然后选择重新启动。

      4. 验证服务是否正在运行：

        sc query observiq-otel-collector

      5. 检查日志中是否存在错误：

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

配置 Fortinet FortiGate Web 代理 syslog 转发

  1. 登录 FortiGate 网页界面。
  2. 依次前往 Log & Report（日志和报告）> Log Settings（日志设置）。
  3. 向下滚动到远程日志记录和归档部分。
  4. 在 Syslog 下，点击添加。
  5. 提供以下配置详细信息：
    • 名称：输入一个描述性名称（例如 Chronicle-Bindplane）。
    • IP 地址/FQDN：输入 Bindplane 代理主机的 IP 地址（例如 192.168.1.100）。
    • 端口：输入 514（必须与 Bindplane 代理接收器端口匹配）。
    • 协议：选择 UDP。
    • 最低级别：选择信息或通知。

  6. 确保已启用网络代理日志类别。或者，使用 CLI 配置 syslog 过滤条件：

    config log syslogd setting
    set status enable
    set server <BINDPLANE_AGENT_IP>
    set port 514
end
config log syslogd filter
    set filter "logid(0300)"
    set filter-type include
end
    • 0300 日志 ID 范围涵盖 Web 代理事件。根据您的环境调整过滤条件。
    • 将 <BINDPLANE_AGENT_IP> 替换为 Bindplane 代理主机 IP 地址。

  7. 点击确定以保存。

  8. 点击右上角的应用以应用配置。

  9. 通过检查 Bindplane 代理日志，验证是否正在接收 syslog 消息。

UDM 映射表

日志字段 UDM 映射 逻辑
group, profile, agent, subtype, catdesc, reqtype additional.fields 与根据每个字段创建的标签合并
action、has_network、has_principal、has_target metadata.event_type 如果操作为 auth-logon，则设置为 USER_LOGIN；否则，如果 has_network 为 true，则设置为 NETWORK_HTTP；否则，如果 has_principal 和 has_target 为 true，则设置为 NETWORK_CONNECTION；否则，如果 has_principal 为 true，则设置为 STATUS_UPDATE；否则，设置为 GENERIC_EVENT
eventtype metadata.product_event_type 直接复制的值
logid metadata.product_log_id 直接复制的值
metadata.product_name 设置为“FORTINET_WEBPROXY”
metadata.vendor_name 设置为“FORTINET_WEBPROXY”
服务 network.application_protocol 如果服务采用 HTTP、HTTPS，则直接复制值
方向 network.direction 如果方向为传入、入站、响应，则设置为 INBOUND；如果方向为传出、出站，则设置为 OUTBOUND
httpmethod network.http.method 如果 httpmethod 为 GET、POST，则直接复制值
referralurl network.http.referral_url 直接复制值
proto、subtype、service network.ip_protocol 如果 proto=17，则设置为 UDP；如果 proto=6 或 subtype=wad，则设置为 TCP；如果 proto=41，则设置为 IP6IN4；如果 service=PING 或 proto=1 或 service 与 ICMP 匹配，则设置为 ICMP
rcvdbyte network.received_bytes 已转换为无符号整数
sentbyte network.sent_bytes 已转换为无符号整数
sessionid network.session_id 直接复制的值
devname principal.asset.hostname 直接复制的值
srcip principal.asset.ip 直接复制的值
devname principal.hostname 直接复制的值
srcip principal.ip 直接复制的值
srccountry principal.location.country_or_region 如果不是“Reserved”且不为空，则直接复制值
srcport principal.port 已转换为整数
srcuuid principal.user.product_object_id 直接复制值
vd principal.user.user_display_name 直接复制的值
用户 principal.user.userid 直接复制的值
filtername security_result.about.resource.attribute.labels 如果非空且不为 -，则与根据 filtername 创建的标签合并
操作 security_result.action 如果 action=blocked，则设置为 BLOCK；如果 action 为 accept 或 passthrough，则设置为 ALLOW
devid、policyid、srcintf、srcintfrole、ratemethod、cat security_result.detection_fields 与根据每个字段创建的标签合并
msg security_result.description 直接复制值
poluuid security_result.rule_id 直接复制的值
policytype security_result.rule_type 直接复制值
level security_result.severity 如果 level=warning，则设置为 HIGH；如果 level=notice，则设置为 MEDIUM
类型 security_result.summary 直接复制的值
dstip target.asset.ip 直接复制的值
filename target.file.full_path 直接复制值
filetype target.file.mime_type 直接复制的值
filesize target.file.size 已转换为无符号整数
主机名 target.hostname 直接复制的值
dstip target.ip 直接复制的值
dst 国家/地区 target.location.country_or_region 直接复制值
dstport target.port 已转换为整数
dstintf、dstintfrole target.resource.attribute.labels 与根据每个字段创建的标签合并
dstuuid target.resource.product_object_id 直接复制的值
网址 target.url 直接复制的值
eventtime event.idm.read_only_udm.metadata.event_timestamp 从更新日志映射
ts event.idm.read_only_udm.metadata.collected_timestamp 从更新日志映射
transid event.idm.read_only_udm.additional.fields 从更新日志映射
method event.idm.read_only_udm.security_result.detection_fields 从更新日志映射

更新日志

查看相应解析器的更新日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。