Apache-Logs erfassen

Parserversion: 20.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Apache-Logs mit dem Bindplane-Agent in Google Security Operations aufnehmen.

Apache HTTP Server ist ein Open-Source-Webserver, der HTTP-Anfragen verarbeitet und Zugriffs- und Fehlerlogs generiert. Der Parser verarbeitet sowohl standardmäßige kombinierte/allgemeine Logformate als auch JSON-formatierte Logs und extrahiert HTTP-Anfragedetails, Antwortcodes und Clientinformationen.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Windows Server 2016 oder höher oder Linux-Host mit systemd
  • Netzwerkverbindung zwischen dem Bindplane-Agent und dem Apache-Server
  • Wenn der Agent hinter einem Proxy ausgeführt wird, müssen die Firewallports gemäß den Anforderungen des Bindplane-Agents geöffnet sein.
  • Privilegierter Zugriff auf den Apache-Server (Root oder sudo)

Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen

Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agenten bei Google SecOps zu authentifizieren:

  • Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
  • Legacy-Bereitstellungen: Verwenden Sie die Authentifizierungsdatei für die Datenaufnahme (Option 2) weiter, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
  1. Melden Sie sich in der Google Cloud -Konsole an und wählen Sie das Google Cloud -Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
  2. Rufen Sie IAM und Verwaltung > Dienstkonten auf.
  3. Klicken Sie auf Dienstkonto erstellen.
  4. Geben Sie die folgenden Konfigurationsdetails an:
    • Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B. bindplane-ingest).
    • Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B. Bindplane agent log ingestion).
  5. Klicken Sie auf Erstellen und fortfahren.
  6. Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle Editor aus.
  7. Klicken Sie auf Weiter und dann auf Fertig.
  8. Klicken Sie auf das von Ihnen erstellte Dienstkonto und rufen Sie den Tab Schlüssel auf.
  9. Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
  10. Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
  11. Speichern Sie die Schlüsseldatei als ingestion-auth.json im Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.json unter Linux oder C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json unter Windows) oder aktualisieren Sie creds_file_path in config.yaml, sodass der Pfad mit dem Pfad übereinstimmt, unter dem Sie die Datei speichern.
  12. Rufen Sie IAM und Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen sie für die Exporter-Konfiguration.

Option 2: Authentifizierungsdatei für die Datenaufnahme herunterladen (Legacy)

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Rufen Sie Einstellungen > Datenverwaltung > Erfassungs-Agents auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Erfassungs-Agents auf.
  3. Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
  4. Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert werden soll.

Google SecOps-Kundennummer abrufen

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Gehen Sie zu Einstellungen > Verwaltung > Profil. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Profil auf.
  3. Kopieren und speichern Sie die Kundennummer aus dem Bereich Organisationsdetails.

Bindplane-Agent installieren

Installieren Sie den Bindplane-Agenten gemäß der folgenden Anleitung auf Ihrem Windows- oder Linux-Betriebssystem.

Windows-Installation

  1. Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.
  2. Führen Sie dazu diesen Befehl aus:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sc query observiq-otel-collector
    

    Der Dienst sollte als RUNNING angezeigt werden.

Linux-Installation

  1. Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.
  2. Führen Sie dazu diesen Befehl aus:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sudo systemctl status observiq-otel-collector
    

    Der Dienst sollte als active (running) angezeigt werden.

Zusätzliche Installationsressourcen

Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in der Installationsanleitung für den Bindplane-Agenten.

Bindplane-Agent für die Aufnahme von Syslog und das Senden an Google SecOps konfigurieren

Konfigurationsdatei suchen

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

Konfigurationsdatei bearbeiten

  • Ersetzen Sie den gesamten Inhalt von config.yaml durch die folgende Konfiguration:

    receivers:
        udplog:
            listen_address: "0.0.0.0:514"
    
    exporters:
        chronicle/apache:
            protocol: https
            # Region of your instance, for example us, europe, asia-southeast1
            location: <LOCATION>
            # Project number of the Google Cloud project linked to the instance
            project: '<PROJECT_NUMBER>'
            compression: gzip
            creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
            customer_id: '<customer_id>'
            endpoint: chronicle.googleapis.com
            log_type: APACHE
            raw_log_field: body
    
    service:
        pipelines:
            logs/apache_to_chronicle:
                receivers:
                    - udplog
                exporters:
                    - chronicle/apache
    

Konfigurationsparameter

Ersetzen Sie die folgenden Platzhalter:

  • Empfängerkonfiguration:

    • listen_address: IP-Adresse und Port, auf dem gelauscht werden soll:
      • 0.0.0.0, um auf allen Schnittstellen zu lauschen (empfohlen)
      • Port 514 ist der Standard-Syslog-Port (erfordert Root unter Linux; verwenden Sie 1514 für Nicht-Root).
  • Exporter-Konfiguration:

    • creds_file_path: Vollständiger Pfad zur JSON-Schlüsseldatei des Dienstkontos (Option 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id: Kundennummer, die aus der Google SecOps-Konsole kopiert wurde
    • location: Ersetzen Sie <LOCATION> durch die Region Ihrer Google SecOps-Instanz (z. B. us, europe oder asia-southeast1). Der Exporter stellt diesem Wert chronicle.googleapis.com voran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.
    • project: Ersetzen Sie <PROJECT_NUMBER> durch die Projektnummer aus IAM & Verwaltung > Einstellungen.
    • endpoint: Behalten Sie die Einstellung chronicle.googleapis.com bei.

Legacy-Ingestion-API-Exporter

  • Wenn Sie die Authentifizierungsdatei für die Datenaufnahme aus Option 2 verwenden, ersetzen Sie den Block exporters durch Folgendes. Legen Sie für creds_file_path den Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Sie malachiteingestion-pa.googleapis.com durch Ihren regionalen Endpunkt (z. B. europe-malachiteingestion-pa.googleapis.com).

    exporters:
        chronicle/apache:
            compression: gzip
            creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
            customer_id: '<customer_id>'
            endpoint: malachiteingestion-pa.googleapis.com
            log_type: APACHE
            raw_log_field: body
    

Konfigurationsdatei speichern

  • Speichern Sie die Datei nach der Bearbeitung:
    • Linux: Drücken Sie Ctrl+O, dann Enter und dann Ctrl+X.
    • Windows: Klicken Sie auf Datei > Speichern.

Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.

  • Führen Sie den folgenden Befehl aus, um den Bindplane-Agenten unter Linux neu zu starten:

    sudo systemctl restart observiq-otel-collector
    
    1. Prüfen Sie, ob der Dienst ausgeführt wird:

      sudo systemctl status observiq-otel-collector
      
    2. Prüfen Sie die Logs auf Fehler:

      sudo journalctl -u observiq-otel-collector -f
      
  • Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agenten unter Windows neu zu starten:

    • Eingabeaufforderung oder PowerShell als Administrator:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • Dienstkonsole:

      1. Drücken Sie Win+R, geben Sie services.msc ein und drücken Sie die Eingabetaste.
      2. Suchen Sie nach observIQ OpenTelemetry Collector.
      3. Rechtsklicken Sie und wählen Sie Neu starten aus.
      4. Prüfen Sie, ob der Dienst ausgeführt wird:

        sc query observiq-otel-collector
        
      5. Prüfen Sie die Logs auf Fehler:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

Syslog in Apache konfigurieren

  1. Melden Sie sich über SSH auf dem Server an, auf dem Apache gehostet wird.
  2. Erstellen Sie unter /etc/rsyslog.d/ eine Datei mit dem Namen 02-apache2.conf:

    vim /etc/rsyslog.d/02-apache2.conf
    
  3. Fügen Sie den folgenden Code in die Datei ein:

    module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog")
    
    input(type="imfile"
        File="/var/log/apache2/access.log"
        Tag="http_access"
        Severity="info"
        Facility="local6")
    
    Local6.info @<BINDPLANE_IP>:<BINDPLANE_PORT>
    
    module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog")
    
    input(type="imfile"
        File="/var/log/apache2/error.log"
        Tag="http_error"
        Severity="error"
        Facility="local7")
    
    Local7.error @<BINDPLANE_IP>:<BINDPLANE_PORT>
    
    • Ersetzen Sie <BINDPLANE_IP> und <BINDPLANE_PORT> durch die IP-Adresse und den Port, die für den Bindplane-Agent konfiguriert sind.
    • Wenn Sie das TCP-Protokoll verwenden, hängen Sie ein zusätzliches @ an die Hostzeile an (z. B. @@<BINDPLANE_IP>:<BINDPLANE_PORT>).
  4. Starten Sie die rsyslog-Dienste neu:

    sudo service rsyslog restart
    

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
bytes network.received_bytes Vom Client empfangene Byte.
bytes network.sent_bytes An den Client gesendete Byte.
bytes_out network.sent_bytes An den Client gesendete Byte.
bytes_received network.received_bytes Vom Client empfangene Byte.
Content network.http.method HTTP-Methode, die aus dem Feld „Inhalt“ extrahiert wurde.
Content target.url Die Ziel-URL, die aus dem Feld „Inhalt“ extrahiert wurde.
cookie additional.fields.value.string_value Wert des Felds „cookie“.
dest_ip target.ip IP-Adresse des Ziels.
dest_name target.hostname Hostname des Ziels.
dest_port target.port Port des Ziels.
description metadata.description Beschreibung des Ereignisses.
duration_microseconds additional.fields.value.string_value Wert des Felds „duration_microseconds“.
file_full_path target.file.full_path Vollständiger Pfad der Zieldatei.
hostname target.hostname Hostname des Ziels.
http_content_type additional.fields.value.string_value Wert des Felds „http_content_type“.
http_host principal.hostname Hostname des Hauptkontos.
http_method network.http.method HTTP-Methode.
http_referrer network.http.referral_url HTTP-Referrer-URL.
http_user_agent network.http.user_agent HTTP-User-Agent.
ID metadata.id ID des Ereignisses.
insertId metadata.product_log_id Produktprotokoll-ID.
ip principal.ip IP-Adresse des Hauptkontos.
jsonPayload.cIP target.ip IP-Adresse des Ziels.
jsonPayload.cPort target.port Port des Ziels.
jsonPayload.csBytes network.sent_bytes An den Client gesendete Byte.
jsonPayload.csMethod network.http.method HTTP-Methode.
jsonPayload.csMimeType target.file.mime_type MIME-Typ der Zieldatei.
jsonPayload.csReferer network.http.referral_url HTTP-Referrer-URL.
jsonPayload.csURL target.url Ziel-URL.
jsonPayload.csUserAgent network.http.user_agent HTTP-User-Agent.
jsonPayload.sHierarchy additional.fields.value.string_value Wert des Felds „sHierarchy“.
jsonPayload.sHostname principal.hostname Hostname des Hauptkontos.
jsonPayload.sIP principal.ip IP-Adresse des Hauptkontos.
jsonPayload.scBytes network.received_bytes Vom Client empfangene Byte.
jsonPayload.scHTTPStatus network.http.response_code HTTP-Antwortcode.
jsonPayload.scResultCode additional.fields.value.string_value Wert des Felds „scResultCode“.
LastStatus network.http.response_code HTTP-Antwortcode.
log_level security_result.severity Schweregrad des Sicherheitsergebnisses.
logName security_result.category_details Kategoriedetails des Sicherheitsergebnisses.
method network.http.method HTTP-Methode.
pid principal.process.pid Prozess-ID des Hauptkontos.
Port target.port Port des Ziels.
proto network.application_protocol Anwendungsprotokoll.
referer network.http.referral_url HTTP-Referrer-URL.
RemoteHost principal.ip IP-Adresse des Hauptkontos.
RemoteUser principal.user.userid Nutzer-ID des Hauptkontos.
resource.labels.instance_id target.resource.product_object_id Produktobjekt-ID der Zielressource.
resource.labels.project_id target.resource.attribute.labels.value Wert des Labels „project_id“.
resource.labels.zone target.resource.attribute.cloud.availability_zone Verfügbarkeitszone der Zielressource.
resource.type target.resource.resource_type Ressourcentyp des Ziels.
response network.http.response_code HTTP-Antwortcode.
SizeBytes network.received_bytes Vom Client empfangene Byte.
src_ip principal.ip IP-Adresse des Hauptkontos.
src_port principal.port Port des Hauptkontos.
ssl_cipher network.tls.cipher TLS-Chiffre.
ssl_version network.tls.version_protocol TLS-Versionsprotokoll.
status network.http.response_code HTTP-Antwortcode.
target target.url Ziel-URL.
target_ip target.ip IP-Adresse des Ziels.
target_port target.port Port des Ziels.
time metadata.event_timestamp Zeitstempel des Ereignisses.
uri_path target.process.file.full_path Vollständiger Pfad der Zieldatei.
user principal.user.userid Nutzer-ID des Hauptkontos.
useragent network.http.user_agent HTTP-User-Agent.
version_protocol network.tls.version_protocol TLS-Versionsprotokoll.
Workername principal.hostname Hostname des Hauptkontos.
x_forwarded_for Wert des „X-Forwarded-For“-Headers.
metadata.log_type Der Wert wird im Parsercode auf „APACHE“ festgelegt.
metadata.product_name Der Wert wird im Parsercode auf „Apache Web Server“ gesetzt.
metadata.vendor_name Der Wert wird im Parsercode auf „Apache“ festgelegt.
metadata.event_type Der Wert wird anhand des Vorhandenseins von Hauptkonto- und Zielinformationen bestimmt. Wenn sowohl Hauptkonto als auch Ziel vorhanden sind, wird der Ereignistyp auf „NETWORK_HTTP“ gesetzt. Wenn nur „principal“ vorhanden ist, wird der Ereignistyp auf „STATUS_UPDATE“ gesetzt. Andernfalls wird er auf „GENERIC_EVENT“ gesetzt.
additional.fields.key Der Schlüssel wird im Parsercode basierend auf dem Feld auf „keep_alive“, „duration_microseconds“, „cookie“, „http_content_type“, „sHierarchy“ oder „scResultCode“ gesetzt.
target.port Wenn das Feld „proto“ „HTTP“ ist, wird der Port auf 80 gesetzt. Wenn das Feld „proto“ den Wert „HTTPS“ hat, wird der Port auf 443 festgelegt. Wenn das Feld „proto“ den Wert „FTP“ hat, wird der Port auf 21 gesetzt.
target.resource.attribute.labels.key Der Schlüssel ist im Parsercode auf „project_id“ festgelegt.
client_ip_address event.idm.read_only_udm.principal.ip und event.idm.read_only_udm.principal.asset.ip Aus Änderungsprotokoll zugeordnet
server event.idm.read_only_udm.target.hostname und event.idm.read_only_udm.target.asset.hostname Aus Änderungsprotokoll zugeordnet
bytes_in event.idm.read_only_udm.network.received_bytes Aus Änderungsprotokoll zugeordnet
PHPSESSID event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
AuthToken event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
response_time_microseconds event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
hostname event.idm.read_only_udm.intermediary.hostname Aus Änderungsprotokoll zugeordnet
Filename event.idm.read_only_udm.principal.process.file.full_path Aus Änderungsprotokoll zugeordnet
kv_key event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
info event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
SourceModuleName event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
SourceModuleType event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
src_ip event.idm.read_only_udm.target.ip und event.idm.read_only_udm.target.asset.ip Aus Änderungsprotokoll zugeordnet
tls_version event.idm.read_only_udm.network.tls.version Aus Änderungsprotokoll zugeordnet
version_protocol event.idm.read_only_udm.network.tls.version_protocol Aus Änderungsprotokoll zugeordnet
syncAccuracy event.idm.read_only_udm.security_result.detection_fields Aus Änderungsprotokoll zugeordnet
isSynced event.idm.read_only_udm.security_result.detection_fields Aus Änderungsprotokoll zugeordnet
tzKnown event.idm.read_only_udm.additional.fields Aus Änderungsprotokoll zugeordnet
user_location principal.location.country_or_region Aus Änderungsprotokoll zugeordnet
proto", "proto_version", "uri_path", and "uri_query additional.fields Aus Änderungsprotokoll zugeordnet
ip_msg principal.ip Aus Änderungsprotokoll zugeordnet
msg_method network.http.method Aus Änderungsprotokoll zugeordnet
useragentvalue network.http.user_agent Aus Änderungsprotokoll zugeordnet
bytes_out network.sent.bytes Aus Änderungsprotokoll zugeordnet
XForwardedForIP" and "RemoteHost principal.ip Aus Änderungsprotokoll zugeordnet
Remoteuser principal.user.userid Aus Änderungsprotokoll zugeordnet

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten