Apache-Logs erfassen
Parserversion: 20.0
In diesem Dokument wird beschrieben, wie Sie Apache-Logs mit dem Bindplane-Agent in Google Security Operations aufnehmen.
Apache HTTP Server ist ein Open-Source-Webserver, der HTTP-Anfragen verarbeitet und Zugriffs- und Fehlerlogs generiert. Der Parser verarbeitet sowohl standardmäßige kombinierte/allgemeine Logformate als auch JSON-formatierte Logs und extrahiert HTTP-Anfragedetails, Antwortcodes und Clientinformationen.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Windows Server 2016 oder höher oder Linux-Host mit
systemd - Netzwerkverbindung zwischen dem Bindplane-Agent und dem Apache-Server
- Wenn der Agent hinter einem Proxy ausgeführt wird, müssen die Firewallports gemäß den Anforderungen des Bindplane-Agents geöffnet sein.
- Privilegierter Zugriff auf den Apache-Server (Root oder sudo)
Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen
Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agenten bei Google SecOps zu authentifizieren:
- Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
- Legacy-Bereitstellungen: Verwenden Sie die Authentifizierungsdatei für die Datenaufnahme (Option 2) weiter, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
Option 1: Dienstkonto für die Chronicle API erstellen (empfohlen)
- Melden Sie sich in der Google Cloud -Konsole an und wählen Sie das Google Cloud -Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
- Rufen Sie IAM und Verwaltung > Dienstkonten auf.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B.
bindplane-ingest). - Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B.
Bindplane agent log ingestion).
- Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B.
- Klicken Sie auf Erstellen und fortfahren.
- Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle Editor aus.
- Klicken Sie auf Weiter und dann auf Fertig.
- Klicken Sie auf das von Ihnen erstellte Dienstkonto und rufen Sie den Tab Schlüssel auf.
- Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
- Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
- Speichern Sie die Schlüsseldatei als
ingestion-auth.jsonim Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.jsonunter Linux oderC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsonunter Windows) oder aktualisieren Siecreds_file_pathinconfig.yaml, sodass der Pfad mit dem Pfad übereinstimmt, unter dem Sie die Datei speichern. - Rufen Sie IAM und Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen sie für die Exporter-Konfiguration.
Option 2: Authentifizierungsdatei für die Datenaufnahme herunterladen (Legacy)
- Melden Sie sich in der Google SecOps-Konsole an.
- Rufen Sie Einstellungen > Datenverwaltung > Erfassungs-Agents auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Erfassungs-Agents auf.
- Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
- Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert werden soll.
Google SecOps-Kundennummer abrufen
- Melden Sie sich in der Google SecOps-Konsole an.
- Gehen Sie zu Einstellungen > Verwaltung > Profil. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Profil auf.
Kopieren und speichern Sie die Kundennummer aus dem Bereich Organisationsdetails.
Bindplane-Agent installieren
Installieren Sie den Bindplane-Agenten gemäß der folgenden Anleitung auf Ihrem Windows- oder Linux-Betriebssystem.
Windows-Installation
- Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.
Führen Sie dazu diesen Befehl aus:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quietWarten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
sc query observiq-otel-collectorDer Dienst sollte als RUNNING angezeigt werden.
Linux-Installation
- Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.
Führen Sie dazu diesen Befehl aus:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.shWarten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
sudo systemctl status observiq-otel-collectorDer Dienst sollte als active (running) angezeigt werden.
Zusätzliche Installationsressourcen
Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in der Installationsanleitung für den Bindplane-Agenten.
Bindplane-Agent für die Aufnahme von Syslog und das Senden an Google SecOps konfigurieren
Konfigurationsdatei suchen
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
Konfigurationsdatei bearbeiten
Ersetzen Sie den gesamten Inhalt von
config.yamldurch die folgende Konfiguration:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/apache: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: chronicle.googleapis.com log_type: APACHE raw_log_field: body service: pipelines: logs/apache_to_chronicle: receivers: - udplog exporters: - chronicle/apache
Konfigurationsparameter
Ersetzen Sie die folgenden Platzhalter:
Empfängerkonfiguration:
listen_address: IP-Adresse und Port, auf dem gelauscht werden soll:0.0.0.0, um auf allen Schnittstellen zu lauschen (empfohlen)- Port
514ist der Standard-Syslog-Port (erfordert Root unter Linux; verwenden Sie1514für Nicht-Root).
Exporter-Konfiguration:
creds_file_path: Vollständiger Pfad zur JSON-Schlüsseldatei des Dienstkontos (Option 1):- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
customer_id: Kundennummer, die aus der Google SecOps-Konsole kopiert wurdelocation: Ersetzen Sie<LOCATION>durch die Region Ihrer Google SecOps-Instanz (z. B.us,europeoderasia-southeast1). Der Exporter stellt diesem Wertchronicle.googleapis.comvoran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.project: Ersetzen Sie<PROJECT_NUMBER>durch die Projektnummer aus IAM & Verwaltung > Einstellungen.endpoint: Behalten Sie die Einstellungchronicle.googleapis.combei.
Legacy-Ingestion-API-Exporter
Wenn Sie die Authentifizierungsdatei für die Datenaufnahme aus Option 2 verwenden, ersetzen Sie den Block
exportersdurch Folgendes. Legen Sie fürcreds_file_pathden Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Siemalachiteingestion-pa.googleapis.comdurch Ihren regionalen Endpunkt (z. B.europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/apache: compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: APACHE raw_log_field: body
Konfigurationsdatei speichern
- Speichern Sie die Datei nach der Bearbeitung:
- Linux: Drücken Sie
Ctrl+O, dannEnterund dannCtrl+X. - Windows: Klicken Sie auf Datei > Speichern.
- Linux: Drücken Sie
Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.
Führen Sie den folgenden Befehl aus, um den Bindplane-Agenten unter Linux neu zu starten:
sudo systemctl restart observiq-otel-collectorPrüfen Sie, ob der Dienst ausgeführt wird:
sudo systemctl status observiq-otel-collectorPrüfen Sie die Logs auf Fehler:
sudo journalctl -u observiq-otel-collector -f
Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agenten unter Windows neu zu starten:
Eingabeaufforderung oder PowerShell als Administrator:
net stop observiq-otel-collector && net start observiq-otel-collectorDienstkonsole:
- Drücken Sie
Win+R, geben Sieservices.mscein und drücken Sie die Eingabetaste. - Suchen Sie nach observIQ OpenTelemetry Collector.
- Rechtsklicken Sie und wählen Sie Neu starten aus.
Prüfen Sie, ob der Dienst ausgeführt wird:
sc query observiq-otel-collectorPrüfen Sie die Logs auf Fehler:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- Drücken Sie
Syslog in Apache konfigurieren
- Melden Sie sich über SSH auf dem Server an, auf dem Apache gehostet wird.
Erstellen Sie unter
/etc/rsyslog.d/eine Datei mit dem Namen02-apache2.conf:vim /etc/rsyslog.d/02-apache2.confFügen Sie den folgenden Code in die Datei ein:
module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog") input(type="imfile" File="/var/log/apache2/access.log" Tag="http_access" Severity="info" Facility="local6") Local6.info @<BINDPLANE_IP>:<BINDPLANE_PORT> module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog") input(type="imfile" File="/var/log/apache2/error.log" Tag="http_error" Severity="error" Facility="local7") Local7.error @<BINDPLANE_IP>:<BINDPLANE_PORT>- Ersetzen Sie
<BINDPLANE_IP>und<BINDPLANE_PORT>durch die IP-Adresse und den Port, die für den Bindplane-Agent konfiguriert sind. - Wenn Sie das TCP-Protokoll verwenden, hängen Sie ein zusätzliches
@an die Hostzeile an (z. B.@@<BINDPLANE_IP>:<BINDPLANE_PORT>).
- Ersetzen Sie
Starten Sie die rsyslog-Dienste neu:
sudo service rsyslog restart
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
bytes |
network.received_bytes |
Vom Client empfangene Byte. |
bytes |
network.sent_bytes |
An den Client gesendete Byte. |
bytes_out |
network.sent_bytes |
An den Client gesendete Byte. |
bytes_received |
network.received_bytes |
Vom Client empfangene Byte. |
Content |
network.http.method |
HTTP-Methode, die aus dem Feld „Inhalt“ extrahiert wurde. |
Content |
target.url |
Die Ziel-URL, die aus dem Feld „Inhalt“ extrahiert wurde. |
cookie |
additional.fields.value.string_value |
Wert des Felds „cookie“. |
dest_ip |
target.ip |
IP-Adresse des Ziels. |
dest_name |
target.hostname |
Hostname des Ziels. |
dest_port |
target.port |
Port des Ziels. |
description |
metadata.description |
Beschreibung des Ereignisses. |
duration_microseconds |
additional.fields.value.string_value |
Wert des Felds „duration_microseconds“. |
file_full_path |
target.file.full_path |
Vollständiger Pfad der Zieldatei. |
hostname |
target.hostname |
Hostname des Ziels. |
http_content_type |
additional.fields.value.string_value |
Wert des Felds „http_content_type“. |
http_host |
principal.hostname |
Hostname des Hauptkontos. |
http_method |
network.http.method |
HTTP-Methode. |
http_referrer |
network.http.referral_url |
HTTP-Referrer-URL. |
http_user_agent |
network.http.user_agent |
HTTP-User-Agent. |
ID |
metadata.id |
ID des Ereignisses. |
insertId |
metadata.product_log_id |
Produktprotokoll-ID. |
ip |
principal.ip |
IP-Adresse des Hauptkontos. |
jsonPayload.cIP |
target.ip |
IP-Adresse des Ziels. |
jsonPayload.cPort |
target.port |
Port des Ziels. |
jsonPayload.csBytes |
network.sent_bytes |
An den Client gesendete Byte. |
jsonPayload.csMethod |
network.http.method |
HTTP-Methode. |
jsonPayload.csMimeType |
target.file.mime_type |
MIME-Typ der Zieldatei. |
jsonPayload.csReferer |
network.http.referral_url |
HTTP-Referrer-URL. |
jsonPayload.csURL |
target.url |
Ziel-URL. |
jsonPayload.csUserAgent |
network.http.user_agent |
HTTP-User-Agent. |
jsonPayload.sHierarchy |
additional.fields.value.string_value |
Wert des Felds „sHierarchy“. |
jsonPayload.sHostname |
principal.hostname |
Hostname des Hauptkontos. |
jsonPayload.sIP |
principal.ip |
IP-Adresse des Hauptkontos. |
jsonPayload.scBytes |
network.received_bytes |
Vom Client empfangene Byte. |
jsonPayload.scHTTPStatus |
network.http.response_code |
HTTP-Antwortcode. |
jsonPayload.scResultCode |
additional.fields.value.string_value |
Wert des Felds „scResultCode“. |
LastStatus |
network.http.response_code |
HTTP-Antwortcode. |
log_level |
security_result.severity |
Schweregrad des Sicherheitsergebnisses. |
logName |
security_result.category_details |
Kategoriedetails des Sicherheitsergebnisses. |
method |
network.http.method |
HTTP-Methode. |
pid |
principal.process.pid |
Prozess-ID des Hauptkontos. |
Port |
target.port |
Port des Ziels. |
proto |
network.application_protocol |
Anwendungsprotokoll. |
referer |
network.http.referral_url |
HTTP-Referrer-URL. |
RemoteHost |
principal.ip |
IP-Adresse des Hauptkontos. |
RemoteUser |
principal.user.userid |
Nutzer-ID des Hauptkontos. |
resource.labels.instance_id |
target.resource.product_object_id |
Produktobjekt-ID der Zielressource. |
resource.labels.project_id |
target.resource.attribute.labels.value |
Wert des Labels „project_id“. |
resource.labels.zone |
target.resource.attribute.cloud.availability_zone |
Verfügbarkeitszone der Zielressource. |
resource.type |
target.resource.resource_type |
Ressourcentyp des Ziels. |
response |
network.http.response_code |
HTTP-Antwortcode. |
SizeBytes |
network.received_bytes |
Vom Client empfangene Byte. |
src_ip |
principal.ip |
IP-Adresse des Hauptkontos. |
src_port |
principal.port |
Port des Hauptkontos. |
ssl_cipher |
network.tls.cipher |
TLS-Chiffre. |
ssl_version |
network.tls.version_protocol |
TLS-Versionsprotokoll. |
status |
network.http.response_code |
HTTP-Antwortcode. |
target |
target.url |
Ziel-URL. |
target_ip |
target.ip |
IP-Adresse des Ziels. |
target_port |
target.port |
Port des Ziels. |
time |
metadata.event_timestamp |
Zeitstempel des Ereignisses. |
uri_path |
target.process.file.full_path |
Vollständiger Pfad der Zieldatei. |
user |
principal.user.userid |
Nutzer-ID des Hauptkontos. |
useragent |
network.http.user_agent |
HTTP-User-Agent. |
version_protocol |
network.tls.version_protocol |
TLS-Versionsprotokoll. |
Workername |
principal.hostname |
Hostname des Hauptkontos. |
x_forwarded_for |
Wert des „X-Forwarded-For“-Headers. | |
metadata.log_type |
Der Wert wird im Parsercode auf „APACHE“ festgelegt. | |
metadata.product_name |
Der Wert wird im Parsercode auf „Apache Web Server“ gesetzt. | |
metadata.vendor_name |
Der Wert wird im Parsercode auf „Apache“ festgelegt. | |
metadata.event_type |
Der Wert wird anhand des Vorhandenseins von Hauptkonto- und Zielinformationen bestimmt. Wenn sowohl Hauptkonto als auch Ziel vorhanden sind, wird der Ereignistyp auf „NETWORK_HTTP“ gesetzt. Wenn nur „principal“ vorhanden ist, wird der Ereignistyp auf „STATUS_UPDATE“ gesetzt. Andernfalls wird er auf „GENERIC_EVENT“ gesetzt. | |
additional.fields.key |
Der Schlüssel wird im Parsercode basierend auf dem Feld auf „keep_alive“, „duration_microseconds“, „cookie“, „http_content_type“, „sHierarchy“ oder „scResultCode“ gesetzt. | |
target.port |
Wenn das Feld „proto“ „HTTP“ ist, wird der Port auf 80 gesetzt. Wenn das Feld „proto“ den Wert „HTTPS“ hat, wird der Port auf 443 festgelegt. Wenn das Feld „proto“ den Wert „FTP“ hat, wird der Port auf 21 gesetzt. | |
target.resource.attribute.labels.key |
Der Schlüssel ist im Parsercode auf „project_id“ festgelegt. | |
client_ip_address |
event.idm.read_only_udm.principal.ip und event.idm.read_only_udm.principal.asset.ip |
Aus Änderungsprotokoll zugeordnet |
server |
event.idm.read_only_udm.target.hostname und event.idm.read_only_udm.target.asset.hostname |
Aus Änderungsprotokoll zugeordnet |
bytes_in |
event.idm.read_only_udm.network.received_bytes |
Aus Änderungsprotokoll zugeordnet |
PHPSESSID |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
AuthToken |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
response_time_microseconds |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
hostname |
event.idm.read_only_udm.intermediary.hostname |
Aus Änderungsprotokoll zugeordnet |
Filename |
event.idm.read_only_udm.principal.process.file.full_path |
Aus Änderungsprotokoll zugeordnet |
kv_key |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
info |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
SourceModuleName |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
SourceModuleType |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
src_ip |
event.idm.read_only_udm.target.ip und event.idm.read_only_udm.target.asset.ip |
Aus Änderungsprotokoll zugeordnet |
tls_version |
event.idm.read_only_udm.network.tls.version |
Aus Änderungsprotokoll zugeordnet |
version_protocol |
event.idm.read_only_udm.network.tls.version_protocol |
Aus Änderungsprotokoll zugeordnet |
syncAccuracy |
event.idm.read_only_udm.security_result.detection_fields |
Aus Änderungsprotokoll zugeordnet |
isSynced |
event.idm.read_only_udm.security_result.detection_fields |
Aus Änderungsprotokoll zugeordnet |
tzKnown |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
user_location |
principal.location.country_or_region |
Aus Änderungsprotokoll zugeordnet |
proto", "proto_version", "uri_path", and "uri_query |
additional.fields |
Aus Änderungsprotokoll zugeordnet |
ip_msg |
principal.ip |
Aus Änderungsprotokoll zugeordnet |
msg_method |
network.http.method |
Aus Änderungsprotokoll zugeordnet |
useragentvalue |
network.http.user_agent |
Aus Änderungsprotokoll zugeordnet |
bytes_out |
network.sent.bytes |
Aus Änderungsprotokoll zugeordnet |
XForwardedForIP" and "RemoteHost |
principal.ip |
Aus Änderungsprotokoll zugeordnet |
Remoteuser |
principal.user.userid |
Aus Änderungsprotokoll zugeordnet |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten