Übersicht über die automatische Extraktion

Unterstützt in:

In diesem Dokument wird beschrieben, wie Daten automatisch extrahiert werden, um die Aufnahme, Verarbeitung und Analyse von Daten zu verbessern.

Google Security Operations verwendet vorgefertigte Parser, um Logdaten mithilfe des Schemas für einheitliche Datenmodelle (Unified Data Model, UDM) zu extrahieren und zu strukturieren. Die Verwaltung und Wartung dieser Parser kann aufgrund mehrerer Einschränkungen schwierig sein: unvollständige Datenextraktion, die wachsende Anzahl der zu verwaltenden Parser und die Notwendigkeit häufiger Updates, da sich die Protokollformate weiterentwickeln.

Mit der Funktion für die automatische Extraktion können Sie diese Herausforderungen meistern. Mit dieser Funktion werden automatisch Schlüssel/Wert-Paare aus Protokollen im JSON- und XML-Format extrahiert, die in Google SecOps aufgenommen werden. Es werden auch Syslog-formatierte Logs unterstützt, die eine JSON-Nachricht enthalten. Diese extrahierten Daten werden in einem UDM-Feld vom Typ „map“ namens extracted gespeichert. Sie können diese Daten dann in UDM-Suchanfragen, nativen Dashboards und YARA-L-Regeln verwenden.

Die UDM-Suche mit extrahierten Feldern sollte metadata.log_type in der Abfrage enthalten, um die Leistung der Suchabfrage zu verbessern.

Der Vorteil der automatischen Extraktion besteht darin, dass weniger Parser benötigt werden. So sind Daten auch dann verfügbar, wenn kein Parser vorhanden ist oder ein Log nicht geparst werden kann.

Daten aus dem Rohlog parsen und extrahieren

  1. Parsing: Google SecOps versucht, Protokolle mit einem Parser zu parsen, der für den Logtyp spezifisch ist, sofern verfügbar. Wenn kein spezifischer Parser vorhanden ist oder das Parsen fehlschlägt, verwendet Google SecOps einen allgemeinen Parser, um grundlegende Informationen wie den Zeitstempel der Aufnahme, den Protokolltyp und Metadatenlabels zu extrahieren.

  2. Datenextraktion: Die automatische Extraktion ist nicht standardmäßig aktiviert. Aktivieren Sie die Funktion und wählen Sie die Felder (Datenpunkte) aus, die Sie aus den Protokollen extrahieren möchten.

  3. Ereignisanreicherung: Google SecOps kombiniert die geparsten Daten und alle benutzerdefinierten formatierten Felder, um angereicherte Ereignisse zu erstellen, die mehr Kontext und Details enthalten.

  4. Downstream-Datenübertragung: Diese angereicherten Ereignisse werden dann zur weiteren Analyse und Verarbeitung an andere Systeme gesendet.

  • Wenn ein Parser vorhanden ist:Die automatische Standardextraktion erfolgt nicht. Sie müssen die benötigten Felder explizit aktivieren, wie im Abschnitt Extraktoren verwenden beschrieben.
  • Wenn kein Parser vorhanden ist:Die automatische Extraktion wird automatisch gestartet und die ersten 100 Felder werden extrahiert.

Mit Extraktoren arbeiten

Mit Extraktoren können Sie Felder aus allen unterstützten Logquellen extrahieren. Sie wurden entwickelt, um die Logverwaltung zu optimieren. Mit Extraktoren können Sie die Ereignisgröße reduzieren, die Parsing-Effizienz verbessern und die Datenextraktion besser steuern. Das ist besonders nützlich, wenn Sie neue Protokolltypen verwalten oder die Verarbeitungszeit minimieren möchten.

Sie können Extraktoren über das Menü SIEM Settings (SIEM-Einstellungen) oder durch eine Rohlog-Suche erstellen.

Extrahierer erstellen

  1. Rufen Sie den Bereich Zusätzliche Felder extrahieren auf eine der folgenden Arten auf:

    • Klicken Sie auf SIEM-Einstellungen > Parser und gehen Sie so vor:
      1. Suchen Sie in der Tabelle PARSERS nach einem Parser (Protokollquelle) und klicken Sie auf  Menü > Parser erweitern > Zusätzliche Felder extrahieren.
    • Verwenden Sie Rohlog-Scan und gehen Sie so vor:
      1. Wählen Sie im Menü Log Sources (Log-Quellen) die erforderlichen Log-Quellen (Parser) aus.
      2. Wählen Sie in den Rohprotokoll-Ergebnissen eine Protokollquelle aus, um den Bereich EREIGNISDATEN zu öffnen.
      3. Klicken Sie im Bereich EVENT DATA (Ereignisdaten) auf Manage Parser (Parser verwalten) > Extend Parser (Parser erweitern) > Extract Additional Fields (Zusätzliche Felder extrahieren).
    • Verwenden Sie die UDM-Suche und gehen Sie so vor:
      1. Wählen Sie auf dem Tab EVENTS (EREIGNISSE) in den UDM-Suchergebnissen eine Protokollquelle aus, um den Bereich Event Viewer (Ereignisanzeige) aufzurufen.
      2. Klicken Sie auf dem Tab Rohlog auf Parser verwalten > Parser erweitern > Zusätzliche Felder extrahieren.

  2. Wählen Sie auf dem Tab Extrahierer auswählen im Bereich Zusätzliche Felder extrahieren die erforderlichen Rohlogfelder aus. Standardmäßig können Sie bis zu 100 Felder auswählen. Wenn keine zusätzlichen Felder für die Extraktion verfügbar sind, wird eine Warnung angezeigt.

    Klicken Sie auf den Tab Referenz-Rohlog, um die Rohlogdaten aufzurufen und eine Vorschau der UDM-Ausgabe zu sehen.

  3. Klicken Sie auf Speichern.

Der neu erstellte Extractor ist mit EXTRACTOR gekennzeichnet. Extrahierte Felder werden in der UDM-Ausgabe alsextracted.field{"fieldName"}angezeigt.

Extraktordetails ansehen

  1. Klicken Sie in der Tabelle PARSERS in der Zeile für den Extractor auf  Menü > Parser erweitern > Erweiterung ansehen.
  2. Klicken Sie auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN auf den Tab Erweiterungen und extrahierte Felder.

Auf diesem Tab werden Informationen zu Parsererweiterungen und Extraktorfeldern angezeigt. Auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN können Sie Felder ändern oder entfernen und sich die Parserausgabe ansehen.

Beschränkungen

  • Wenn die Größe eines Batch-UDM-Ereignisses 8,2 MB überschreitet, werden die Rohlogs und alle extrahierten Felder verworfen.
  • Wenn ein einzelnes UDM-Ereignis 500 KB überschreitet, werden die extrahierten Felder verworfen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten