Übersicht über die automatische Extraktion

Unterstützt in:

In diesem Dokument wird beschrieben, wie Daten automatisch extrahiert werden, um die Aufnahme, Verarbeitung und Analyse von Daten zu verbessern.

Google Security Operations verwendet vordefinierte Parser, um Logdaten mithilfe des UDM-Schemas (Unified Data Model) zu extrahieren und zu strukturieren. Die Verwaltung und Pflege dieser Parser kann aufgrund mehrerer Einschränkungen eine Herausforderung sein: unvollständige Datenextraktion, die wachsende Anzahl von Parsern, die verwaltet werden müssen, und die Notwendigkeit häufiger Aktualisierungen, da sich die Protokollformate weiterentwickeln.

Um diese Herausforderungen zu bewältigen, können Sie die Funktion zur automatischen Extraktion verwenden. Mit dieser Funktion werden automatisch Schlüssel/Wert-Paare aus JSON- und XML-formatierten Logs extrahiert, die in Google SecOps aufgenommen wurden. Außerdem werden Syslog-formatierte Logs unterstützt, die eine JSON-Nachricht enthalten. Diese extrahierten Daten werden in einem UDM-Feld vom Typ „Map“ mit dem Namen extracted gespeichert. Sie können diese Daten dann in UDM-Suchanfragen, nativen Dashboards und YARA-L-Regeln verwenden.

Die UDM-Suche mit extrahierten Feldern sollte metadata.log_type in der Abfrage enthalten, um die Leistung der Suchabfrage zu verbessern.

Der Vorteil der automatischen Extraktion besteht darin, dass die Abhängigkeit von Parsern verringert wird. So bleiben Daten auch dann verfügbar, wenn kein Parser vorhanden ist oder ein Log nicht geparst werden kann.

Daten aus dem Rohprotokoll parsen und extrahieren

  1. Parsen: Google SecOps versucht, Logs mit einem Parser zu parsen, der für den Logtyp spezifisch ist, sofern verfügbar. Wenn kein spezifischer Parser vorhanden ist oder das Parsen fehlschlägt, verwendet Google SecOps einen allgemeinen Parser, um grundlegende Informationen wie den Zeitstempel der Aufnahme, den Logtyp und Metadatenlabels zu extrahieren.

  2. Datenextraktion: Die automatische Extraktion ist standardmäßig nicht aktiviert. Aktivieren Sie die Option und wählen Sie die Felder (Datenpunkte) aus, die Sie aus den Protokollen extrahieren möchten.

  3. Ereignisanreicherung: Google SecOps kombiniert die geparsten Daten und alle benutzerdefinierten Felder, um angereicherte Ereignisse zu erstellen, die mehr Kontext und Details bieten.

  4. Downstream-Datenübertragung: Diese angereicherten Ereignisse werden dann zur weiteren Analyse und Verarbeitung an andere Systeme gesendet.

  • Wenn ein Parser vorhanden ist: Die standardmäßige automatische Extraktion erfolgt nicht. Sie müssen die erforderlichen Felder explizit aktivieren, wie im Abschnitt Mit Extraktoren arbeiten beschrieben.
  • Wenn kein Parser vorhanden ist: Die automatische Extraktion wird automatisch gestartet und die ersten 100 Felder werden extrahiert.

Mit Extraktoren arbeiten

Mit Extraktoren können Sie Felder aus allen unterstützten Logquellen extrahieren. Sie sind für die Optimierung der Logverwaltung konzipiert. Mit Extraktoren können Sie die Ereignisgröße reduzieren, die Parsing-Effizienz verbessern und die Datenextraktion besser steuern. Das ist besonders nützlich, um neue Logtypen zu verwalten oder die Verarbeitungszeit zu minimieren.

Sie können Extraktoren über das Menü Einstellungen oder durch eine Suche in Rohlogs erstellen.

Extraktoren erstellen

  1. Rufen Sie den Bereich Zusätzliche Felder extrahieren mit einer der folgenden Methoden auf:

    • Klicken Sie auf Einstellungen > Datenverwaltung > Parser. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Parser auf. Gehen Sie dazu so vor:
      1. Suchen Sie in der Tabelle PARSER nach einem Parser (Logquelle) und klicken Sie auf  Menü > Parser erweitern > Zusätzliche Felder extrahieren.
    • Verwenden Sie Rohlog-Scan und gehen Sie so vor:
      1. Wählen Sie im Menü Logquellen die erforderlichen Logquellen (Parser) aus.
      2. Wählen Sie aus den Rohprotokollergebnissen eine Protokollquelle aus, um den Bereich EREIGNISDATEN zu öffnen.
      3. Klicken Sie im Bereich EREIGNISDATEN auf Parser verwalten > Parser erweitern > Zusätzliche Felder extrahieren.
    • Verwenden Sie die UDM-Suche und gehen Sie so vor:
      1. Wählen Sie auf dem Tab EREIGNISSE in den UDM-Suchergebnissen eine Protokollquelle aus, um den Bereich Ereignisanzeige aufzurufen.
      2. Klicken Sie auf dem Tab Rohprotokoll auf Parser verwalten > Parser erweitern > Zusätzliche Felder extrahieren.

  2. Wählen Sie auf dem Tab Extraktoren auswählen im Bereich Zusätzliche Felder extrahieren die erforderlichen Rohlogfelder aus. Standardmäßig können Sie bis zu 100 Felder auswählen. Wenn keine zusätzlichen Felder zum Extrahieren verfügbar sind, wird eine Warnung angezeigt.

    Klicken Sie auf den Tab Referenz-Rohprotokoll, um die Rohprotokolldaten aufzurufen und eine Vorschau der UDM-Ausgabe zu sehen.

  3. Klicken Sie auf Speichern.

Der neu erstellte Extraktor wird als EXTRACTOR gekennzeichnet. Extrahierte Felder werden in der UDM-Ausgabe als extracted.field{"fieldName"} angezeigt.

Extraktordetails ansehen

  1. Gehen Sie in der Tabelle PARSER zur Zeile des Extraktors und klicken Sie auf Menü > Parser erweitern > Erweiterung ansehen.
  2. Klicken Sie auf der Seite BENUTZERDEFINIERTE PARSER ANZEIGEN auf den Tab Erweiterungen und extrahierte Felder.

Auf diesem Tab werden Informationen zu Parsererweiterungen und Extraktorfeldern angezeigt. Auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN können Sie Felder ändern oder entfernen und sich eine Vorschau der Parserausgabe ansehen.

Beschränkungen

  • Wenn die Größe eines Batch-UDM-Ereignisses 8,2 MB überschreitet, werden die Rohlogs und alle extrahierten Felder verworfen.
  • Wenn ein einzelnes UDM-Ereignis 500 KB überschreitet, werden die extrahierten Felder verworfen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten