Benutzerdefinierte Parser konfigurieren
In diesem Dokument wird beschrieben, wie Sie benutzerdefinierte Parser für Fälle erstellen, in denen kein vordefinierter Parser verfügbar ist oder Sie mehr Kontrolle wünschen. Benutzerdefinierte Parser werden in der Parserliste neben vordefinierten Parsern angezeigt.
Zu den häufigsten Anwendungsfällen gehören:
Logdaten für einen Logtyp aufnehmen, für den kein vordefinierter Parser vorhanden ist.
Gehen Sie nach einer der folgenden Methoden vor:
Erstellen Sie einen benutzerdefinierten Parser, um Updates für vordefinierte Parser zu überspringen.
Einschränkungen und nicht unterstützte Vorgänge
Beachten Sie beim Erstellen und Verwalten benutzerdefinierter Parser die folgenden betrieblichen Einschränkungen:
- Parser-Syntax im Vergleich zu YARA-L-Erkennungsregeln: Aufnahme-Parser und Parser-Erweiterungen verwenden Logstash Grok und die Konfigurationssyntax mit Filtern (z. B.
grok,mutate,json,dateundbase64) bei der Aufnahme, um Rohlogs in das Unified Data Model (UDM) zu parsen. Parser können keine YARA-L-Syntax, Ergebnisblöcke oder Generatorfunktionen (z. B.yield) verwenden. YARA-L 2.0 ist ausschließlich eine Abfragesprache für die Erkennungs-Engine, die nachgelagert für normalisierte UDM-Ereignisse zur Bedrohungswarnung ausgewertet wird. Sie kann keine Rohlogs parsen, UDM-Felder mutieren oder eingehenden Log-Traffic verwerfen. - 1:1-Aufnahmemodell: Benutzerdefinierte Google SecOps-Parser arbeiten ausschließlich mit einer 1:1-Beziehung. Benutzerdefinierte Parser können einen einzelnen Logeintrag, der mehrere eingebettete Ereignisse enthält (z. B. JSON-Arrays oder verkettete Strings), nicht in separate UDM-Ereignisse aufteilen, in einer Schleife verarbeiten oder aufteilen. Sie müssen Nutzlasten mit mehreren Ereignissen vor der Aufnahme aufteilen. Verwenden Sie dazu Logerfassungspipelines wie BindPlane OP, OpenTelemetry Collector, Fluent Bit oder eine Cloud Run-Funktion vor der Aufnahme.
drop {}-Filterverhalten: Derdrop {}-Filter in einem Parser unterdrückt nur die Generierung von UDM-Ereignissen. Wenn ein Parser ein Log verwirft, erstellt Google SecOps keinen UDM-Eintrag und Erkennungsregeln können das Ereignis nicht auswerten. Google SecOps behält jedoch das ursprüngliche Rohlog im unveränderlichen Roh-Repository für Compliance- und Prüfzwecke bei. Das Rohlog bleibt über die Suche nach Rohlogs durchsuchbar. Wenn Sie Logs vor der Speicherung verwerfen möchten, konfigurieren Sie die Filterung vorgelagert in Ihrem Forwarder oder Collector.- Standardmäßig nur vorwärtsgerichtetes Parsen: Wenn Sie einen benutzerdefinierten Parser aktivieren, wird er nur auf neu aufgenommene Logs ab dem Zeitpunkt der Aktivierung angewendet. Wenn es aus geschäftlichen Gründen dringend erforderlich ist, benutzerdefinierte Parser-Zuordnungen auf vorhandene historische Logs anzuwenden, können Sie eine Logwiedergabe-Aufgabe im Backend anfordern. Weitere Informationen finden Sie unter Verlaufsdaten neu parsen (Log-Wiedergabe).
Benutzerdefinierten Parser basierend auf Zuordnungsanweisungen erstellen
Sie können einen benutzerdefinierten Parser erstellen, indem Sie Code schreiben, der das ursprüngliche Rohlog in einen UDM-Eintrag konvertiert.
Weitere Informationen:
- Weitere Informationen zur Struktur eines Parsers finden Sie unter Übersicht über das Parsen von Logs.
- Weitere Informationen zur Parser-Syntax finden Sie in der Referenz zur Parser-Syntax.
Versuchen Sie beim Erstellen eines Parsers, so viele wichtige UDM-Felder wie möglich zu füllen.
Rufen Sie Einstellungen > Datenverwaltung > Parser auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Parser auf.
Klicken Sie auf Parser erstellen.
Wählen Sie in der Liste Logquelle eine geeignete Logquelle aus.
Wählen Sie Nur mit Rohlogs beginnen aus, um einen neuen Parser gemäß Ihren Anforderungen zu erstellen.
Klicken Sie auf Erstellen.
Geben Sie Ihren Code im Parser Code Terminal ein. Weitere Informationen finden Sie unter Anleitung für die Zuordnung von Code-Snippets erstellen.
Hinweis: Achten Sie darauf, dass Ihre benutzerdefinierte Parserlogik gültige, aktuelle Zeitstempel korrekt zuordnet und erzeugt. Wenn ein benutzerdefinierter Parser Zeitstempel fälschlicherweise einem Datum außerhalb Ihres Standardaufbewahrungsfensters zuordnet, werden die Daten zwar aufgenommen, können aber in der Benutzeroberfläche nicht gesucht werden. Da Suchfunktionen zum Filtern Zeitstempel von Ereignissen verwenden, sind Daten, die einem falschen Datum zugeordnet sind, trotz erfolgreicher Aufnahme nicht sichtbar.
Optional: Klicken Sie auf Bearbeiten, um das vorhandene Rohprotokoll oder die Kopie zu bearbeiten.
Optional: Klicken Sie auf Laden, um das neueste Rohprotokoll zu laden.
Klicken Sie auf Vorschau, um die UDM-Ausgabe aufzurufen. Wenn der Code falsch ist, wird eine Fehlermeldung angezeigt.
In der Vorabversion können Sie das Filter-Plug-in „statedump“ verwenden, um den internen Status eines Parsers zu validieren. Weitere Informationen finden Sie unter Daten mit dem Statedump-Plug-in validieren.
Klicken Sie auf Validieren, um den benutzerdefinierten Parser zu validieren.
Der Validierungsprozess kann einige Minuten dauern. Wir empfehlen daher, zuerst eine Vorschau des benutzerdefinierten Parsers aufzurufen, bei Bedarf Änderungen vorzunehmen und dann den benutzerdefinierten Parser zu validieren.
Klicken Sie auf Senden.
Der Parser wird nach 20 Minuten für den Normalisierungsprozess aktiviert.
Benutzerdefinierten Parser auf Basis eines vorhandenen Parsers erstellen
Verwenden Sie einen vorhandenen Parser als Vorlage, um einen neuen benutzerdefinierten Parser zu erstellen. Diese Methode unterstützt nur den codebasierten Ansatz. So funktionierts:
Rufen Sie Einstellungen > Datenverwaltung > Parser auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Parser auf.
Klicken Sie auf Parser erstellen.
Wählen Sie in der Liste Logquelle eine geeignete Logquelle aus.
Wählen Sie Mit einem vorhandenen vordefinierten Parser beginnen aus, um einen vorhandenen Parser als Grundlage für die Erstellung eines neuen benutzerdefinierten Parsers zu verwenden.
Klicken Sie auf Erstellen.
Bearbeiten Sie den Code im Parser Code Terminal. Weitere Informationen finden Sie unter Anleitung für die Zuordnung von Code-Snippets erstellen.
Optional: Klicken Sie auf Bearbeiten, um das Rohprotokoll zu bearbeiten.
Optional: Klicken Sie auf Aktualisieren, um das Rohprotokoll zu aktualisieren.
Wenn Sie Code zum Erstellen des Parsers hinzufügen, klicken Sie auf Vorschau, um die UDM-Ausgabe aufzurufen. Wenn der Code falsch ist, wird eine Fehlermeldung angezeigt.
In der Vorabversion können Sie das Statedump-Filter-Plug-in verwenden, um den internen Status eines Parsers zu validieren. Weitere Informationen finden Sie unter Daten mit dem Statedump-Plug-in validieren.
Klicken Sie auf Validieren, um den benutzerdefinierten Parser zu validieren.
Die Validierung kann einige Minuten dauern. Wir empfehlen daher, zuerst eine Vorschau des benutzerdefinierten Parsers aufzurufen, bei Bedarf Änderungen vorzunehmen und dann den benutzerdefinierten Parser zu validieren.
Klicken Sie auf Senden.
Der Parser wird nach 20 Minuten für den Normalisierungsprozess aktiviert.
Benutzerdefinierten Parser deaktivieren
Rufen Sie Einstellungen > Datenverwaltung > Parser auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Parser auf.
Klicken Sie neben dem Parser, den Sie deaktivieren möchten, auf das Menü und wählen Sie in der Liste Deaktivieren aus.
Das Dialogfeld Parser inaktivieren wird angezeigt.
Klicken Sie auf Deaktivieren.
Der benutzerdefinierte Parser wird deaktiviert und die aktuelle vordefinierte Parserversion wird nach 20 Minuten aktiviert. Der vordefinierte Parser wird jetzt zum Standardparser.
Benutzerdefinierten Parser löschen
Rufen Sie Einstellungen > Datenverwaltung > Parser auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Parser auf.
Klicken Sie neben dem benutzerdefinierten Parser, den Sie löschen möchten, auf das Menü und wählen Sie Löschen aus der Liste aus. Hinweis: Vordefinierte Parser können nicht gelöscht werden.
Das Dialogfeld Benutzerdefinierten Parser löschen wird angezeigt.
Klicken Sie auf Löschen.
Der benutzerdefinierte Parser wird gelöscht und die aktuelle vordefinierte Parserversion wird nach 20 Minuten aktiviert.
Erweiterung erstellen
Parsererweiterungen bieten eine flexible Möglichkeit, die Funktionen vorhandener benutzerdefinierter Parser zu erweitern. Sie ersetzen keine benutzerdefinierten Parser. Stattdessen ermöglichen sie die nahtlose Extraktion zusätzlicher Felder aus dem ursprünglichen Rohlog in den UDM-Eintrag. Eine Parsererweiterung unterscheidet sich von einem benutzerdefinierten Parser.
Informationen zum Erstellen einer Parser-Erweiterung finden Sie unter Parser-Erweiterungen verwenden.
Überprüfungsstatus
In der Spalte „Validierung“ wird der Status des Validierungstests für den benutzerdefinierten Parser oder die Parser-Erweiterung angezeigt.
- Parser fehlgeschlagen: Validierung des benutzerdefinierten Parsers fehlgeschlagen
- Parservalidierung bestanden: Benutzerdefinierte Parservalidierung erfolgreich
- Übersprungen: Benutzerdefinierter Parser wurde nicht validiert
- Für Erweiterung übersprungen: Parser-Erweiterung ist nicht validiert
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten