Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Datenverarbeitungspipelines verwalten

Unterstützt in:

Google SecOps SIEM

In diesem Dokument wird beschrieben, wie Sicherheitstechniker Datenverarbeitungspipelines in Google SecOps einrichten und verwalten, um Ereignisse zu filtern, Felder zu transformieren oder vertrauliche Werte vor der Aufnahme zu entfernen. Diese Funktion bietet eine robuste Kontrolle über den Datenaufnahmeprozess vor dem Parsen. Wenn Sie die empfohlenen Methoden in diesem Leitfaden befolgen, können Sie die Datenkompatibilität optimieren, Kosten senken und vertrauliche Informationen in Google SecOps schützen.

Die Datenverarbeitung vereinfacht die Logverwaltung durch die folgenden Hauptaktionen:

Filtern: Reduzieren Sie unnötige Daten und Kosten, indem Sie nur relevante Ereignisse aufnehmen.
Transformieren: Datenformate ändern, Felder parsen und Logs für eine bessere Nutzerfreundlichkeit anreichern.
Redact: Schützen Sie sensible Informationen, indem Sie sensible Werte vor dem Speichern maskieren oder entfernen.

Das folgende Diagramm zeigt, wie Ihre Daten in Google SecOps fließen und wie das System diese Daten verarbeitet:

Datenverarbeitungspipelines

Sie können die Datenverarbeitung für lokale und Cloud-Datenstreams entweder über die Bindplane-Verwaltungskonsole oder direkt über die öffentlichen Google SecOps Data Pipeline APIs konfigurieren.

Gängige Anwendungsfälle

Beispiele für Anwendungsfälle der Datenverarbeitung:

Leere Schlüssel/Wert-Paare aus Rohlogs entfernen.
Entfernen Sie sensible Daten.
Aufnahmelabels aus unformatierten Loginhalten hinzufügen.
Wenden Sie in Umgebungen mit mehreren Instanzen Aufnahmelabels auf Logdaten mit direkter Aufnahme an, um die Quellstreaminstanz (z. B.Google Cloud Workspace) zu identifizieren.
Palo Alto Cortex-Daten nach Feldwerten filtern.
SentinelOne-Daten nach Kategorie reduzieren.
Hostinformationen aus Feeds und Logs für die direkte Aufnahme extrahieren und dem Feld ingestion_source für Cloud Monitoring zuordnen.

Schlüsselterminologie

Bei der Datenverarbeitung werden die folgenden Elemente verwendet:

Streams: Ein bestimmter Datenfluss, der durch Logtyp und Aufnahmequelle (z. B. Feed oder API) definiert ist und als Eingabe für eine Datenverarbeitungspipeline dient.
Prozessorknoten: Eine Komponente innerhalb einer Pipeline, die einen oder mehrere Prozessoren enthält, z. B. Filter-, Transformations- oder Schwärzungsaktionen. Diese Prozessoren bearbeiten Daten sequenziell, während sie den Knoten passieren.
Ziel: Der Endpunkt der Datenverarbeitungspipeline, in der Regel die Google SecOps-Instanz, an die verarbeitete Daten zur endgültigen Aufnahme und Analyse gesendet werden.

Hinweis

Bevor Sie mit der Einrichtung von Datenverarbeitungspipelines beginnen, sollten Sie die folgenden Anforderungen prüfen:

Auswirkungen auf Parser und UDM: Datenverarbeitungspipelines ändern Rohprotokolldaten, bevor sie die Google SecOps-Parser erreichen. Diese Änderungen können sich darauf auswirken, wie Parser Logs interpretieren und in das UDM-Format (Unified Data Model) konvertieren. Bevor Sie eine Pipeline für einen Feed- oder Logtyp aktivieren, sollten Sie prüfen, ob Ihre Filter-, Transformations- oder Redaktionsregeln Daten nicht unbeabsichtigt so ändern, dass Parser keine korrekten UDM-Ereignisse generieren können.
API-Unterstützung: Die Datenverarbeitung wird für Push-basierte Streams durch Aufrufen der Chronicle API unterstützt. Filter, die im Data Processing Manager (DPM) konfiguriert wurden, werden angewendet, nachdem die Daten von der Chronicle Ingestion API empfangen wurden. Diese Filter verhindern also nicht, dass Kunden die Kontingente und API-Limits der Ingestion API erreichen, z. B. die API-Limits der importPushLog API, da diese Limits vor der DPM-Filterung ausgewertet werden. Um die Limits der Ingestion API effektiv zu verwalten und einzuhalten, sollten Kunden die Filterung direkt an der Datenquelle implementieren, anstatt sich auf DPM-Filter zu verlassen.

Hinweis: Datenverarbeitungspipelines gelten nur für Logs, die über die moderne Chronicle API aufgenommen wurden. Logs, die über Legacy-Aufnahme-APIs aufgenommen werden, werden nicht über Datenverarbeitungspipelines geleitet.
Datensichtbarkeit: Daten, die von Weiterleitungen und Bindplane aufgenommen werden, werden mit einem anderen collectorID als direkte Aufnahmestreams getaggt. Damit alle Logs sichtbar sind, müssen Sie entweder alle Aufnahmemethoden auswählen, wenn Sie Datenquellen abfragen, oder explizit auf die relevanten collectorID verweisen, wenn Sie mit der API interagieren.
Einrichtung der Bindplane-Konsole: Wenn Sie die Bindplane-Konsole für die Einrichtung und Verwaltung verwenden möchten, führen Sie die folgenden Schritte aus:
1. Weisen Sie dem Nutzer oder Dienstkonto, das Sie zum Konfigurieren der Bindplane-Integration verwenden, in der Google SecOps-Konsole eine der folgenden Rollen zu:
  - Eine benutzerdefinierte Rolle mit den folgenden Berechtigungen:
    - chronicle.logProcessingPipelines.associateStreams
    - chronicle.logProcessingPipelines.create
    - chronicle.logProcessingPipelines.delete
    - chronicle.logProcessingPipelines.dissociateStreams
    - chronicle.logProcessingPipelines.fetchAssociatedPipeline
    - chronicle.logProcessingPipelines.fetchSampleLogsByStreams
    - chronicle.logProcessingPipelines.get
    - chronicle.logProcessingPipelines.list
    - chronicle.logProcessingPipelines.testPipeline
    - chronicle.logProcessingPipelines.update
    - chronicle.logTypes.get
    - chronicle.logTypes.list
    - chronicle.feeds.get
    - chronicle.feeds.list
    - chronicle.logs.list
    - chronicle.parsers.list: Diese Berechtigung ist nur erforderlich, wenn Sie die Bindplane-Aktion SecOps-Parser validieren verwenden.
    - chronicle.parsers.runParser: Diese Berechtigung ist nur erforderlich, wenn Sie die Bindplane-Aktion SecOps-Parser validieren verwenden.
    Wir empfehlen, eine benutzerdefinierte Rolle mit den angegebenen erforderlichen Berechtigungen zu verwenden.
    
    Weitere Informationen finden Sie unter Benutzerdefinierte Rollen erstellen und verwalten und Funktionszugriffssteuerung mit IAM konfigurieren.
  - Die vordefinierte Rolle „Chronicle API Admin“ (roles/chronicle.admin).
    
    Weitere Informationen finden Sie unter Rolle „Project IAM Admin“ in einem dedizierten Projekt zuweisen.
2. Installieren Sie die Bindplane Server-Konsole. Informationen zu SaaS oder lokalen Umgebungen finden Sie unter Bindplane Server-Konsole installieren. Installieren Sie die aktuelle Version von Bindplane (oder Bindplane-Version 1.96.4 oder höher).
3. Verbinden Sie in der Bindplane-Konsole eine Google SecOps-Zielinstanz mit Ihrem Bindplane-Projekt. Weitere Informationen finden Sie unter Verbindung zu einer Google SecOps-Instanz herstellen.

Verbindung zu einer Google SecOps-Instanz herstellen

Prüfen Sie zuerst, ob Sie die Projektadministratorberechtigungen für Bindplane haben, um auf die Seite Projektintegrationen zuzugreifen.

Die Google SecOps-Instanz dient als Ziel für Ihre Datenausgabe.

So stellen Sie über die Bindplane Server-Konsole eine Verbindung zu einer Google SecOps-Instanz her:

Klicken Sie in der Bindplane Server-Konsole auf Menü und wählen Sie Projekteinstellungen aus.
Rufen Sie auf der Seite Projekteinstellungen die Karte Integrationen auf und klicken Sie auf Mit Google SecOps verbinden, um das Fenster Integration bearbeiten zu öffnen.

Geben Sie die Details für die Google SecOps-Zielinstanz ein.
Diese Instanz nimmt die verarbeiteten Daten (Ausgabe Ihrer Datenverarbeitung) so auf:

Feld	Beschreibung
Region	Region Ihrer Google SecOps-Instanz. Wenn Sie die Instanz in der Google Cloud -Konsole finden möchten, rufen Sie Sicherheit > Erkennungen und Kontrollen > Google Security Operations > Instanzdetails auf.
Kundennummer	Kundennummer Ihrer Google SecOps-Instanz. Rufen Sie in der Google SecOps-Konsole Einstellungen > Verwaltung > Profil > Organisationsdetails auf.
Google Cloud -Projektnummer	Google Cloud : Projektnummer Ihrer Google SecOps-Instanz. Die Projektnummer finden Sie in der Google SecOps-Konsole unter Einstellungen > Verwaltung > Profil > Organisationsdetails.
Anmeldedaten	Dienstkonto-Anmeldedaten sind der JSON-Wert, der für die Authentifizierung und den Zugriff auf die Google SecOps Data Pipeline APIs erforderlich ist. Rufen Sie diesen JSON-Wert aus der Datei mit den Anmeldedaten des Google-Dienstkontos ab. Das Dienstkonto muss sich im selben Google Cloud Projekt wie Ihre Google SecOps-Instanz befinden und benötigt entweder die Berechtigungen der Rolle „Chronicle API Admin“ (`roles/chronicle.admin`) oder eine benutzerdefinierte Rolle mit den erforderlichen Berechtigungen (siehe Voraussetzungen). Informationen zum Erstellen eines Dienstkontos und zum Herunterladen der JSON-Datei finden Sie unter Dienstkontoschlüssel erstellen und löschen. Alternativ unterstützen Bindplane Cloud-Bereitstellungen die Workload Identity-Föderation (WIF) für die Authentifizierung. WIF wird in selbst gehosteten Bindplane-Bereitstellungen nicht unterstützt. Weitere Informationen finden Sie unter Google SecOps-Integration mit WIF-Authentifizierung verbinden.

Klicken Sie auf Verbinden. Wenn Ihre Verbindungsdetails korrekt sind und Sie eine Verbindung zu Google SecOps herstellen können, können Sie Folgendes erwarten:
- Eine Verbindung zur Google SecOps-Instanz wird geöffnet.
- Wenn Sie zum ersten Mal eine Verbindung herstellen, wird der Tab SecOps-Pipelines in der Bindplane-Konsole angezeigt.
- In der Bindplane-Konsole werden alle verarbeiteten Daten angezeigt, die Sie zuvor für diese Instanz über die API eingerichtet haben. Das System konvertiert einige Prozessoren, die Sie mit der API konfiguriert haben, in Bindplane-Prozessoren und zeigt andere im OTTL-Rohformat (OpenTelemetry Transformation Language) an. In der Bindplane-Konsole können Sie Pipelines und Prozessoren bearbeiten, die zuvor über die API eingerichtet wurden.
Nachdem Sie eine Verbindung zu einer Google SecOps-Instanz hergestellt haben, können Sie die Datenverarbeitung einrichten.

Datenverarbeitung mit der Bindplane-Konsole einrichten

In diesem Abschnitt wird beschrieben, wie Sie eine neue Logverarbeitungspipeline in Google SecOps mithilfe der Bindplane-Konsole bereitstellen und einrichten. Sie können die Bindplane-Konsole auch verwenden, um Pipelines zu verwalten, die zuvor mit der API eingerichtet wurden.

Neue Google SecOps-Pipeline erstellen

Eine Google SecOps-Pipeline ist ein Container, in dem Sie einen Datenverarbeitungscontainer konfigurieren können. So erstellen Sie einen neuen Google SecOps-Pipeline-Container:

Klicken Sie in der Bindplane-Konsole auf den Tab SecOps-Pipelines, um die Seite SecOps-Pipelines zu öffnen.
Klicken Sie auf SecOps-Pipeline erstellen.
Geben Sie einen SecOps-Pipeline-Namen und eine Beschreibung ein.

Wichtig: Sie können den Namen einer Google SecOps-Pipeline nach dem Erstellen nicht mehr ändern.
Klicken Sie auf Erstellen. Der neue Pipeline-Container wird auf der Seite SecOps-Pipelines angezeigt.
Konfigurieren Sie die Datenverarbeitungs-Containerstreams und -prozessoren in diesem Container.

Datenverarbeitungscontainer konfigurieren

Ein Datenverarbeitungscontainer definiert die Streams, die aufgenommen werden sollen, und die Prozessoren, die angewendet werden sollen, bevor die Daten das Ziel erreichen.

Konfigurieren Sie die Streams und Prozessorknoten auf der Konfigurationskarte Pipeline.

So konfigurieren Sie einen Datenverarbeitungscontainer:

Erstellen Sie eine neue Google SecOps-Pipeline, falls noch nicht geschehen.
Klicken Sie in der Bindplane-Konsole auf den Tab SecOps-Pipelines, um die Seite SecOps-Pipelines zu öffnen.
Wählen Sie die Google SecOps-Pipeline aus, in der Sie den neuen Datenverarbeitungscontainer konfigurieren möchten.
Auf der Konfigurationskarte Pipeline:
1. Stream hinzufügen
2. Konfigurieren Sie den Prozessorknoten. Informationen zum Hinzufügen eines Prozessors über die Bindplane-Konsole finden Sie unter Prozessoren konfigurieren.
Hinweis: Bei einigen benutzerdefinierten Prozessoren können Sie den OTTL-Rohcode direkt bearbeiten.
Nachdem Sie diese Konfigurationen vorgenommen haben, können Sie mit der Datenverarbeitung beginnen.

Stream hinzufügen

So fügen Sie einen Stream hinzu:

Klicken Sie auf der Konfigurationskarte Pipeline auf Hinzufügen Stream hinzufügen, um das Fenster Stream hinzufügen zu öffnen.

Geben Sie im Fenster Stream hinzufügen Details für die folgenden Felder ein:

Feld	Beschreibung
Logtyp	Wählen Sie den Protokolltyp der aufzunehmenden Daten aus. Beispiel: `CrowdStrike Falcon (CS_EDR)`. Hinweis: Ein Warnsymbol Warnung gibt an, dass der Logtyp bereits in einem anderen Stream konfiguriert ist (entweder in dieser Pipeline oder in einer anderen Pipeline in Ihrer Google SecOps-Instanz). Wenn Sie einen nicht verfügbaren Logtyp verwenden möchten, müssen Sie ihn zuerst aus der anderen Streamkonfiguration löschen. Eine Anleitung zum Suchen der Streamkonfiguration, in der der Logtyp konfiguriert ist, finden Sie unter SecOps-Pipeline-Konfigurationen filtern.
Aufnahmemethode	Wählen Sie die Aufnahmemethode aus, die für die Aufnahme der Daten für den ausgewählten Logtyp verwendet werden soll. Diese Aufnahmemethoden wurden zuvor für Ihre Google SecOps-Instanz definiert. Sie müssen eine der folgenden Optionen auswählen: Alle Aufnahmemethoden: Enthält alle Aufnahmemethoden für den ausgewählten Logtyp. Wenn Sie diese Option auswählen, können Sie keine nachfolgenden Streams hinzufügen, die bestimmte Aufnahmemethoden für denselben Logtyp verwenden. Ausnahme: Sie können andere nicht konfigurierte spezifische Aufnahmemethoden für diesen Logtyp in anderen Streams auswählen. *Spezifische* Methode zur Datenaufnahme, z. B. `Cloud Native Ingestion`, `Feed`, `Modern Chronicle Ingestion API` oder `Workspace Ingestion`.
Feed	Wenn Sie `Feed` als Aufnahmemethode auswählen, wird ein weiteres Feld mit einer Liste der verfügbaren Feeds in Ihrer Google SecOps-Instanz für den ausgewählten Logtyp angezeigt. Diese finden Sie unter Einstellungen > Datenverwaltung > Feeds. Sie müssen den entsprechenden Feed auswählen, um die Konfiguration abzuschließen. Wenn Sie Ihre verfügbaren Feeds aufrufen und verwalten möchten, gehen Sie zu Einstellungen > Datenverwaltung > Feeds. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.

Klicken Sie auf Stream hinzufügen, um den neuen Stream zu speichern.Der neue Datenstream wird sofort auf der Konfigurationskarte Pipeline angezeigt. Der Stream wird automatisch mit dem Prozessorknoten und dem Ziel von Google SecOps verbunden.

SecOps-Pipeline-Konfigurationen filtern

Über die Suchleiste auf der Seite SecOps-Pipelines können Sie Ihre Google SecOps-Pipelines (Datenverarbeitungscontainer) anhand mehrerer Konfigurationselemente filtern und finden. Sie können Pipelines filtern, indem Sie nach bestimmten Kriterien wie Logtyp, Aufnahmemethode oder Feedname suchen.

Verwenden Sie die folgende Syntax zum Filtern:

logType:value
ingestionMethod:value
feed:value

Wenn Sie beispielsweise Streamkonfigurationen mit einem bestimmten Logtyp identifizieren möchten, geben Sie in der Suchleiste logtype: ein und wählen Sie den Logtyp aus der Ergebnisliste aus.

Prozessoren konfigurieren

Ein Datenverarbeitungscontainer hat einen Prozessorknoten, der einen oder mehrere Prozessoren enthält. Jeder Prozessor bearbeitet die Streamdaten nacheinander:

Der erste Prozessor verarbeitet die Rohdaten des Streams.
Die Ausgabe des ersten Prozessors wird sofort zur Eingabe für den nächsten Prozessor in der Sequenz.
Diese Sequenz wird für alle nachfolgenden Prozessoren in der genauen Reihenfolge fortgesetzt, in der sie im Bereich Prozessoren angezeigt werden. Die Ausgabe eines Prozessors wird dabei zur Eingabe des nächsten.
Konfigurieren Sie den Prozessorknoten, indem Sie einen oder mehrere Prozessoren hinzufügen, entfernen oder die Reihenfolge ändern.

Anforderungen beim Konfigurieren des Unroll-Prozessors

Der Unroll-Prozessor kann nicht direkt mit Rohstrings arbeiten. Es ist eine strukturierte interne Objektdarstellung erforderlich, z. B. geparstes JSON, XML oder CSV.
Sie müssen einen entsprechenden Transform-Prozessor vor dem Unroll-Prozessor in Ihrer Pipeline platzieren, um die Rohlog-Nutzlast vor dem Entpacken zu parsen.
JSON-Beispiel: Wenn Sie einen rohen JSON-Nutzlaststring parsen möchten, bevor Sie Arrayelemente entpacken, fügen Sie einen Transformationsprozessor mit der OTTL-Anweisung set(body, ParseJSON(body)) ein.
Andere Formate: Für Logdaten im CSV-, XML- oder YAML-Format sind ähnliche Transformationsschritte vor dem Parsen erforderlich.

In der folgenden Tabelle sind die Prozessoren aufgeführt:

Prozessortyp	Funktion
Filter	Nach Bedingung filtern
Filter	Nach HTTP-Status filtern
Filter	Nach Messwertname filtern
Filter	Nach regulärem Ausdruck filtern
Filter	Nach Schweregrad filtern
Entfernen	Sensible Daten unkenntlich machen
Transformieren	Felder hinzufügen
Transformieren	Coalesce
Transformieren	Concat
Transformieren	Feld kopieren
Transformieren	Felder löschen
Transformieren	Marshal
Transformieren	Feld verschieben
Transformieren	CSV parsen
Transformieren	JSON parsen
Transformieren	Schlüsselwert parsen
Transformieren	Schweregradfelder parsen
Transformieren	Zeitstempel parsen
Transformieren	Mit Regex parsen
Transformieren	XML parsen
Transformieren	Felder umbenennen
Transformieren	Zeitstempel der Umschreibung
Transformieren	Aufteilen
Transformieren	Transformieren
Ausrollen	Ereignisaufteilung Teilt einen Log-Slice in mehrere einzelne Logereignisse auf

Prozessor hinzufügen

So fügen Sie einen Prozessor hinzu:

Klicken Sie auf der Konfigurationskarte Pipeline auf den Knoten Prozessor, um das Fenster Prozessoren bearbeiten zu öffnen. Das Fenster Prozessoren bearbeiten ist in die folgenden Bereiche unterteilt, die nach Datenfluss angeordnet sind:
- Eingabe (oder Quelldaten): Aktuelle eingehende Stream-Logdaten (vor der Verarbeitung)
- Konfiguration (oder Prozessorliste): Prozessoren und ihre Konfigurationen
- Ausgabe (oder Ergebnisse): Aktuelle ausgehende Ergebnisprotokolldaten (nach der Verarbeitung)
Wenn die Pipeline zuvor eingeführt wurde, werden in den Bereichen die letzten eingehenden Logdaten (vor der Verarbeitung) und die letzten ausgehenden Logdaten (nach der Verarbeitung) angezeigt.
Klicken Sie auf Prozessor hinzufügen, um die Prozessorliste aufzurufen. Die Prozessorliste ist nach Prozessortyp gruppiert. Wenn Sie die Liste organisieren und eigene Bundles hinzufügen möchten, wählen Sie einen oder mehrere Prozessoren aus und klicken Sie auf Neue Prozessorbundles hinzufügen.
Wählen Sie in der Prozessorliste einen Prozessor aus, den Sie hinzufügen möchten.
Konfigurieren Sie den Prozessor nach Bedarf.
Klicken Sie auf Speichern, um die Prozessorkonfiguration im Knoten Prozessor zu speichern.

Das System testet die neue Konfiguration sofort, indem es eine neue Stichprobe der eingehenden Streamdaten (aus dem Bereich Eingabe) verarbeitet, und zeigt die resultierenden ausgehenden Daten im Bereich Ausgabe an.

Datenverarbeitungspipeline bereitstellen

Nachdem die Stream- und Prozessorkonfigurationen abgeschlossen sind, müssen Sie die Pipeline bereitstellen, um mit der Datenverarbeitung zu beginnen:

Klicken Sie auf Roll-out starten. Dadurch wird die Datenverarbeitung sofort aktiviert und die Infrastruktur von Google beginnt mit der Verarbeitung der Daten gemäß Ihrer Konfiguration. Wenn das Roll-out erfolgreich ist, wird die Versionsnummer des Datenverarbeitungscontainers erhöht und neben der name des Containers angezeigt.

Datenverarbeitung mit API-Methoden einrichten

Als Alternative zur Bindplane-Konsole können Sie die Google SecOps-Datenpipeline-Methoden verwenden, um Ihre verarbeiteten Daten zu verwalten. Diese Datenpipeline-Methoden umfassen das Erstellen, Aktualisieren, Löschen und Auflisten von Pipelines sowie das Verknüpfen von Feeds und Logtypen mit Pipelines.

So verwenden Sie die Beispiele in diesem Abschnitt:

Ersetzen Sie die kundenspezifischen Parameter (z. B. URLs und Feed-IDs) durch Parameter, die für Ihre eigene Umgebung geeignet sind.
Fügen Sie Ihre eigene Authentifizierung ein. In diesem Abschnitt werden die Inhabertokens mit ****** entfernt.

Alle Pipelines in einer bestimmten Google SecOps-Instanz auflisten

Mit dem folgenden Befehl werden alle Pipelines in einer bestimmten Google SecOps-Instanz aufgelistet:

curl --location 'https://abc.def.googleapis.com/v123/'\
'projects/projectabc-byop/locations/us/'\
'instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/'\
'logProcessingPipelines' \
--header 'Authorization: Bearer ******'

Einfache Pipeline mit einem Prozessor erstellen

So erstellen Sie eine einfache Pipeline mit einem einzelnen Transformationsprozessor, der den Wert für ein benutzerdefiniertes Aufnahme-Label einfügt, und verknüpfen drei Quellen damit:

Führen Sie dazu diesen Befehl aus:

curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "displayName": "Example Pipeline",
    "description": "My description",
    "processors": [
        {
            "transformProcessor": {
                "statements": [
                    "set(attributes[\"labels.myLabel.value\"], \"myValue\")"
                ]
            }
        }
    ]
}'

Kopieren Sie aus der Antwort den Wert des Felds name.

Führen Sie den folgenden Befehl aus, um drei Streams (Logtyp, Logtyp mit Collector-ID und Feed) mit der Pipeline zu verknüpfen. Verwenden Sie den Wert des Felds name als {pipelineName}-Wert.

curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
    --header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "streams": [
        {
            "logType": "MICROSOFT_SENTINEL"
        },
        {
            "logType": "A10_LOAD_BALANCER",
            "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
        },
        {
            "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
        }
    ]
}'

Pipeline mit drei Prozessoren erstellen

Eine Pipeline verwendet die folgenden Prozessoren:

Filter: Filtert Logs heraus, die einer Bedingung basierend auf den Aufnahme-Labels entsprechen.
Transformieren: Fügt den Namespace-Wert ein oder aktualisiert ihn.
Entfernen: E-Mail-Adressen und Sozialversicherungsnummern werden anhand benutzerdefinierter Regex-Muster aus Protokolldaten entfernt.

So erstellen Sie eine Pipeline und verknüpfen drei Quellen damit:

Führen Sie dazu diesen Befehl aus:

curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data-raw '{
    "displayName": "My Pipeline 2",
    "description": "My description 2",
    "processors": [
        {
            "filterProcessor": {
                "logConditions": [
                    "attributes[\"labels.log_source.value\"] == \"myLogSourceToFilterOut\""
                ]
            }
        },
        {
            "transformProcessor": {
                "statements": [
                    "set(attributes[\"environment_namespace\"], \"myValue\")"
                ]
            }
        },
        {
            "redactProcessor": {
                "blockedValues": [
                    "\\b\\d{3}[- ]\\d{2}[- ]\\d{4}\\b",
                    "\\b[a-zA-Z0-9._/\\+\\-—|]+@[A-Za-z0-9\\-—|]+\\.[a-zA-Z|]{2,6}\\b"
                ],
                "allowAllKeys": true
            }
        }
    ]
}'

Kopieren Sie aus der Antwort den Wert des Felds name.

Führen Sie den folgenden Befehl aus, um drei Streams (Logtyp, Logtyp mit Collector-ID und Feed) mit der Pipeline zu verknüpfen. Verwenden Sie den Wert des Felds name als {pipelineName}-Wert.

curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
    --header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "streams": [
        {
            "logType": "MICROSOFT_SENTINEL"
        },
        {
            "logType": "A10_LOAD_BALANCER",
            "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
        },
        {
            "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
        }
    ]
}'

Fehlerbehebung

In diesem Abschnitt werden die Leistungserwartungen beschrieben und Lösungen für häufige Probleme bereitgestellt, die Sie selbst beheben können.

Latenz und Limits

Wenn Sie einen Agenten mit der Ingestion API konfigurieren, kann es bei Google SecOps-Pipelines mit geringem Volumen zu längeren Bestätigungszeiten kommen.

Die durchschnittliche Latenz kann von 700 ms auf bis zu 2 Sekunden steigen. Erhöhen Sie bei Bedarf die Zeitlimits und den Arbeitsspeicher. Die Bestätigungszeit sinkt, wenn der Datendurchsatz 4 MB überschreitet.

Validierung und Tests

Sie können sich die Details zur Datenverarbeitung in der Google SecOps-Konsole ansehen:

Alle Datenverarbeitungskonfigurationen ansehen

Rufen Sie in der Google SecOps-Konsole Einstellungen > Datenverwaltung > Datenverarbeitung auf. Dort können Sie alle konfigurierten Pipelines sehen.
Suchen Sie in der Suchleiste Eingehende Datenpipelines nach einer von Ihnen erstellten Pipeline. Sie können nach Elementen wie Pipelinename oder Komponenten suchen. In den Suchergebnissen werden die Prozessoren der Pipeline und eine Zusammenfassung ihrer Konfiguration angezeigt.
In der Pipeline-Zusammenfassung haben Sie folgende Möglichkeiten:
- Prüfen Sie die Prozessorkonfigurationen.
- Konfigurationsdetails kopieren.
- Klicken Sie auf In BindPlane öffnen, um direkt in der BindPlane-Konsole auf die Pipeline zuzugreifen und sie zu verwalten.

Konfigurierte Feeds ansehen

So rufen Sie konfigurierte Feeds in Ihrem System auf:

Rufen Sie in der Google SecOps-Konsole Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf. Auf der Seite Feeds werden alle Feeds angezeigt, die Sie in Ihrem System konfiguriert haben.
Bewegen Sie den Mauszeiger auf eine Zeile, um das Dreipunkt-Menü Mehr einzublenden. Dort können Sie die Feeddetails aufrufen, den Feed bearbeiten, deaktivieren oder löschen.
Klicken Sie auf Details ansehen, um das Detailfenster aufzurufen.
Klicken Sie auf In Bindplane öffnen, um die Streamkonfiguration für diesen Feed in der Bindplane-Konsole zu öffnen.

Details zur Datenverarbeitung für verfügbare Logtypen ansehen

So rufen Sie Details zur Datenverarbeitung auf der Seite Verfügbare Logtypen auf, auf der Sie alle verfügbaren Logtypen sehen können:

Rufen Sie in der Google SecOps-Konsole Einstellungen > Datenverwaltung > Verfügbare Logtypen auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Verfügbare Logtypen auf. Auf der Hauptseite werden alle Ihre Logtypen angezeigt.
Bewegen Sie den Mauszeiger auf die einzelnen Feedzeilen, um das Menü Mehr more_vert aufzurufen. In diesem Menü können Sie Feeddetails ansehen, bearbeiten, deaktivieren oder löschen.
Klicken Sie auf Datenverarbeitung ansehen, um die Konfiguration des Feeds aufzurufen.
Klicken Sie auf In Bindplane öffnen, um die Prozessorkonfiguration für diesen Prozessor in der Bindplane-Konsole zu öffnen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten