Ottimizza il volume di importazione
Questa guida spiega come ottimizzare il volume di importazione concentrandosi sulla configurazione delle pipeline di trattamento dati di Google Security Operations. Questa funzionalità offre un modo unificato per filtrare, trasformare e oscurare i dati prima che vengano completamente importati, indipendentemente dalla loro origine. Questo metodo migliora la qualità dei dati e l'efficienza del rilevamento delle minacce.
La guida è rivolta a security engineer, analisti di Google SecOps e amministratori cloud che gestiscono l'importazione dei log in Google SecOps.
L'importazione di enormi volumi di log non filtrati può mettere a dura prova il budget e le risorse. Ciò comporta un aumento dei costi, funzionalità di ricerca e analisi più lente e una maggiore probabilità che gli analisti della sicurezza non rilevino avvisi critici in un flusso di dati irrilevanti. Un filtro efficace è fondamentale per un deployment di Google SecOps efficiente e conveniente.
Prima di iniziare
Assicurati di avere o fare quanto segue:
- Un ruolo Identity and Access Management (IAM): il ruolo predefinito dell'API Chronicle
Admin(roles/chronicle.admin) o un ruolo personalizzato contenente una di queste autorizzazioni:chronicle.logProcessingPipelines.*chronicle.logTypes.getchronicle.logTypes.listchronicle.feeds.getchronicle.feeds.listchronicle.logs.list
- Versione di Bindplane: è necessaria la versione 1.96.4 o successiva della console Bindplane Server.
- Per Bindplane Cloud, la federazione delle identità per i workload (WIF) è supportata per l'autenticazione. I deployment Bindplane in hosting autonomo richiedono le credenziali della chiave JSON del service account.
- Accesso alla console di gestione Bindplane o alle API Google SecOps Data Pipeline per configurare i nodi del processore.
- Identifica i campi, i tipi di log e le condizioni precisi necessari per configurare i processori di filtro, trasformazione e oscuramento per la riduzione del volume.
- Definisci gli input degli stream della pipeline abbinando i tipi di log, gli ID raccoglitore (per le origini Bindplane) o i nomi dei feed (per i feed di dati) specifici associati ai metodi di importazione.
- Se stai importando i log Google Cloud , definisci i filtri di esportazione di Logging richiesti per implementare il filtro upstream per il massimo risparmio sui costi prima che i dati raggiungano la pipeline di SecOps.
- Comprendi i dati dei log:
- Identifica i log con volume elevato o valore basso: analizza le metriche di importazione attuali per individuare i tipi e le origini di log che contribuiscono maggiormente al volume e ai costi. Per saperne di più, consulta la panoramica delle metriche di importazione.
- Determina i criteri di filtro: determina i campi, i valori, i pattern (regex) o le condizioni specifici che identificano in modo affidabile i log da eliminare, trasformare o oscurare.
- Conosci i metodi di importazione: scopri come viene importata ogni origine log di destinazione (diretta, Bindplane, feed, API), poiché ciò influisce sulla configurazione dello stream della pipeline.
Terminologia chiave
- Pipeline di trattamento dati: una funzionalità utilizzata per filtrare, trasformare e oscurare i dati di log man mano che arrivano, prima che vengano archiviati e indicizzati.
- Filtro/filtraggio: la funzionalità principale per l'ottimizzazione del volume, che definisce le condizioni per eliminare in modo selettivo gli eventi non necessari per l'analisi della sicurezza.
- Trasformazione: una funzionalità utilizzata per modificare i formati dei log per una migliore usabilità, ad esempio rimuovendo i nomi di dominio completi (FQDN) o eliminando i campi dettagliati all'interno degli eventi.
- Redact: una funzionalità per mascherare o rimuovere completamente le informazioni sensibili dai log prima che vengano archiviati, contribuendo alla conformità e alla privacy.
- Agente Bindplane: un metodo di importazione per i log raccolti da sistemi on-premise o altri sistemi cloud.
- Feed: un metodo di importazione per i dati provenienti da origini come Cloud Storage, Amazon S3 o API di terze parti.
- API di importazione: un metodo per inviare dati di log personalizzati, che consente il filtro lato server utilizzando pipeline di trattamento dati.
- Filtro upstream: la best practice consigliata per filtrare i log Google Cloud alla fonte utilizzando i filtri di esportazione di Logging per un risparmio sui costi ottimale.
- Stream: un flusso di dati specifico, definito dal tipo di log e dall'origine di importazione (come un feed o un'API), che funge da input per una pipeline di trattamento dati.
- Nodo del processore: un componente all'interno di una pipeline che contiene uno o più processori (azioni di filtro, trasformazione o oscuramento) che manipolano i dati in sequenza.
- Destinazione: l'endpoint della pipeline di trattamento dati, in genere l'istanza Google SecOps in cui i dati trattati vengono inviati per l'importazione e l'analisi finali.
Utilizza le pipeline di trattamento dati per l'ottimizzazione
Le pipeline di trattamento dati in Google SecOps offrono un controllo efficace e pre-analisi sul processo di importazione dati. Consentono di definire regole e azioni che vengono applicate ai log man mano che arrivano, prima che vengano archiviati e indicizzati. Per saperne di più, consulta Configura e gestisci le pipeline di trattamento dati.
Funzionalità principali
- Filtro: questo è l'aspetto principale per l'ottimizzazione del volume. Puoi definire condizioni utilizzando contenuti dei log non elaborati, attributi o espressioni regolari per eliminare in modo selettivo gli eventi non necessari per l'analisi della sicurezza. Questo è fondamentale per ridurre il rumore e i costi.
- Trasformazione: modifica i formati dei log per una migliore usabilità o per rimuovere i dati non necessari all'interno degli eventi. Ad esempio, rimuovendo gli FQDN dai nomi host, analizzando e ristrutturando i payload JSON o eliminando i campi dettagliati ma irrilevanti.
- Oscuramento: maschera o rimuovi completamente le informazioni sensibili, come le informazioni che consentono l'identificazione personale (PII), dai log prima che vengano archiviati, per garantire la conformità e i requisiti di privacy.
Applicabilità universale
Un vantaggio fondamentale delle pipeline di trattamento dati è che possono essere applicate ai dati provenienti da qualsiasi metodo di importazione. In questo modo, viene fornito un livello di filtro coerente per:
- Log integrati diGoogle Cloud
- Log raccolti utilizzando l'agente Bindplane
- Dati importati tramite i feed
- Log personalizzati inviati tramite le API di importazione
Per saperne di più, consulta la sezione Strategie di filtro specifiche per i metodi di questa guida.
Implementa i filtri con le pipeline di trattamento dati
Passaggio 1: configura la pipeline
Puoi configurare e gestire le pipeline di trattamento dati tramite la console di gestione di Bindplane o utilizzando le API pubbliche della pipeline di dati di Google SecOps. Consentono di definire stream (input), configurare nodi del processore (Filtra, Trasforma, Oscura) e gestire il deployment della pipeline.
Per istruzioni complete sulla configurazione, consulta Configura e gestisci le pipeline di trattamento dati.
Passaggio 2: configura i processori per il filtro
All'interno di una pipeline, puoi aggiungere processori a un nodo. Per ridurre il volume, devi utilizzare principalmente i processori di filtro. Puoi configurare questi processori in modo che eliminino i log in base a condizioni o espressioni regolari. Puoi configurare condizioni e istruzioni personalizzate della pipeline utilizzando la sintassi OTTL (OpenTelemetry Transformation Language).
- Condizioni: valutazione di campi o attributi nei dati di log.
- Espressioni regolari: pattern di corrispondenza all'interno del messaggio di log non elaborato.
- Esempio di OTTL: un esempio di istruzione è
set(attributes["labels.myLabel.value"], "myValue").
Sebbene il filtro sia fondamentale, puoi anche prendere in considerazione l'utilizzo di processori di trasformazione per rimuovere campi di grandi dimensioni non necessari dai log che conservi e utilizzare processori di oscuramento per annullare i dati sensibili.
Passaggio 3: strategie di filtro specifiche per il metodo
Le sezioni seguenti spiegano come approcciare il filtraggio con le pipeline di trattamento dati per ogni tipo di importazione principale.
Google Cloud log
Filtro upstream (best practice consigliata): per un risparmio sui costi ottimale, Google consiglia di filtrare i log Google Cloud all'origine utilizzando i filtri di esportazione di Cloud Logging. In questo modo, si evita l'invio di log indesiderati a Google SecOps. Se necessario, puoi utilizzare le pipeline di trattamento dati per un ulteriore filtro. Per saperne di più, consulta la guida all'importazione dei dati Google Cloud , in particolare la sezione Personalizza le impostazioni del filtro di esportazione.
Applicazione della pipeline: configura una pipeline di trattamento dati, selezionando il tipo di log e il metodo di importazione appropriati Google Cloud , Diretto o Cloud Native. Definisci i processori di filtri per eliminare i log indesiderati in base ai contenuti.
Agente Bindplane
I log raccolti dall'agente Bindplane, dai sistemi on-premise o da altri sistemi cloud, possono essere filtrati utilizzando una pipeline di trattamento dati. Configura lo stream in modo che corrisponda ai tipi di log e agli ID raccoglitore associati alle tue origini Bindplane. Per saperne di più, consulta Utilizza Bindplane con Google SecOps.
Feed di dati
Per i dati acquisiti utilizzando i feed (ad esempio da Cloud Storage, Amazon S3 o API di terze parti), puoi applicare i filtri della pipeline di trattamento dati selezionando il nome del feed e il tipo di log durante la configurazione dello stream della pipeline. Per saperne di più, consulta la guida Utilizza i feed.
Metodi di importazione dell'API Chronicle
Se invii dati utilizzando i metodi di importazione dell'API Chronicle, puoi comunque sfruttare le pipeline di trattamento dati. Configura lo stream della pipeline in modo che corrisponda al tipo di log che utilizzi nelle chiamate API. In questo modo è possibile filtrare i flussi di log personalizzati lato server. Per saperne di più, consulta la guida Metodi di importazione dell'API Chronicle.
Best practice
- Filtra a monte, se possibile: come indicato per Google Cloud, filtra sempre i log il più vicino possibile alla sorgente. Questo è l'approccio più conveniente, in quanto riduce l'overhead di trasferimento ed elaborazione dei dati.
- Sii specifico: inizia con filtri ristretti e ben definiti per escludere i log noti di volume elevato e di basso valore. Evita filtri troppo ampi che potrebbero eliminare accidentalmente dati utili.
- Ripeti e perfeziona: verifica regolarmente l'efficacia dei filtri. Stanno rilevando gli eventi giusti? Ci sono nuovi rumori che devono essere filtrati?
- Documenta i filtri: tieni un registro dei filtri attivi e del motivo per cui sono stati applicati, soprattutto per le espressioni regolari o la logica condizionale complesse.
Verifica e test
- Test: devi testare i filtri in un ambiente di produzione o con un piccolo sottoinsieme di dati.
- Convalida i filtri: utilizza le funzionalità di test nell'editor della pipeline della console Bindplane. In questo modo puoi inserire log di esempio e visualizzare l'output dopo l'applicazione dei processori, confermando che i filtri funzionano come previsto.
- Monitora l'importazione: dopo aver eseguito il deployment delle pipeline, monitora le dashboard di importazione in Google SecOps per osservare l'impatto sul volume dei dati e sui costi. Per saperne di più, consulta la panoramica delle metriche di importazione.
- Visualizza le configurazioni: puoi visualizzare tutte le configurazioni nell'interfaccia utente di Google SecOps in Impostazioni > Gestione dei dati > Trattamento dati.
- Gestione esterna: puoi cercare le configurazioni e fare clic su "Apri in Bindplane" per passare direttamente alla console Bindplane per la gestione avanzata.
Limitazioni
- Limiti del servizio: espressioni regolari troppo complesse o un numero elevato di processori per pipeline possono influire sulle prestazioni o essere soggetti a limiti. Controlla i limiti di Google SecOps in Limiti del servizio.
- Pacchetti Google SecOps: assicurati di conoscere le funzionalità e le capacità del tuo pacchetto Google SecOps. Per saperne di più, consulta i pacchetti Google SecOps.
- Riutilizzabilità: sebbene sia potente, una configurazione della pipeline per un tipo o un'origine di log potrebbe non essere direttamente riutilizzabile per un'altra senza modifiche.
- Numero massimo di processori: definisci un massimo di 10 processori per pipeline.
- Prestazioni delle espressioni regolari: evita un numero eccessivo di corrispondenze di espressioni regolari, in quanto ciò può causare errori di creazione o deployment della pipeline a causa di timeout. Preferisci l'analisi dei dati in JSON e il filtro in base a campi specifici.
- Vincolo di associazione degli stream: sebbene sia possibile creare pipeline diverse per feed diversi dello stesso tipo di log, la stessa definizione di stream (ad esempio, lo stesso feed o lo stesso tipo di log catch-all) non può essere associata a più di una pipeline attiva. L'impostazione di un tipo di log su Tutti i metodi di importazione funge da catch-all e impedisce la configurazione di altre pipeline per feed specifici di quel tipo di log.
Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.