Configura i parser personalizzati
Questo documento fornisce indicazioni su come creare parser specializzati per i casi in cui non è disponibile un parser predefinito o quando vuoi un maggiore controllo. I parser personalizzati vengono visualizzati nell'elenco dei parser, insieme ai parser predefiniti.
I casi d'uso comuni includono:
Importazione di dati di log per un tipo di log che non dispone di un parser predefinito.
Utilizza uno dei seguenti metodi:
Crea un parser personalizzato per saltare gli aggiornamenti del parser predefinito.
Limitazioni e operazioni non supportate
Quando crei e gestisci parser specializzati, tieni presente i seguenti limiti operativi:
- Sintassi del parser rispetto alle regole di rilevamento YARA-L: i parser di importazione e le estensioni del parser utilizzano Logstash Grok e la sintassi di configurazione con filtri (ad esempio
grok,mutate,json,dateebase64) al momento dell'importazione per analizzare i log non elaborati in Unified Data Model (UDM). I parser non possono utilizzare la sintassi YARA-L, i blocchi dei risultati o le funzioni generatore (comeyield). YARA-L 2.0 è un linguaggio di query del motore di rilevamento valutato a valle sugli eventi UDM normalizzati per gli avvisi sulle minacce e non può analizzare i log non elaborati, modificare i campi UDM o eliminare il traffico dei log in entrata. - Modello di importazione 1:1: i parser personalizzati di Google SecOps operano rigorosamente su una relazione 1:1. I parser specializzati non possono suddividere in batch, eseguire il loop o dividere una singola voce di log contenente più eventi incorporati (come array JSON o stringhe concatenate) in eventi UDM separati. Devi suddividere i payload con più eventi prima dell'importazione utilizzando pipeline di raccolta dei log come BindPlane OP, OpenTelemetry Collector, Fluent Bit o una funzione Cloud Run pre-importazione.
- Comportamento del filtro
drop {}: il filtrodrop {}in un parser sopprime solo la generazione di eventi UDM. Quando un parser ignora un log, Google SecOps non crea un record UDM e le regole di rilevamento non possono valutare l'evento. Tuttavia, Google SecOps conserva il log non elaborato originale nel repository non elaborato immutabile per la conservazione per la conformità e l'audit. Il log non elaborato rimane disponibile per la ricerca tramite Ricerca log non elaborati. Per eliminare i log prima dell'archiviazione, configura il filtro upstream nell'agente di inoltro o nel raccoglitore. - Analisi solo in avanti per impostazione predefinita: quando attivi un parser personalizzato, questo viene applicato ai log appena importati solo dal momento dell'attivazione. Se esiste un'esigenza aziendale critica per applicare mappature dei parser personalizzati ai log storici esistenti, puoi richiedere un'attività di riproduzione dei log di backend. Per saperne di più, consulta Analizza nuovamente i dati storici (riproduzione dei log).
Crea un parser personalizzato basato sulle istruzioni di mappatura
Puoi creare un parser personalizzato scrivendo un codice che converte il log non elaborato originale in un record UDM.
Letture aggiuntive:
- Per saperne di più sulla struttura di un parser, consulta Panoramica dell'analisi dei log.
- Per saperne di più sulla sintassi del parser, consulta il riferimento per la sintassi del parser.
Quando crei un parser, cerca di compilare il maggior numero possibile di campi UDM importanti.
Vai a Impostazioni > Gestione dei dati > Parser. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Parser.
Fai clic su Crea parser.
Seleziona un'origine log appropriata dall'elenco Origine log.
Seleziona Inizia solo con log non elaborati per creare un nuovo parser in base ai tuoi requisiti.
Fai clic su Crea.
Inserisci il codice nel Parser Code Terminal. Per saperne di più, consulta Crea un'istruzione di mappatura degli snippet di codice.
Nota: assicurati che la logica del parser personalizzato mappi e produca correttamente timestamp validi e aggiornati. Se un parser personalizzato mappa in modo errato i timestamp a una data al di fuori della finestra di conservazione standard, i dati vengono importati correttamente, ma non saranno ricercabili nell'interfaccia utente. Poiché le funzionalità di ricerca si basano sui timestamp degli eventi per il filtro, i dati mappati a una data errata sono di fatto invisibili nonostante l'importazione sia andata a buon fine.
(Facoltativo) Fai clic su Modifica per modificare il log non elaborato o la copia esistente.
(Facoltativo) Fai clic su Carica per caricare il log non elaborato più recente.
Fai clic su Anteprima per visualizzare l'output UDM. Se il codice non è corretto, viene visualizzato un messaggio di errore.
Nell'anteprima, puoi utilizzare il plug-in del filtro statedump per convalidare lo stato interno di un parser. Per saperne di più, consulta Convalida i dati utilizzando il plug-in statedump.
Fai clic su Convalida per convalidare il parser personalizzato.
Il processo di convalida potrebbe richiedere alcuni minuti, quindi ti consigliamo di visualizzare prima l'anteprima del parser personalizzato, apportare modifiche se necessario e poi convalidare il parser personalizzato.
Fai clic su Invia.
Il parser viene attivato per il processo di normalizzazione dopo 20 minuti.
Crea un parser personalizzato basato su un parser esistente
Utilizza un parser esistente come modello per creare un nuovo parser personalizzato. Questo metodo supporta solo l'approccio basato su codice. Per iniziare:
Vai a Impostazioni > Gestione dei dati > Parser. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Parser.
Fai clic su Crea parser.
Seleziona un'origine log appropriata dall'elenco Origine log.
Seleziona Inizia con un parser predefinito esistente per utilizzare un parser esistente come base per creare un nuovo parser personalizzato.
Fai clic su Crea.
Modifica il codice nel terminale del codice del parser. Per saperne di più, consulta Crea un'istruzione di mappatura degli snippet di codice.
(Facoltativo) Fai clic su Modifica per modificare il log non elaborato.
(Facoltativo) Fai clic su Aggiorna per aggiornare il log non elaborato.
Mentre aggiungi il codice per creare il parser, fai clic su Anteprima per visualizzare l'output UDM. Se il codice non è corretto, viene visualizzato un messaggio di errore.
Nell'anteprima, puoi utilizzare il plug-in del filtro statedump per convalidare lo stato interno di un parser. Per saperne di più, consulta Convalida i dati utilizzando il plug-in statedump.
Fai clic su Convalida per convalidare il parser personalizzato.
Il processo di convalida potrebbe richiedere alcuni minuti, quindi ti consigliamo di visualizzare prima l'anteprima del parser personalizzato, apportare modifiche se necessario e poi convalidare il parser personalizzato.
Fai clic su Invia.
Il parser viene attivato per il processo di normalizzazione dopo 20 minuti.
Rendi non attivo un parser personalizzato
Vai a Impostazioni > Gestione dei dati > Parser. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Parser.
Fai clic su Menu accanto al parser che vuoi disattivare e seleziona Disattiva dall'elenco.
Viene visualizzata la finestra di dialogo Disattiva parser.
Fai clic su Disattiva.
Il parser personalizzato viene disattivato e la versione attuale del parser predefinito viene attivata dopo 20 minuti. Il parser predefinito diventa ora il parser predefinito.
Elimina un parser personalizzato
Vai a Impostazioni > Gestione dei dati > Parser. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Parser.
Fai clic su Menu accanto al parser personalizzato che vuoi eliminare e seleziona Elimina dall'elenco. Nota: non puoi eliminare un parser predefinito.
Viene visualizzata la finestra di dialogo Elimina parser personalizzato.
Fai clic su Elimina.
Il parser personalizzato viene eliminato e la versione attuale del parser predefinito viene attivata dopo 20 minuti.
Crea un'estensione
Le estensioni del parser offrono un modo flessibile per estendere le funzionalità dei parser specializzati esistenti. Non sostituiscono i parser specializzati. Consentono invece l'estrazione senza problemi di campi aggiuntivi dal log non elaborato originale nel record UDM. Un'estensione del parser è diversa da un parser personalizzato.
Per creare un'estensione del parser, consulta Utilizza le estensioni del parser.
Stato di convalida
La colonna Convalida mostra lo stato del test di convalida per il parser personalizzato o per l'estensione del parser.
- Parser non riuscito: convalida del parser personalizzato non riuscita
- Convalida del parser superata: convalida del parser personalizzato riuscita
- Saltato: il parser personalizzato non è convalidato
- Ignorata per l'estensione: l'estensione del parser non è convalidata
Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.