Panoramica dell'estrazione automatica

Supportata in:

Google SecOps SIEM

Questo documento fornisce una panoramica di come i dati vengono estratti automaticamente per migliorare la capacità di importare, elaborare e analizzare i dati.

Google Security Operations utilizza parser predefiniti per estrarre e strutturare i dati dei log utilizzando lo schema Unified Data Model (UDM). La gestione e la manutenzione di questi parser possono essere difficili a causa di diverse limitazioni: estrazione dei dati incompleta, numero crescente di parser da gestire e necessità di aggiornamenti frequenti man mano che i formati dei log si evolvono.

Per affrontare queste sfide, puoi utilizzare la funzionalità di estrazione automatica. Questa funzionalità estrae automaticamente le coppie chiave-valore dai log in formato JSON e XML importati in Google SecOps. Supporta anche i log in formato Syslog che includono un messaggio JSON. Questi dati estratti vengono archiviati in un campo di tipo mappa UDM denominato extracted. Puoi quindi utilizzare questi dati nelle query di ricerca UDM, nelle dashboard native e nelle regole YARA-L.

Come best practice, le ricerche UDM che utilizzano i campi estratti devono includere metadata.log_type nella query per migliorare le prestazioni delle query di ricerca.

Il vantaggio dell'estrazione automatica è una minore dipendenza dai parser, che garantisce che i dati rimangano disponibili, anche quando un parser non è presente o non riesce ad analizzare un log.

Analizza ed estrai i dati dal log non elaborato

1. Analisi: Google SecOps tenta di analizzare i log utilizzando un parser specifico per il tipo di log, se disponibile. Se non esiste un parser specifico o se l'analisi non va a buon fine, Google SecOps utilizza un parser generale per estrarre informazioni di base come il timestamp di importazione, il tipo di log e le etichette dei metadati.

2. Estrazione dati: l'estrazione automatica non è attiva per impostazione predefinita. Attiva l'opzione e seleziona i campi specifici (punti dati) che vuoi estrarre dai log.

3. Arricchimento degli eventi: Google SecOps combina i dati analizzati e i campi formattati in modo personalizzato per creare eventi arricchiti, fornendo più contesto e dettagli.

4. Trasferimento di dati downstream: questi eventi arricchiti vengono poi inviati ad altri sistemi per ulteriori analisi ed elaborazioni.

Nota: il comportamento dell'estrazione automatica dipende dalla disponibilità di un parser per il tipo di log:

• Quando è presente un parser: l'estrazione automatica predefinita non viene eseguita. Devi attivare esplicitamente i campi specifici necessari, come spiegato nella sezione Utilizza gli estrattori.
• Quando non è presente un parser: l'estrazione automatica si attiva automaticamente ed estrae i primi 100 campi.

Utilizza gli estrattori

Gli estrattori consentono di estrarre i campi da tutte le origini dei log supportate e sono progettati per ottimizzare la gestione dei log. Utilizzando gli estrattori, puoi ridurre le dimensioni degli eventi, migliorare l'efficienza dell'analisi e ottenere un maggiore controllo sull'estrazione dei dati. Ciò è particolarmente utile per gestire nuovi tipi di log o ridurre al minimo i tempi di elaborazione.

Puoi creare estrattori utilizzando il menu Impostazioni o eseguendo una ricerca nei log non elaborati.

Crea estrattori

1. Vai al riquadro Estrai campi aggiuntivi utilizzando uno dei seguenti metodi:

   • Fai clic su Impostazioni > Gestione dei dati > Parser. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Parser. Procedi nel seguente modo:
     1. Nella tabella PARSER visualizzata, identifica un parser (origine log) e fai clic su Menu > Estendi parser > Estrai campi aggiuntivi.
   • Utilizza Analisi dei log non elaborati e segui questi passaggi:
     1. Seleziona le origini dei log (parser) richieste dal menu Origini dei log.
     2. Dai risultati dei log non elaborati, seleziona un'origine log per aprire il riquadro DATI EVENTO.
     3. Nel riquadro DATI EVENTO, fai clic su Gestisci parser > Estendi parser > Estrai campi aggiuntivi.
   • Utilizza la ricerca UDM e segui questi passaggi:
     1. Nella scheda EVENTI dei risultati di ricerca UDM, seleziona un'origine log per visualizzare il riquadro Visualizzatore eventi.
     2. Nella scheda Log non elaborato, fai clic su Gestisci parser > Estendi parser > Estrai campi aggiuntivi.

2. Nella scheda Seleziona estrattori del riquadro Estrai campi aggiuntivi, seleziona i campi dei log non elaborati richiesti. Per impostazione predefinita, puoi selezionare fino a 100 campi. Se non sono disponibili campi aggiuntivi per l'estrazione, viene visualizzato un avviso.

   Fai clic sulla scheda Log non elaborato di riferimento per visualizzare i dati del log non elaborato e l'anteprima dell'output UDM.

3. Fai clic su Salva.

L'estrattore appena creato è etichettato come EXTRACTOR. I campi estratti vengono visualizzati nell'output UDM come extracted.field{"fieldName"}.

Visualizza i dettagli dell'estrattore

1. Vai alla riga dell'estrattore nella tabella PARSER e fai clic su Menu > Estendi parser > Visualizza estensione.
2. Nella pagina VISUALIZZA PARSER PERSONALIZZATI, fai clic sulla scheda Estensioni e campi estratti.

In questa scheda vengono visualizzate informazioni sulle estensioni del parser e sui campi dell'estrattore. Puoi modificare o rimuovere i campi e visualizzare l'anteprima dell'output del parser dalla pagina VISUALIZZA PARSER PERSONALIZZATI.

Limitazioni

• Se le dimensioni di un evento UDM in batch superano gli 8,2 MB, i log non elaborati e tutti i campi estratti vengono eliminati.
• Se un singolo evento UDM supera i 500 kB, i campi estratti vengono eliminati.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.