Panoramica sull'acquisizione dei dati

Supportata in:

Google Security Operations importa i log dei clienti, normalizza i dati e rileva gli avvisi di sicurezza. Fornisce funzionalità self-service per l'importazione dati, il rilevamento delle minacce, gli avvisi e la gestione dei casi. Google SecOps può anche ricevere avvisi da altri sistemi SIEM e analizzarli.

Panoramica dell'architettura di acquisizione dei dati

Il seguente diagramma illustra il flusso dei dati di sicurezza in Google SecOps e il modo in cui il sistema li elabora per l'analisi nell'interfaccia.

Flusso ed elaborazione dei dati in Google SecOps

Passaggi chiave dell'importazione dati

Google SecOps elabora i tuoi dati di sicurezza come segue:

  1. Recupera i dati di sicurezza da servizi cloud come Amazon S3 o Google Cloud. Google SecOps cripta questi dati in transito.
  2. Separa e archivia i dati di sicurezza criptati nel tuo account. L'accesso è limitato a te e a un numero limitato di dipendenti Google per l'assistenza, lo sviluppo e la manutenzione dei prodotti.
  3. Analizza e convalida i dati di sicurezza non elaborati, semplificandone l'elaborazione e la visualizzazione.
  4. Indicizza i dati per ricerche rapide.
  5. Archivia i dati analizzati e indicizzati nel tuo account.
  6. Offre agli utenti un accesso sicuro per cercare ed esaminare i propri dati di sicurezza.
  7. Confronta i tuoi dati di sicurezza con il database di malware di VirusTotal per identificare le corrispondenze. In Ricerca SIEM, apri la scheda Panoramica per un dominio, un hash di file o un indirizzo IP e fai clic su Contesto VT per visualizzare le informazioni di VirusTotal. Google SecOps non condivide i tuoi dati di sicurezza con VirusTotal.

Panoramica dei metodi di importazione dati

Il servizio di importazione di Google SecOps funge da gateway per tutti i dati.

Google SecOps importa i dati utilizzando i seguenti sistemi:

  • Google Cloud: Google SecOps recupera i dati direttamente dalla tua organizzazione Google Cloud , che è il metodo principale per tutti i log Google Cloud standard (ad esempio, Audit, VPC Flow, DNS e Firewall). È il modo più conveniente e performante per importare la telemetria Google Cloud in Google SecOps. Per saperne di più, consulta Importa i dati Google Cloud in Google SecOps.

  • Agente Bindplane: si tratta di un agente gestito per la raccolta dei log da ambienti e server on-premise (Windows o Linux). Bindplane è una pipeline di telemetria che può raccogliere, perfezionare ed esportare i log da qualsiasi origine in Google SecOps, offrendo quindi flessibilità nella raccolta di diversi tipi di log che non funzionano con altri metodi. Puoi utilizzarlo per i dati on-premise, come i log del firewall, i log di Windows e Linux, o per i dati cloud che vuoi pre-elaborare (ad esempio, perfezionare o filtrare) prima di importarli in Google SecOps. Puoi anche gestire questo agente utilizzando la console di gestione di Bindplane OP. Per saperne di più, consulta Utilizza l'agente Bindplane.

  • Feed di dati: i feed di dati vengono utilizzati principalmente per i log basati su cloud in cui i log di terze parti sono già aggregati in un archivio di oggetti, come Cloud Storage o Amazon S3, o quando la terza parte supporta metodi basati su "push", come il webhook. I feed di dati forniscono anche un supporto immediato per un insieme predefinito di integrazioni basate su API. Utilizza i feed di dati per i log basati su cloud, come gli EDR o qualsiasi applicazione SaaS, e per le integrazioni specifiche predefinite come API diretta. I feed di dati inviano i log direttamente al servizio di importazione di Google SecOps. Per saperne di più, consulta la documentazione sulla gestione dei feed. I feed di dati supportano righe di log di dimensioni fino a 4 MB. Puoi monitorare l'attività e gli errori del feed utilizzando Cloud Logging. Per saperne di più, consulta Analizza l'attività dei feed con Cloud Logging.

  • Metodi di importazione dell'API Chronicle: utilizza i moderni metodi di importazione dell'API Chronicle per applicazioni personalizzate, ad alto volume o sviluppate internamente che non rientrano in altri metodi. Questo metodo è leggermente più complesso da utilizzare rispetto ad altri metodi di importazione.

  • Forwarder: il forwarder di Google SecOps è deprecato, raggiungerà la fine del ciclo di vita il 1° gennaio 2027 e interromperà l'importazione dei dati il 1° aprile 2027. Google consiglia di utilizzare l'agente Bindplane.

I parser convertono i log dei sistemi dei clienti in un modello UDM (Unified Data Model). I sistemi downstream all'interno di Google SecOps utilizzano l'UDM per fornire funzionalità aggiuntive, tra cui le regole e la ricerca UDM.

Consulta Informazioni sulla disponibilità dei dati per la ricerca per i dettagli completi sul ciclo di vita dell'acquisizione dei dati, inclusi il flusso di dati end-to-end e la latenza, e su come questi fattori influiscono sulla disponibilità dei dati acquisiti di recente per le query e l'analisi.

Specifiche:

  • Durante l'importazione dei file, il formato dei contenuti del file deve corrispondere al formato previsto dall'estensione del file per importare correttamente i log.

  • I file di grandi dimensioni (5-10 GB o più) possono ritardare notevolmente l'importazione dati.

  • L'importazione supporta solo la codifica UTF-8.

Informazioni sui tempi di importazione e disponibilità dei dati

La disponibilità dei dati per l'analisi in Google SecOps dipende da diverse fasi. Per risolvere i problemi relativi ai ritardi, distingui tra i ritardi del sistema di origine e il tempo di elaborazione di Google SecOps.

  • Ritardi del sistema di origine (pre-importazione): molte origini dati presentano latenze intrinseche. I dati potrebbero non essere disponibili per la raccolta immediatamente dopo il verificarsi di un evento. Di seguito sono elencate alcune delle possibili cause:

    • Pianificazioni di elaborazione e raggruppamento in batch delle origini.
    • Tempo necessario per scrivere gli eventi nei file di log o negli endpoint API.
    • Limiti di frequenza delle richieste API.
    • La differenza tra il timestamp dell'evento e l'ora in cui il log è disponibile per l'importazione (ad esempio, createTime).
  • Ritardi nell'importazione e nell'elaborazione di Google SecOps: dopo che i dati raggiungono un punto di importazione, i seguenti passaggi possono introdurre ritardi:

    • Intervallo di raccolta: per le origini in pool (come API o bucket di archiviazione), la frequenza del feed configurata (ad esempio, ogni 5 minuti o ogni ora) determina il ritardo massimo.
    • Pipeline interna: analisi, normalizzazione, indicizzazione e arricchimento. Per saperne di più, consulta Informazioni sulla disponibilità dei dati per la ricerca.

Se riscontri ritardi, determina se la causa è l'origine o Google SecOps. Ad esempio, i log dei servizi di archiviazione blob non sono in tempo reale e dipendono dalla frequenza di polling.

Per un elenco dei tipi di log con ritardi noti lato origine, consulta il Riferimento API Feed Management.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.