Visão geral da extração automática

Compatível com:

Neste documento, apresentamos uma visão geral de como os dados são extraídos automaticamente para melhorar a capacidade de ingestão, processamento e análise de dados.

O Google Security Operations usa analisadores pré-criados para extrair e estruturar dados de registro usando o esquema do modelo de dados unificado (UDM, na sigla em inglês). Gerenciar e manter esses analisadores pode ser um desafio devido a várias limitações: extração de dados incompleta, o número crescente de analisadores para gerenciar e a necessidade de atualizações frequentes à medida que os formatos de registro evoluem.

Para resolver esses desafios, use o recurso de extração automática. Esse recurso extrai automaticamente pares de chave-valor de registros em formato JSON e XML ingeridos no Google SecOps. Ele também é compatível com registros formatados em Syslog que incluem uma mensagem JSON. Esses dados extraídos são armazenados em um campo do tipo mapa do UDM chamado extracted. Em seguida, use esses dados em consultas de pesquisa do UDM, painéis nativos e regras YARA-L.

Como prática recomendada, as pesquisas de UDM que usam campos extraídos precisam incluir metadata.log_type na consulta para melhorar o desempenho da consulta de pesquisa.

O benefício da extração automática é a menor dependência de analisadores, o que garante que os dados permaneçam disponíveis, mesmo quando um analisador não está presente ou não consegue analisar um registro.

Analisar e extrair dados do registro bruto

  1. Análise: o Google SecOps tenta analisar os registros usando um analisador específico para o tipo de registro, se disponível. Se não houver um analisador específico ou se a análise falhar, o Google SecOps vai usar um analisador geral para extrair informações básicas, como carimbo de data/hora de ingestão, tipo de registro e rótulos de metadados.

  2. Extração de dados: a extração automática não está ativada por padrão. Ative e selecione os campos específicos (pontos de dados) que você quer extrair dos registros.

  3. Enriquecimento de eventos: o Google SecOps combina os dados analisados e todos os campos com formatação personalizada para criar eventos enriquecidos, fornecendo mais contexto e detalhes.

  4. Transferência de dados downstream: esses eventos enriquecidos são enviados para outros sistemas para análise e processamento adicionais.

  • Quando há um analisador: a extração automática padrão não ocorre. É necessário ativar explicitamente os campos específicos necessários, conforme explicado na seção Trabalhar com extratores.
  • Quando não há um analisador: a extração automática é iniciada e extrai os primeiros 100 campos.

Trabalhar com extratores

Os extratores permitem extrair campos de todas as fontes de registro compatíveis e são projetados para otimizar o gerenciamento de registros. Ao usar extratores, é possível reduzir o tamanho do evento, melhorar a eficiência da análise e ter mais controle sobre a extração de dados. Isso é útil principalmente para gerenciar novos tipos de registro ou minimizar o tempo de processamento.

É possível criar extratores usando o menu Configurações ou realizando uma pesquisa de registro bruto.

Criar extratores

  1. Acesse o painel Extrair campos adicionais usando um dos seguintes métodos:

    • Clique em Configurações > Gerenciamento de dados > Analisadores. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Analisadores. Faça o seguinte:
      1. Na tabela PARSERS que aparece, identifique um analisador (fonte de registro) e clique em Menu > Estender analisador > Extrair campos adicionais.
    • Use a Verificação de registro bruto e faça o seguinte:
      1. Selecione as fontes de registro (analisadores) necessárias no menu Fontes de registro.
      2. Nos resultados do registro bruto, selecione uma fonte de registro para abrir o painel DADOS DE EVENTOS.
      3. No painel DADOS DE EVENTOS, clique em Gerenciar analisador > Estender analisador > Extrair campos adicionais.
    • Use a pesquisa do UDM e faça o seguinte:
      1. Na guia EVENTOS nos resultados da pesquisa de UDM, selecione uma fonte de registro para visualizar o painel Visualizador de eventos.
      2. Na guia Registro bruto, clique em Gerenciar analisador > Estender analisador > Extrair campos adicionais.

  2. Na guia Selecionar extratores do painel Extrair campos adicionais, selecione os campos de registro brutos necessários. Por padrão, é possível selecionar até 100 campos. Se não houver mais campos disponíveis para extração, um aviso será exibido.

    Clique na guia Registro bruto de referência para ver os dados de registro brutos e uma prévia da saída do UDM.

  3. Clique em Salvar.

O extrator recém-criado é rotulado como EXTRACTOR. Os campos extraídos são exibidos na saída do UDM como extracted.field{"fieldName"}.

Ver detalhes do extrator

  1. Acesse a linha do extrator na tabela PARSERS e clique em Menu > Estender analisador > Ver extensão.
  2. Na página VER ANALISADORES PERSONALIZADOS, clique na guia Extensões e campos extraídos.

Essa guia mostra informações sobre extensões de analisador e campos de extrator. É possível modificar ou remover campos e visualizar a saída do analisador na página VER ANALISADORES PERSONALIZADOS.

Limitações

  • Se o tamanho de um evento de UDM em lote exceder 8,2 MB, os registros brutos e todos os campos extraídos serão descartados.
  • Se um único evento de UDM exceder 500 KB, os campos extraídos serão descartados.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.