Visão geral da ingestão de dados
O Google Security Operations ingere registros de clientes, normaliza os dados e detecta alertas de segurança. Ele oferece recursos de autoatendimento para ingestão de dados, detecção de ameaças, alertas e gerenciamento de casos. O Google SecOps também pode receber alertas de outros sistemas SIEM e analisá-los.
Visão geral da arquitetura de ingestão de dados
O diagrama a seguir ilustra como os dados de segurança fluem para o Google SecOps e como o sistema processa esses dados para análise na interface.

Principais etapas da ingestão de dados
O Google SecOps processa seus dados de segurança da seguinte maneira:
- Recupera dados de segurança de serviços em nuvem, como o Amazon S3 ou o Google Cloud. O Google SecOps criptografa esses dados em trânsito.
- Separa e armazena os dados de segurança criptografados na sua conta. O acesso é limitado a você e a um pequeno número de funcionários do Google para suporte, desenvolvimento e manutenção do produto.
- Analisa e valida dados de segurança brutos, facilitando o processamento e a visualização.
- Indexa os dados para pesquisas rápidas.
- Armazena os dados analisados e indexados na sua conta.
- Oferece acesso seguro para os usuários pesquisarem e analisarem os dados de segurança.
- Compara seus dados de segurança com o banco de dados de malware do VirusTotal para identificar correspondências. Na Pesquisa do SIEM, abra a guia Visão geral de um domínio, hash de arquivo ou endereço IP e clique em Contexto do VT para ver as informações do VirusTotal. O Google SecOps não compartilha seus dados de segurança com o VirusTotal.
Visão geral dos métodos de ingestão de dados
O serviço de ingestão do Google SecOps atua como um gateway para todos os dados.
O Google SecOps ingere dados usando os seguintes sistemas:
Google Cloud: o Google SecOps recupera dados diretamente da sua organização do Google Cloud , que é o método principal para todos os registros padrão do Google Cloud (por exemplo, Auditoria, Fluxo de VPC, DNS e Firewall). É a maneira mais econômica e eficiente de trazer telemetria do Google Cloud para o Google SecOps. Para mais informações, consulte Ingerir dados do Google Cloud no Google SecOps.
Agente do Bindplane: é um agente gerenciado para coletar registros de ambientes e servidores locais (Windows ou Linux). O Bindplane é um pipeline de telemetria que pode coletar, refinar e exportar registros de qualquer origem para o Google SecOps. Por isso, ele oferece flexibilidade na coleta de diferentes tipos de registros que não funcionam com outros métodos. É possível usá-lo para dados locais, como registros de firewall, registros do Windows e do Linux, ou para dados de nuvem que você quer pré-processar (por exemplo, refinar ou filtrar) antes de ingerir no Google SecOps. Também é possível gerenciar esse agente usando o console de gerenciamento do BindPlane OP. Para mais informações, consulte Usar o agente do BindPlane.
Feeds de dados: são usados principalmente para registros baseados na nuvem em que os registros de terceiros já estão agregados em um repositório de objetos, como o Cloud Storage ou o Amazon S3, ou quando o terceiro oferece suporte a métodos baseados em push, como webhook. Os feeds de dados também oferecem suporte pronto para um conjunto predefinido de integrações baseadas em API. Use feeds de dados para registros baseados na nuvem, como EDRs ou qualquer aplicativo SaaS, e para as integrações específicas predefinidas como API direta. Os feeds de dados enviam registros diretamente para o serviço de ingestão do Google SecOps. Para mais informações, consulte a documentação sobre gerenciamento de feeds. Os feeds de dados aceitam linhas de registro de até 4 MB. É possível monitorar as atividades e os erros do feed usando o Cloud Logging. Para mais informações, consulte Analisar a atividade do feed com o Cloud Logging.
Métodos de ingestão da API Chronicle: use os métodos de ingestão da API Chronicle modernos para aplicativos personalizados, de alto volume ou desenvolvidos internamente que não se encaixam em outros métodos. Esse método é um pouco mais complexo de usar do que outros métodos de ingestão.
- Encaminhadores: o encaminhador do Google SecOps foi descontinuado, vai chegar ao fim da vida útil em 1º de janeiro de 2027 e vai parar de ingerir dados em 1º de abril de 2027. O Google recomenda o uso do agente do Bindplane.
Os analisadores convertem registros de sistemas de clientes em um modelo de dados unificado (UDM). Os sistemas downstream no Google SecOps usam o UDM para fornecer recursos adicionais, incluindo regras e pesquisa de UDM.
Consulte Entender a disponibilidade de dados para pesquisa para ver todos os detalhes do ciclo de vida da ingestão de dados, incluindo o fluxo de dados e a latência de ponta a ponta, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.
Especificações:
Ao ingerir arquivos, o formato do conteúdo precisa corresponder ao formato esperado da extensão de arquivo para que os registros sejam ingeridos.
Arquivos grandes (5 a 10 GB ou mais) podem atrasar significativamente a ingestão de dados.
A ingestão só aceita codificação UTF-8.
Noções básicas sobre os tempos de ingestão e disponibilidade de dados
A disponibilidade de dados para análise no Google SecOps depende de vários estágios. Para resolver problemas de atrasos, diferencie entre atrasos do sistema de origem e o tempo de processamento do Google SecOps.
Atrasos no sistema de origem (pré-ingestão): muitas fontes de dados têm latências inerentes. Os dados podem não estar disponíveis para coleta imediatamente após um evento. Estas são as causas mais comuns:
- Programações de processamento e lote de origem.
- Tempo necessário para gravar eventos em arquivos de registro ou endpoints de API.
- Limitação de taxa de API.
- A diferença entre o carimbo de data/hora do evento e o horário em que o registro está
disponível para ingestão (por exemplo,
createTime).
Atrasos na ingestão e no processamento do Google SecOps: depois que os dados chegam a um ponto de ingestão, as etapas a seguir podem causar atrasos:
- Intervalo de coleta: para fontes agrupadas (como APIs ou buckets de armazenamento), a frequência de feed configurada (por exemplo, a cada 5 minutos ou a cada hora) dita o atraso máximo.
- Pipeline interno: análise, normalização, indexação e enriquecimento. Para mais informações, consulte Entender a disponibilidade de dados para pesquisa.
Se houver atrasos, determine se a causa é a origem ou o Google SecOps. Por exemplo, os registros de serviços de armazenamento de blobs não são em tempo real e dependem da frequência de sondagem.
Para ver uma lista de tipos de registro com atrasos conhecidos na origem, consulte a referência da API Feed Management.
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.