Présentation de l'extraction automatique

Compatible avec :

Ce document présente la façon dont les données sont extraites automatiquement pour améliorer la capacité à ingérer, traiter et analyser les données.

Google Security Operations utilise des analyseurs prédéfinis pour extraire et structurer les données de journaux à l'aide du schéma UDM (Unified Data Model). La gestion et la maintenance de ces analyseurs peuvent s'avérer difficiles en raison de plusieurs limites : extraction de données incomplète, nombre croissant d'analyseurs à gérer et nécessité de mises à jour fréquentes à mesure que les formats de journaux évoluent.

Pour relever ces défis, vous pouvez utiliser la fonctionnalité d'extraction automatique. Cette fonctionnalité extrait automatiquement les paires clé/valeur des journaux au format JSON et XML ingérés dans Google SecOps. Il est également compatible avec les journaux au format Syslog qui incluent un message JSON. Ces données extraites sont stockées dans un champ UDM de type map appelé extracted. Vous pouvez ensuite utiliser ces données dans les requêtes de recherche UDM, les tableaux de bord natifs et les règles YARA-L.

Bonne pratique : les recherches UDM utilisant des champs extraits doivent inclure metadata.log_type dans leur requête pour des performances de requête de recherche améliorées.

L'avantage de l'extraction automatique est qu'elle réduit la dépendance aux analyseurs, ce qui garantit que les données restent disponibles, même lorsqu'un analyseur est absent ou ne parvient pas à analyser un journal.

Analyser et extraire des données du journal brut

  1. Analyse : Google SecOps tente d'analyser les journaux à l'aide d'un analyseur spécifique au type de journal, le cas échéant. Si aucun analyseur spécifique n'existe ou si l'analyse échoue, Google SecOps utilise un analyseur général pour extraire des informations de base telles que le code temporel d'ingestion, le type de journal et les libellés de métadonnées.

  2. Extraction de données : l'extraction automatique n'est pas activée par défaut. Activez l'option et sélectionnez les champs (points de données) spécifiques que vous souhaitez extraire des journaux.

  3. Enrichissement des événements : Google SecOps combine les données analysées et tous les champs au format personnalisé pour créer des événements enrichis, ce qui fournit plus de contexte et de détails.

  4. Transfert de données en aval : ces événements enrichis sont ensuite envoyés à d'autres systèmes pour une analyse et un traitement plus poussés.

  • Lorsqu'un analyseur est disponible : l'extraction automatique par défaut ne se produit pas. Vous devez activer explicitement les champs spécifiques dont vous avez besoin, comme expliqué dans la section Utiliser des extracteurs.
  • En l'absence d'analyseur : l'extraction automatique se déclenche automatiquement et extrait les 100 premiers champs.

Utiliser des extracteurs

Les extracteurs vous permettent d'extraire des champs de toutes les sources de journaux compatibles. Ils sont conçus pour optimiser la gestion des journaux. Les extracteurs vous permettent de réduire la taille des événements, d'améliorer l'efficacité de l'analyse et de mieux contrôler l'extraction des données. Cela est particulièrement utile pour gérer de nouveaux types de journaux ou minimiser le temps de traitement.

Vous pouvez créer des extracteurs à l'aide du menu Paramètres SIEM ou en effectuant une recherche de journaux bruts.

Créer des extracteurs

  1. Accédez au volet Extraire des champs supplémentaires à l'aide de l'une des méthodes suivantes :

    • Cliquez sur Paramètres du SIEM > Analyseurs, puis procédez comme suit :
      1. Dans le tableau ANALYSERS qui s'affiche, identifiez un analyseur (source du journal), puis cliquez sur Menu > Extend Parser > Extract Additional Fields.
    • Utilisez Analyser le journal brut et procédez comme suit :
      1. Sélectionnez les sources de journaux (analyseurs) requises dans le menu Sources de journaux.
      2. Dans les résultats bruts du journal, sélectionnez une source de journal pour ouvrir le volet DONNÉES D'ÉVÉNEMENT.
      3. Dans le volet DONNÉES D'ÉVÉNEMENT, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.
    • Utilisez la recherche UDM et procédez comme suit :
      1. Dans l'onglet ÉVÉNEMENTS des résultats de recherche UDM, sélectionnez une source de journaux pour afficher le volet Observateur d'événements.
      2. Dans l'onglet Journal brut, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.

  2. Dans l'onglet Sélectionner des extracteurs du volet Extraire des champs supplémentaires, sélectionnez les champs de journaux bruts requis. Par défaut, vous pouvez sélectionner jusqu'à 100 champs. Si aucun champ supplémentaire n'est disponible pour l'extraction, un message d'avertissement s'affiche.

    Cliquez sur l'onglet Journal brut de référence pour afficher les données brutes du journal et prévisualiser la sortie UDM.

  3. Cliquez sur Enregistrer.

L'extracteur que vous venez de créer est intitulé EXTRACTOR. Les champs extraits sont affichés dans la sortie UDM sous la forme extracted.field{"fieldName"}.

Afficher les détails de l'extracteur

  1. Accédez à la ligne de l'extracteur dans le tableau ANALYSERS, puis cliquez sur Menu > Extend Parser > View Extension.
  2. Sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS, cliquez sur l'onglet Extensions et champs extraits.

Cet onglet affiche des informations sur les extensions de l'analyseur et les champs de l'extracteur. Vous pouvez modifier ou supprimer des champs, et prévisualiser la sortie de l'analyseur sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS.

Limites

  • Si la taille d'un événement UDM par lot dépasse 8,2 Mo, les journaux bruts et tous les champs extraits sont supprimés.
  • Si un événement UDM unique dépasse 500 Ko, les champs extraits sont supprimés.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.