Présentation de l'extraction automatique

Compatible avec :

Ce document explique comment les données sont automatiquement extraites pour améliorer la capacité d'ingestion, de traitement et d'analyse des données.

Google Security Operations utilise des analyseurs prédéfinis pour extraire et structurer les données de journaux à l'aide du schéma UDM (Unified Data Model). La gestion et la maintenance de ces analyseurs peuvent s'avérer difficiles en raison de plusieurs limites : extraction incomplète des données, nombre croissant d'analyseurs à gérer et nécessité de mises à jour fréquentes à mesure que les formats de journaux évoluent.

Pour résoudre ces problèmes, vous pouvez utiliser la fonctionnalité d'extraction automatique. Cette fonctionnalité extrait automatiquement les paires clé/valeur des journaux au format JSON et XML ingérés dans Google SecOps. Il accepte également les journaux au format Syslog qui incluent un message JSON. Ces données extraites sont stockées dans un champ de type carte UDM appelé extracted. Vous pouvez ensuite utiliser ces données dans les requêtes de recherche UDM, les tableaux de bord natifs et les règles YARA-L.

Bonne pratique : les recherches UDM utilisant des champs extraits doivent inclure metadata.log_type dans leur requête pour des performances de requête de recherche améliorées.

L'extraction automatique permet de réduire la dépendance aux analyseurs, ce qui garantit que les données restent disponibles, même lorsqu'un analyseur n'est pas présent ou ne parvient pas à analyser un journal.

Analyser et extraire des données du journal brut

  1. Analyse : Google SecOps tente d'analyser les journaux à l'aide d'un analyseur spécifique au type de journal, si disponible. Si aucun analyseur spécifique n'existe ou si l'analyse échoue, Google SecOps utilise un analyseur général pour extraire des informations de base telles que le code temporel d'ingestion, le type de journal et les étiquettes de métadonnées.

  2. Extraction de données : l'extraction automatique n'est pas activée par défaut. Activez l'option et sélectionnez les champs spécifiques (points de données) que vous souhaitez extraire des journaux.

  3. Enrichissement des événements : Google SecOps combine les données analysées et tous les champs au format personnalisé pour créer des événements enrichis, fournissant ainsi plus de contexte et de détails.

  4. Transfert de données en aval : ces événements enrichis sont ensuite envoyés à d'autres systèmes pour une analyse et un traitement plus approfondis.

  • Lorsqu'un analyseur est présent : l'extraction automatique par défaut n'a pas lieu. Vous devez explicitement activer les champs spécifiques dont vous avez besoin, comme expliqué dans la section Utiliser des extracteurs.
  • En l'absence d'analyseur : l'extraction automatique se déclenche automatiquement et extrait les 100 premiers champs.

Utiliser des extracteurs

Les extracteurs vous permettent d'extraire des champs de toutes les sources de journaux compatibles et sont conçus pour optimiser la gestion des journaux. En utilisant des extracteurs, vous pouvez réduire la taille des événements, améliorer l'efficacité de l'analyse et mieux contrôler l'extraction des données. Cela est particulièrement utile pour gérer de nouveaux types de journaux ou réduire le temps de traitement.

Vous pouvez créer des extracteurs à l'aide du menu Paramètres ou en effectuant une recherche dans les journaux bruts.

Créer des extracteurs

  1. Accédez au volet Extraire des champs supplémentaires en utilisant l'une des méthodes suivantes :

    • Cliquez sur Paramètres > Gestion des données > Analyseurs. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Analyseurs. Procédez comme suit :
      1. Dans le tableau ANALYSEURS qui s'affiche, identifiez un analyseur (source de journaux), puis cliquez sur  Menu > Étendre l'analyseur > Extraire des champs supplémentaires.
    • Utilisez l'analyse des journaux bruts et procédez comme suit :
      1. Sélectionnez les sources de journaux (analyseurs) requises dans le menu Sources de journaux.
      2. Dans les résultats des journaux bruts, sélectionnez une source de journaux pour ouvrir le volet DONNÉES D'ÉVÉNEMENT.
      3. Dans le volet DONNÉES D'ÉVÉNEMENT, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.
    • Utilisez la recherche UDM et procédez comme suit :
      1. Dans l'onglet ÉVÉNEMENTS des résultats de recherche UDM, sélectionnez une source de journaux pour afficher le volet Visionneuse d'événements.
      2. Dans l'onglet Journal brut, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.

  2. Dans l'onglet Sélectionner des extracteurs du volet Extraire des champs supplémentaires, sélectionnez les champs de journaux bruts requis. Par défaut, vous pouvez sélectionner jusqu'à 100 champs. Si aucun champ supplémentaire n'est disponible pour l'extraction, un avertissement s'affiche.

    Cliquez sur l'onglet Journal brut de référence pour afficher les données de journal brutes et prévisualiser la sortie UDM.

  3. Cliquez sur Enregistrer.

L'extracteur que vous venez de créer est étiqueté EXTRACTOR. Les champs extraits sont affichés dans la sortie UDM sous la forme extracted.field{"fieldName"}.

Afficher les détails de l'extracteur

  1. Accédez à la ligne de l'extracteur dans le tableau PARSERS, puis cliquez sur  Menu > Extend Parser (Étendre l'analyseur) > View Extension (Afficher l'extension).
  2. Sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS, cliquez sur l'onglet Extensions et champs extraits.

Cet onglet affiche des informations sur les extensions d'analyseur et les champs d'extracteur. Vous pouvez modifier ou supprimer des champs, et prévisualiser le résultat de l'analyseur sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS.

Limites

  • Si la taille d'un événement UDM par lot dépasse 8,2 Mo, les journaux bruts et tous les champs extraits sont supprimés.
  • Si un seul événement UDM dépasse 500 Ko, les champs extraits sont supprimés.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.