Exporter vers un projet BigQuery autogéré

Compatible avec :

Google Security Operations vous permet d'exporter des données du modèle de données unifié (UDM) vers un projet autogéré que vous possédez et gérez. Vous pouvez associer votre propre projet Google Cloud à votre instance Google SecOps et gérer indépendamment les autorisations IAM sans dépendre des paramètres gérés par Google. Vous pouvez également activer et configurer la fonctionnalité Bring Your Own BigQuery (BYOBQ) en sélectionnant Paramètres > Gestion des données > Exportation de données.

Google SecOps exporte les catégories de données suivantes vers votre projet BigQuery :

  • udm_events : données de journal normalisées dans le schéma UDM.
  • udm_events_aggregates : données agrégées résumées par heure d'événements normalisés.
  • entity_graph : le graphique d'entités comporte trois dimensions (données contextuelles, données dérivées et contexte global). Toutes les données contextuelles et dérivées, ainsi qu'une partie des données de contexte global, sont des données écrites et stockées au format UDM.
  • rule_detections : détections renvoyées par les règles exécutées dans Google SecOps.
  • ioc_matches : correspondances d'IOC trouvées dans les événements UDM.
  • ingestion_metrics : métriques liées au pipeline d'ingestion et de normalisation (exportées par défaut).
  • udm_enum_value_to_name_mapping : mappe les valeurs d'énumération aux noms de champs UDM (exportés par défaut).
  • entity_enum_value_to_name_mapping : mappe les valeurs d'énumération aux noms de champs d'entité (exportés par défaut).

Durée de conservation

Si vous êtes un client existant, la durée de conservation que vous définissez détermine combien de temps les données exportées pour votre BigQuery restent dans votre projet géré par Google.

La période de conservation commence à la date de l'enregistrement exporté le plus ancien. Vous pouvez configurer une durée de conservation distincte pour chaque source de données, jusqu'à un maximum correspondant à la durée de conservation par défaut des journaux dans Google SecOps.

Si aucune durée de conservation n'est spécifiée, le comportement par défaut consiste à continuer d'exporter les données sans nettoyage ni suppression pour limiter la durée de conservation.

Dans ce cas, vous pouvez définir la durée de conservation sur Illimitée :

  • Cliquez sur Paramètres > Gestion des données > Exportation de données.
  • Dans la colonne Durée de conservation du tableau Exportation de données, sélectionnez Illimitée dans la liste pour le type de données concerné.

Vous pouvez ensuite configurer une règle de cycle de vie des objets dans votre bucket de stockage Google Cloud pour supprimer des objets si nécessaire.

Migration de données pour les clients existants

Si vous êtes un client existant, vos données du projet existant géré par Google ne sont pas migrées vers le projet autogéré. Comme les données ne sont pas migrées, elles se trouvent dans deux projets distincts. Pour interroger les données sur une période incluant la date d'activation du projet autogéré, vous devez effectuer l'une des actions suivantes :

  • Utilisez une seule requête qui joint les données des deux projets.
  • Exécutez deux requêtes distinctes sur les projets respectifs, l'une pour les données antérieures à la date d'activation du projet autogéré et l'autre pour les données postérieures. Lorsque la période de conservation de votre projet géré par Google expire, ces données sont supprimées. Vous ne pouvez interroger que les données qui se trouvent dans votre projet Google Cloudaprès ce point.

Autorisations requises pour exporter des données

Pour accéder à vos données BigQuery, exécutez vos requêtes dans BigQuery. Attribuez les rôles IAM suivants à tout utilisateur ayant besoin d'un accès :

Lancer l'exportation de données BigQuery vers votre projet autogéré

  1. Créez un projet Google Cloud dans lequel vous souhaitez exporter vos données. Pour en savoir plus, consultez Configurer un projet Google Cloud pour Google SecOps.

  2. Associez votre projet autogéré à votre instance Google SecOps pour établir une connexion entre Google SecOps et votre projet autogéré. Pour en savoir plus, consultez Associer Google Security Operations aux services Google Cloud . Vous pouvez également activer et configurer la fonctionnalité Bring Your Own BigQuery (BYOBQ) en sélectionnant Paramètres > Gestion des données > Exportation des données.

  3. Pour vérifier que les données sont exportées vers votre projet autogéré, vérifiez les tables de l'ensemble de données datalake dans BigQuery.

Vous pouvez écrire des requêtes ad hoc sur les données Google SecOps stockées dans des tables BigQuery. Vous pouvez également créer des analyses plus avancées à l'aide d'autres outils tiers qui s'intègrent à BigQuery.

Toutes les ressources créées dans votre projet Google Cloud autogéré pour activer les exportations, y compris le bucket Cloud Storage et les tables BigQuery, se trouvent dans la même région que Google SecOps.

Si vous obtenez une erreur de type Unrecognized name: <field_name> at [<some_number>:<some_number>] lorsque vous interrogez BigQuery, cela signifie que le champ auquel vous essayez d'accéder ne se trouve pas dans votre ensemble de données et que votre schéma est généré de manière dynamique pendant le processus d'exportation.

Pour en savoir plus sur les données Google SecOps dans BigQuery, consultez Données Google SecOps dans BigQuery.

Utilisez les méthodes d'API décrites dans les sections suivantes pour accéder aux configurations d'exportation et gérer la façon dont vos données sont envoyées à BigQuery :

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.