Présentation du stockage Google Cloud Observability

Google Cloud Observability stocke et organise les données de télémétrie de Cloud Logging, Cloud Monitoring et Cloud Trace dans des conteneurs de stockage structurés. Comprendre le modèle de stockage vous aide à configurer la résidence des données, à appliquer des règles de chiffrement et à connecter la télémétrie à des services d'analyse tels que BigQuery.

Données des journaux

Les données de journaux résident dans des buckets de journaux, qui sont les conteneurs utilisés par Logging pour stocker vos données de journaux. Lorsque le système crée un projet, un compte de facturation, un dossier ou une organisationGoogle Cloud , Cloud Logging crée des buckets de journaux nommés _Required et _Default dans la ressource :

Par défaut, les données de journal résident dans le projet, le compte de facturation, le dossier ou l'organisation Google Cloud d'où proviennent les données. Toutefois, vous pouvez configurer Logging pour acheminer les données de journal de la ressource d'origine vers un autre emplacement, tel qu'un autre projet ou un bucket de journaux centralisé. Pour en savoir plus, consultez Stocker des entrées de journal et Acheminer des entrées de journal.

Cloud Logging vous permet de régionaliser vos données de journaux :

  • Les règles d'administration peuvent limiter les emplacements des nouveaux buckets de journaux et exiger que les buckets de journaux utilisent des CMEK.

  • Pour les organisations et les dossiers, les paramètres de ressources par défaut de Cloud Logging vous permettent de configurer les éléments suivants :

    • Emplacement des nouveaux buckets de journaux _Required et _Default
    • Clé Cloud Key Management Service pour chiffrer vos données de journal
    • Configuration du récepteur par défaut

    Les descendants dans la hiérarchie des ressources héritent automatiquement de ces paramètres, sauf s'ils configurent également des paramètres de ressources par défaut. Par exemple, si vous configurez des paramètres de ressources par défaut pour Cloud Logging pour une organisation, tous les dossiers et projets de la hiérarchie des ressources de l'organisation héritent automatiquement de ces paramètres. Toutefois, si vous définissez les paramètres de ressources par défaut pour Cloud Logging pour un dossier de cette organisation, les paramètres au niveau du dossier sont utilisés.

    Les paramètres de ressources par défaut pour Cloud Logging ne s'appliquent qu'aux nouvelles ressources, et non aux ressources existantes. Pour en savoir plus, consultez Configurer les paramètres de ressources par défaut pour Cloud Logging.

Données de métriques

Les données de métriques résident dans le projet Google Cloud d'où elles proviennent.

Pour en savoir plus sur les règles de stockage, consultez Résidence des données pour Monitoring.

Données de trace

Les données de trace sont stockées dans un ensemble de données géré par le bucket d'observabilité nommé _Trace. Pour contenir l'ensemble de données, le bucket _Trace doit exister. Le bucket _Trace peut être créé automatiquement ou manuellement :

  • Création automatique : le système crée automatiquement le bucket lorsqu'il reçoit des données de trace d'une application ou d'un service Google Cloud . Le système utilise les paramètres par défaut applicables aux buckets d'observabilité pour déterminer l'emplacement et la clé de chiffrement du bucket. Si vous n'avez pas défini de paramètres par défaut, le système sélectionne un emplacement compatible et le bucket utilise le chiffrement par défaut de Google.

    Les données de trace générées par Cloud Run Functions, Cloud Run et App Engine n'entraînent pas la création du bucket d'observabilité par le système. Les segments de ces services ne sont stockés que lorsque le bucket d'observabilité existe.

  • Création manuelle : vous pouvez utiliser l'API Observability pour créer le bucket _Trace avant que votre projet Google Cloud ne reçoive des données de trace. Vous devez indiquer l'emplacement du bucket. Vous pouvez fournir une clé Cloud Key Management Service :

    • Si vous fournissez une clé, le système l'utilise pour chiffrer les données stockées.
    • Si vous ne fournissez pas de clé Cloud KMS, les paramètres par défaut qui s'appliquent à la ressource parente du bucket déterminent la clé de chiffrement. Si les paramètres par défaut spécifient une clé Cloud KMS, cette clé chiffre les données stockées. Sinon, le chiffrement par défaut de Google est utilisé.

Lorsque le bucket _Trace est créé, le système crée également un ensemble de données nommé Spans pour le bucket, ainsi qu'une vue nommée _AllSpans sur l'ensemble de données. Cette vue inclut toutes les données de l'ensemble de données.

Pour en savoir plus, consultez les ressources suivantes :

Modèle de stockage d'observabilité

Le modèle de stockage de l'API Observability repose sur l'architecture suivante :

Buckets d'observabilité

Un bucket d'observabilité est l'entité de gestion des ensembles de données, qui stockent les données. Un bucket d'observabilité se trouve dans un emplacement spécifique et est associé à une règle de conservation des données. Lorsqu'un service Google Cloud utilise l'API Observability pour stocker ses données, le système crée un bucket d'observabilité basé sur le nom du service, un ensemble de données pour stocker les données et une vue pour fournir un accès en lecture aux données stockées. Par exemple, pour le service Cloud Trace, le système nomme le bucket créé par le système _Trace, l'ensemble de données Spans et la vue _AllSpans. Pour en savoir plus sur la structure d'un bucket d'observabilité, consultez Bucket.

Google Cloud Observability utilise des paramètres par défaut et des règles d'administration pour déterminer l'emplacement et le modèle de chiffrement des nouveaux buckets d'observabilité. Si un bucket d'observabilité existant ne répond pas aux exigences réglementaires de votre organisation, vous pourrez peut-être reprovisionner le bucket d'observabilité.

Ensembles de données

Un ensemble de données stocke des données. Le système crée automatiquement un ensemble de données lorsqu'il crée un bucket d'observabilité, qui gère l'ensemble de données. Par exemple, lorsque le système crée le bucket _Trace, il crée également un ensemble de données nommé Spans, qui stocke vos données de trace. Pour en savoir plus sur la structure d'un ensemble de données, consultez la documentation de la ressource Dataset.

Vues sur les ensembles de données

Chaque ensemble de données héberge une ou plusieurs vues. Une vue fournit un accès en lecture à un sous-ensemble d'entrées de l'ensemble de données. Le système crée une vue lorsqu'il crée un ensemble de données. Cette vue inclut toutes les données de l'ensemble de données. Le nom de la vue dépend du service. Par exemple, pour le service Cloud Trace, le système crée une vue nommée _AllSpans sur l'ensemble de données Spans. Pour en savoir plus sur la structure d'une vue, consultez View.

Liens sur les ensembles de données

Chaque ensemble de données peut contenir au maximum un lien. Lorsque vous créez un lien pour un ensemble de données, le système crée un ensemble de données BigQuery associé. Vous pouvez ensuite interroger les données de votre ensemble de données à l'aide de BigQuery ou d'autres services qui utilisent l'API BigQuery. Pour en savoir plus sur la structure d'un lien, consultez Link.

Le système ne crée pas automatiquement de liens sur les ensembles de données.

Par exemple, vos données de trace résident dans un ensemble de données Spans dans le bucket d'observabilité _Trace. Le système crée une vue _AllSpans sur cet ensemble de données qui inclut tous les segments stockés.

Résidence des données pour les buckets d'observabilité

Si vous avez des exigences réglementaires ou de conformité concernant le stockage de vos données dans des emplacements spécifiques ou l'utilisation de clés de chiffrement gérées par le client (CMEK), nous vous recommandons de configurer à la fois des règles d'administration et des paramètres par défaut pour les buckets d'observabilité.

Pour les organisations, les dossiers et les projets, les paramètres par défaut des buckets d'observabilité vous permettent de configurer les éléments suivants :

  • Un emplacement de stockage par défaut.
  • Pour chaque emplacement, une clé Cloud Key Management Service par défaut.

Le système utilise les paramètres par défaut de deux manières différentes :

  • Lorsque le système crée automatiquement un bucket d'observabilité, il utilise les paramètres par défaut pour déterminer l'emplacement et la clé de chiffrement du bucket. Si vous n'avez pas défini de paramètres par défaut, le système sélectionne l'emplacement et le bucket utilise le chiffrement par défaut de Google.

  • Lorsque vous lancez la création d'un bucket d'observabilité en envoyant une requête API, vous devez indiquer l'emplacement. Toutefois, le système utilise automatiquement la clé Cloud KMS définie par les paramètres par défaut pour chiffrer les données, sauf si les arguments de la requête API spécifient la clé.

Étant donné que le parent d'un bucket d'observabilité est toujours un projet, lorsque vous créez un bucket, le système recherche d'abord les paramètres par défaut au niveau du projet. Si ces paramètres n'existent pas, le système recherche les paramètres par défaut dans les ancêtres du parent. Par exemple, si vous définissez des paramètres par défaut pour un dossier, ces paramètres s'appliquent aux descendants du dossier, à l'exception de ceux pour lesquels des paramètres par défaut sont configurés.

Vous pouvez également utiliser des règles d'administration pour limiter les emplacements des nouveaux buckets d'observabilité, exiger l'utilisation de CMEK ou limiter les clés Cloud KMS pouvant être utilisées pour le chiffrement. Si vous configurez des règles d'administration qui nécessitent l'utilisation de CMEK, vous devez configurer les paramètres par défaut des buckets d'observabilité. Sinon, le provisionnement des buckets d'observabilité créés par le système échoue.

Pour en savoir plus, consultez les documents suivants :

Limites

Vous ne pouvez pas effectuer les actions suivantes :

  • Modifier ou supprimer des buckets d'observabilité.
  • Créer, supprimer ou modifier des ensembles de données.
  • Créer, supprimer ou modifier des vues.
  • Utilisez la console Google Cloud pour lister les buckets, les ensembles de données, les vues ou les liens.

Étapes suivantes