Configurer des buckets de journaux

Vous pouvez créer, afficher et gérer des buckets Cloud Logging pour stocker et centraliser vos données de journaux à l'aide de la console Google Cloud , de Google Cloud CLI ou de l'API Logging. Vous pouvez également configurer des durées de conservation personnalisées pour contrôler les coûts de stockage et la conformité.

Pour en savoir plus sur ce concept, consultez Stocker des entrées de journal.

Avant de commencer

Configurez votre projet et vos rôles IAM, puis sélectionnez l'interface que vous prévoyez d'utiliser.

Configurer votre projet et vos rôles

Pour faire vos premiers pas avec les buckets, procédez comme suit :

Sélectionnez l'interface que vous prévoyez d'utiliser

Console Google Cloud

Lorsque vous utilisez la console Google Cloud pour accéder aux services et aux API Google Cloud , vous n'avez pas besoin de configurer l'authentification.

gcloud

Installez la Google Cloud CLI, puis connectez-vous à la gcloud CLI avec votre identité fédérée. Après vous être connecté, initialisez la Google Cloud CLI en exécutant la commande suivante : 

gcloud init

REST

Pour utiliser les exemples API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à la gcloud CLI.

    Installez la Google Cloud CLI, puis connectez-vous à la gcloud CLI avec votre identité fédérée.

Pour en savoir plus, consultez la section S'authentifier pour utiliser REST dans la documentation sur l'authentification Google Cloud .

Créer un bucket

Ces instructions supposent que vous utilisez le chiffrement géré par Google. Si vous préférez utiliser des clés de chiffrement gérées par le client (CMEK), consultez Configurer des CMEK pour le stockage des journaux.

Vous pouvez créer jusqu'à 100 buckets par projetGoogle Cloud . Vous ne pouvez pas créer de buckets de journaux dans des dossiers ou des organisations.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Google Cloud , procédez comme suit :

Console Google Cloud

Pour créer un bucket de journaux dans votre projet Google Cloud , procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Cliquez sur Créer un bucket de journaux.

  3. Saisissez un nom et une description pour votre bucket.

  4. Pour sélectionner la région de stockage de vos journaux, cliquez sur le menu Sélectionner la région du bucket de journaux, puis sélectionnez une région.

  5. (Facultatif) Pour définir une durée de conservation personnalisée pour les journaux du bucket, cliquez sur Suivant.

    Dans le champ Durée de conservation, saisissez le nombre de jours (compris entre 1 jour et) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est de 30 days.

    Vous pouvez également modifier la durée de conservation de votre bucket de journaux après l'avoir créé.

  6. Cliquez sur Créer un bucket.

    Ces étapes peuvent prendre un certain temps.

gcloud

Pour créer un bucket de journaux, exécutez la commande gcloud logging buckets create :

gcloud logging buckets create BUCKET_ID --location=LOCATION

Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID my-bucket dans la région global, votre commande se présente comme suit :

gcloud logging buckets create my-bucket --location global --description "My first bucket"

REST

Pour créer un bucket, utilisez la méthode projects.locations.buckets.create. Préparez les arguments de la méthode comme suit :

  1. Définissez le paramètre parent sur la ressource dans laquelle créer le bucket : projects/PROJECT_ID/locations/LOCATION

    La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.

    Par exemple, si vous souhaitez créer un bucket pour le projet my-project dans la région global, votre paramètre parent se présentera comme suit : projects/my-project/locations/global.

  2. Définissez le paramètre bucketId (par exemple, my-bucket).

  3. Appelez la méthode synchrone projects.locations.buckets.create pour créer le bucket.

Après avoir créé un bucket, créez un récepteur pour acheminer les entrées de journal vers votre bucket et configurez des vues de journaux pour contrôler qui peut accéder aux journaux de votre bucket et quels journaux ils peuvent consulter. Vous pouvez également mettre à jour le bucket pour configurer une durée de conservation personnalisée.

Lister et afficher les détails des buckets de journaux

Cette section explique comment lister et afficher les détails des buckets de journaux d'un projet, d'un dossier ou d'une organisation.

Lister les buckets

Pour lister les buckets de journaux associés à un projet Google Cloud et afficher des détails tels que les paramètres de conservation, procédez comme suit :

Console Google Cloud

Dans la console Google Cloud , accédez à la page Stockage des journaux :

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

Un tableau nommé Buckets de journaux répertorie les buckets associés au projetGoogle Cloud actuel.

La table répertorie les attributs suivants pour chaque bucket de journaux :

  • Nom : nom du bucket de journaux.
  • Description : description du bucket.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • État : indique si le bucket est verrouillé ou non.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée d'un symbole d'avertissement .

gcloud

Exécutez la commande gcloud logging buckets list :

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux :

  • LOCATION : région dans laquelle les données du bucket sont stockées.
  • BUCKET_ID : nom du bucket de journaux.
  • RETENTION_DAYS : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • LIFECYCLE_STATE : indique si le bucket est en attente de suppression par Cloud Logging.
  • LOCKED : indique si le bucket est verrouillé ou non.
  • CREATE_TIME : horodatage indiquant la date de création du bucket.
  • UPDATE_TIME : horodatage indiquant la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région global, exécutez la commande gcloud logging buckets describe :

gcloud logging buckets describe _Default --location=global

REST

Pour lister les buckets de journaux associés à un projet Google Cloud , utilisez projects.locations.buckets.list dans l'API Logging.

Afficher les détails d'un bucket

Les détails d'un bucket de journaux incluent le nom, la description, l'emplacement et la durée de conservation. Vous pouvez également afficher des informations sur la date de création du bucket de journaux et la date de sa dernière mise à jour.

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :

Console Google Cloud

Dans la console Google Cloud , accédez à la page Stockage des journaux :

Accéder à la page Stockage des journaux

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

Sur le bucket de journaux, cliquez sur Plus, puis sélectionnez Afficher les détails du bucket.

La boîte de dialogue liste les attributs suivants pour le bucket de journaux :

  • Nom : nom du bucket de journaux.
  • Description : description du bucket de journaux.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.

gcloud

Exécutez la commande gcloud logging buckets describe.

Par exemple, la commande suivante affiche les détails du bucket _Default :

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux :

  • createTime : horodatage indiquant la date de création du bucket.
  • description : description du bucket de journaux.
  • lifecycleState : indique si le bucket est en attente de suppression par Cloud Logging.
  • name : nom du bucket de journaux.
  • retentionDays : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • updateTime : horodatage indiquant la date de la dernière modification du bucket.

REST

Pour afficher les détails d'un seul bucket de journaux, utilisez projects.locations.buckets.get dans l'API Logging.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide de Google Cloud CLI ou de la console Google Cloud .

Mettre à jour un bucket

Pour mettre à jour les propriétés de votre bucket, telles que la description ou la durée de conservation, procédez comme suit :

Console Google Cloud

Pour mettre à jour les propriétés de votre bucket, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour le bucket que vous souhaitez modifier, cliquez sur Plus.

  3. Cliquez sur Modifier le bucket.

  4. Modifiez votre bucket comme désiré.

  5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les propriétés de votre bucket, exécutez la commande gcloud logging buckets update :

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Pour mettre à jour les propriétés de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging.

Configurer une conservation personnalisée

Lorsque vous créez un bucket de journaux, vous pouvez personnaliser la période pendant laquelle Cloud Logging stocke les journaux dans le bucket. Vous pouvez également configurer la durée de conservation du bucket de journaux _Default lorsque ce bucket de journaux se trouve dans un projet.

Vous ne pouvez pas modifier la durée de conservation du bucket de journaux _Required. Vous ne pouvez pas non plus prolonger la durée de conservation d'un bucket de journaux qui se trouve dans un dossier ou une organisation. Toutefois, vous pouvez créer un récepteur de journaux pour acheminer les entrées de journal au niveau du dossier ou de l'organisation vers un bucket de journaux situé dans un projet, puis configurer la durée de conservation de ce bucket de journaux.

Si vous réduisez la durée de conservation d'un bucket de journaux, un délai de grâce de sept jours est appliqué, pendant lequel les journaux arrivés à expiration ne sont pas supprimés. Vous ne pouvez pas interroger ni afficher les journaux arrivés à expiration. Toutefois, pendant cette période de sept jours, vous pouvez restaurer l'accès complet en prolongeant la durée de conservation du bucket. Les journaux stockés pendant le délai de grâce sont pris en compte dans vos frais de conservation.

L'application de la conservation est un processus cohérent à terme. Si vous écrivez des entrées de journal dans un bucket de journaux alors qu'elles sont plus anciennes que la période de conservation du bucket, vous pourrez peut-être les voir brièvement. Par exemple, si vous envoyez des entrées de journal datant de 10 jours à un bucket de journaux dont la durée de conservation est de 7 jours, ces entrées de journal sont stockées, puis supprimées définitivement. Ces entrées de journal ne sont pas prises en compte dans vos coûts de conservation. Ils contribuent à vos coûts de stockage. Pour réduire vos coûts de stockage, n'écrivez pas d'entrées de journal plus anciennes que la durée de conservation de votre bucket.

Pour mettre à jour la durée de conservation d'un bucket de journaux personnalisé ou du bucket de journaux _Default d'un projet, procédez comme suit :

Console Google Cloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour le bucket que vous souhaitez modifier, cliquez sur Plus, puis sélectionnez Modifier le bucket.

  3. Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.

  4. Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation s'affiche dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux défini par l'utilisateur ou du bucket de journaux _Default d'un projet, exécutez la commande gcloud logging buckets update après avoir défini une valeur pour RETENTION_DAYS :

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, pour conserver les journaux du bucket _Default dans l'emplacement global pendant un an, votre commande se présenterait comme suit :

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.

Verrouiller un bucket

Lorsque vous verrouillez un bucket pour empêcher les mises à jour, vous verrouillez également sa règle de conservation. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que la durée de conservation de chaque entrée de journal qu'il contient n'est pas écoulée. Si vous souhaitez empêcher la suppression accidentelle d'un projet contenant un bucket de journaux verrouillé, ajoutez un privilège au projet. Pour en savoir plus, consultez Protéger les projets à l'aide de privilèges.

Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :

Console Google Cloud

La console Google Cloud ne permet pas de verrouiller un bucket de journaux.

gcloud

Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update avec l'option --locked :

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

REST

Pour verrouiller les attributs de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging. Définissez le paramètre locked sur true.

Supprimer un bucket

Vous pouvez supprimer les buckets de journaux qui remplissent l'une des conditions suivantes :

  • Le bucket de journaux est déverrouillé.
  • Le bucket de journaux est verrouillé et toutes les entrées de journal qu'il contient ont atteint la durée de conservation du bucket.

Vous ne pouvez pas supprimer un bucket de journaux dans les cas suivants :

  • Le bucket de journaux est verrouillé pour empêcher les mises à jour et stocke les entrées de journal qui n'ont pas atteint la durée de conservation du bucket.

Une fois que vous avez émis la commande de suppression, le bucket de journaux passe à l'état DELETE_REQUESTED et reste dans cet état pendant sept jours. Pendant cette période, Logging continue d'acheminer les journaux vers le bucket de journaux. Vous pouvez arrêter le routage des journaux vers le bucket de journaux en supprimant ou en modifiant les récepteurs de journaux qui acheminent les entrées de journal vers le bucket.

Vous ne pouvez pas créer un bucket de journaux portant le même nom qu'un bucket de journaux à l'état DELETE_REQUESTED.

Pour supprimer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour supprimer un bucket de journaux, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Recherchez le bucket que vous souhaitez supprimer, puis cliquez sur Plus.

    1. Cliquez sur Supprimer le bucket.

    2. Dans le panneau de confirmation, cliquez sur Supprimer.

    3. Sur la page Stockage des journaux, un indicateur signale que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

    gcloud

    Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete :

    gcloud logging buckets delete BUCKET_ID --location=LOCATION

    REST

    Pour supprimer un bucket, utilisez projects.locations.buckets.delete dans l'API Logging.

    Restaurer un bucket supprimé

    Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :

    Console Google Cloud

    Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit :

    1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

      Accéder à la page Stockage des journaux

      Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

    2. Pour le bucket que vous souhaitez restaurer, cliquez sur Plus, puis sélectionnez Restaurer le bucket supprimé.

    3. Dans le panneau de confirmation, cliquez sur Restaurer.

    4. Sur la page Stockage des journaux, l'indicateur de suppression en attente est supprimé de votre bucket de journaux.

    gcloud

    Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging buckets undelete :

    gcloud logging buckets undelete BUCKET_ID --location=LOCATION

    REST

    Pour restaurer un bucket en attente de suppression, utilisez projects.locations.buckets.undelete dans l'API Logging.

    Lire et écrire des entrées de journal

    Vous n'écrivez pas directement de journaux dans un bucket de journaux. Vous écrivez plutôt des journaux dans une ressourceGoogle Cloud  : un projet, un dossier ou une organisation Google Cloud . Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux. Pour en savoir plus, consultez Entrées de journal de routage.

    Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Les vues de journaux vous permettent d'accorder à un utilisateur l'accès à un sous-ensemble des journaux stockés dans un bucket de journaux. Pour en savoir plus sur les vues de journaux, consultez Stocker des entrées de journal et Configurer des vues de journaux sur un bucket de journaux.

    Pour lire les journaux d'un bucket de journaux, procédez comme suit :

    Console Google Cloud

    1. Dans la console Google Cloud , accédez à la pageExplorateur de journaux :

      Accéder à l'explorateur de journaux

      Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

    2. Pour personnaliser les journaux affichés dans l'explorateur de journaux, cliquez sur Affiner le champ d'application, puis sélectionnez une option. Par exemple, vous pouvez afficher les journaux stockés dans un projet ou par vue de journal.

    3. Cliquez sur Appliquer. Le volet Résultats de la requête se recharge avec les journaux correspondant à l'option que vous avez sélectionnée.

    Pour en savoir plus, consultez Présentation de l'explorateur de journaux : affiner le champ d'application.

    gcloud

    Pour lire les journaux d'un bucket de journaux, utilisez la commande gcloud logging read et ajoutez un LOG_FILTER pour sélectionner les données :

    gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

    REST

    Pour lire les journaux d'un bucket de journaux, utilisez la méthode entries.list. Définissez resourceNames pour spécifier le bucket et la vue de journaux appropriés, puis définissez filter pour sélectionner les données.

    Pour en savoir plus sur la syntaxe de filtrage, consultez Langage de requête Logging.

    Résoudre les problèmes courants

    Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

    Pourquoi ne puis-je pas supprimer ce bucket ?

    Si vous essayez de supprimer un bucket, procédez comme suit :

    • Vérifiez que vous disposez des autorisations nécessaires pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez Contrôle des accès avec IAM.

    • Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.

    Quels comptes de service acheminent les journaux vers mon bucket ?

    Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :

    1. Dans la console Google Cloud , accédez à la page IAM :

      Accéder à IAM

      Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est IAM et administration.

    2. À partir de l'onglet Autorisations, affichez la liste par Rôles. Un tableau s'affiche avec tous les rôles et comptes principaux IAM associés à votre projetGoogle Cloud .

    3. Dans la tableFiltre zone de texte, saisissez Rédacteur de bucket de journaux.

      Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne .

    4. Facultatif : Si vous souhaitez empêcher un compte de service d'acheminer des journaux vers votre projet Google Cloud , cochez la case du compte de service, puis cliquez sur Supprimer.

    Pourquoi est-ce que je vois des journaux pour un projet Google Cloud alors que je les ai exclus de mon récepteur _Default ?

    Vous pouvez afficher les journaux d'un bucket de journaux dans un projet Google Cloud centralisé, qui agrège les journaux de l'ensemble de votre organisation.

    Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et que vous voyez des journaux que vous avez exclus du récepteur _Default, il est possible que votre vue soit définie au niveau du projetGoogle Cloud .

    Pour résoudre ce problème, sélectionnez Vue de journaux dans le menu Affiner le champ d'application, puis sélectionnez la vue de journaux associée au bucket _Default dans votre projetGoogle Cloud . Vous ne devriez plus voir les journaux exclus.

    Étapes suivantes

    Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket.

    Si vous gérez une organisation ou un dossier, vous pouvez spécifier l'emplacement des buckets de journaux _Default et _Required des ressources enfants. Vous pouvez également configurer l'utilisation des CMEK par les buckets de journaux et le comportement du récepteur de journaux _Default. Pour en savoir plus, consultez la page Configurer les paramètres par défaut pour les organisations et les dossiers.

    Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :