Analyser le volume de journaux avec Observability Analytics

L'analyse de l'observabilité vous permet d'estimer le volume facturable de vos entrées de journal afin de comprendre et de gérer vos coûts de journalisation. Vous pouvez écrire des requêtes SQL pour agréger le volume de journaux par dimensions telles que le type de ressource ou le nom de l'application, puis afficher les résultats ou les représenter sous forme de graphique.

Interroger le volume facturable

Le volume facturable d'une entrée de journal, qui correspond à la taille signalée à Cloud Billing, est disponible via le champ storage_bytes. Dans vos requêtes, vous pouvez utiliser le champ storage_bytes de la même manière que n'importe quel champ de schéma dont le type de données est INTEGER. Par exemple, vous pouvez l'inclure dans des clauses SELECT, des instructions CASE et des expressions de table courantes. Pour en savoir plus sur l'interrogation de journaux, consultez les documents suivants :

Étant donné que Cloud Billing utilise le volume facturable pour déterminer vos coûts, vous pouvez écrire des requêtes qui vous aident à comprendre l'origine de vos coûts. Par exemple, vous pouvez écrire des requêtes qui vous aident à déterminer quelles applications écrivent le plus d'entrées de journal. Pour savoir comment associer le volume facturable au coût, consultez les sections Cloud Logging de la page Tarifs de Google Cloud Observability.

Le volume facturable d'une entrée de journal ne correspond pas à la taille de l'objet LogEntry envoyé à l'API Cloud Logging. Le volume facturable inclut les octets requis pour la sérialisation et les métadonnées.

Avant de commencer

Cette section décrit les étapes à suivre avant de pouvoir utiliser l'analyse de l'observabilité.

Configurer des buckets de journaux

Assurez-vous que vos buckets de journaux ont été mis à niveau pour utiliser l'Analyse de l'observabilité :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour chaque bucket de journaux contenant une vue de journaux que vous souhaitez interroger, assurez-vous que la colonne Analyse de l'observabilité disponible affiche Ouvrir. Si l'option Mettre à niveau s'affiche, cliquez dessus et suivez les instructions de la boîte de dialogue.

Configurer les rôles et les autorisations IAM

Cette section décrit les rôles ou les autorisations IAM requis pour utiliser l'analyse de l'observabilité :

  • Pour obtenir les autorisations nécessaires pour utiliser l'analyse de l'observabilité et interroger les vues de journaux, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

    Vous pouvez limiter l'accès d'un compte principal à une vue de journaux spécifique en ajoutant une condition IAM à l'attribution du rôle "Accesseur de vues de journaux" au niveau du projet, ou en ajoutant une liaison IAM au fichier de stratégie de la vue de journaux. Pour en savoir plus, consultez Contrôler l'accès à une vue de journal.

    Il s'agit des mêmes autorisations que celles dont vous avez besoin pour afficher les entrées de journal sur la page Explorateur de journaux. Pour en savoir plus sur les rôles supplémentaires dont vous avez besoin pour interroger des vues sur des buckets définis par l'utilisateur ou pour interroger la vue _AllLogs du bucket de journaux _Default, consultez Rôles Cloud Logging.

  • Pour obtenir les autorisations nécessaires pour interroger des vues d'analyse, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur de l'analyse de l'observabilité (roles/observability.analyticsUser) sur votre projet.

Exemples de requêtes

Cette section fournit des exemples de requêtes qui analysent les données d'une seule vue de journal. Si vous stockez des données dans plusieurs vues de journaux et que vous souhaitez calculer des valeurs agrégées pour les données stockées dans ces vues, vous devez utiliser l'instruction UNION.

Vous pouvez interroger vos entrées de journal à l'aide de la page Analyse de l'observabilité ou de n'importe quel emplacement où vous pouvez interroger des ensembles de données BigQuery, y compris les pages BigQuery Studio et Looker Studio, ainsi que l'outil de ligne de commande bq.

Pour utiliser les exemples de requêtes, procédez comme suit :

Obtenir le volume de journaux par application à l'aide d'une requête

Pour calculer le nombre total d'octets par jour et par application pour les entrées de journal écrites sur une ressource Google Kubernetes Engine et comportant une charge utile JSON, utilisez la requête suivante :

SELECT
  timestamp_trunc(timestamp,DAY) as day,
  JSON_VALUE(labels["k8s-pod/app"]) as app_id,
  SUM(storage_bytes) as total_bytes
FROM
  `VIEW`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"
GROUP BY ALL

Pour visualiser les données, vous pouvez créer un graphique.

Dans l'exemple suivant, les données sont affichées sous la forme d'un graphique à barres empilées. Chaque barre du graphique affiche le nombre total d'octets stockés, organisé par application. Dans cet exemple, l'application frontend génère le plus de données de journal :

Exemple de graphique montrant les résultats d'une requête sur le volume de journaux par application.

Interroger le volume de journaux par nom de journal

Pour lister le nombre d'octets stockés et le nom de journal de chaque entrée de journal comportant une charge utile JSON et écrite sur une ressource Google Kubernetes Engine, utilisez la requête suivante :

SELECT
  log_id AS log_name,
  storage_bytes
FROM
  `VIEW`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"

La requête précédente n'agrège pas les résultats. À la place, il existe une ligne pour chaque entrée de journal, et cette ligne contient un nom de journal et le nombre d'octets stockés. Si vous représentez ces données sous forme de graphique, vous pouvez visualiser la partie de vos données de journal écrite dans différents journaux :

Exemple de graphique montrant les résultats d'une requête sur le volume de journaux par nom de journal.

Le graphique précédent montre que la plupart des données de journal sont écrites dans le journal nommé stdout.

Utiliser l'outil de ligne de commande bq pour interroger le volume de journaux par nom de journal

Vous pouvez inclure le champ storage_bytes dans les requêtes que vous exécutez via la page BigQuery Studio ou à l'aide de l'outil de ligne de commande bq.

La requête suivante indique le nom du journal et le nombre d'octets stockés pour chaque entrée de journal :

bq query --use_legacy_sql=false  'SELECT log_id as log_name,
  storage_bytes FROM `VIEW`'

Le résultat de cette requête se présente comme suit :

+----------+---------------+
| log_name | storage_bytes |
+----------+---------------+
| stdout   |           716 |
| stdout   |           699 |
| stdout   |           917 |
| stdout   |           704 |

Chaque ligne correspond à une entrée de journal. La valeur de la colonne storage_bytes correspond au volume facturable pour cette entrée de journal.

Limites

Le champ storage_bytes n'est disponible que si les conditions suivantes sont remplies :

  • Le bucket de journaux est mis à niveau pour utiliser Observability Analytics.

  • Votre requête est exécutée sur la page Analyse de l'observabilité ou partout où vous pouvez interroger des ensembles de données BigQuery, y compris sur les pages BigQuery Studio et Looker Studio, et dans l'outil de ligne de commande bq.

  • L'entrée de journal a été écrite le 1er janvier 2024 ou après cette date.