Représenter les résultats d'une requête SQL sous forme de graphique

L'Analyse de l'observabilité vous permet de visualiser les résultats des requêtes SQL sous forme de graphiques pour identifier les schémas et les tendances dans vos données de journaux. Après avoir exécuté une requête pour rechercher et agréger vos journaux, vous pouvez afficher les résultats dans un tableau, les convertir en graphique et enregistrer la visualisation dans un tableau de bord.

Par exemple, le graphique suivant affiche le nombre d'entrées de journal sur une période de 12 heures, ventilé par severity :

Avant de commencer

Cette section décrit les étapes à suivre avant de pouvoir utiliser l'analyse de l'observabilité.

Configurer des buckets de journaux

Assurez-vous que vos buckets de journaux ont été mis à niveau pour utiliser l'Analyse de l'observabilité :

1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

   Accéder à la page Stockage des journaux

   Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

2. Pour chaque bucket de journaux contenant une vue de journaux que vous souhaitez interroger, assurez-vous que la colonne Analyse de l'observabilité disponible affiche Ouvrir. Si l'option Mettre à niveau s'affiche, cliquez dessus et suivez les instructions de la boîte de dialogue.

Configurer les rôles et les autorisations IAM

Cette section décrit les rôles ou les autorisations IAM requis pour utiliser l'analyse de l'observabilité :

• Pour obtenir les autorisations nécessaires pour utiliser l'analyse de l'observabilité et interroger les vues de journaux, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

  • Pour interroger les buckets de journaux _Required et _Default : Visionneuse de journaux (roles/logging.viewer)
  • Pour interroger toutes les vues de journaux d'un projet : Accesseur de vues de journaux (roles/logging.viewAccessor)

  Vous pouvez limiter l'accès d'un compte principal à une vue de journaux spécifique en ajoutant une condition IAM à l'attribution du rôle "Accesseur de vues de journaux" au niveau du projet, ou en ajoutant une liaison IAM au fichier de stratégie de la vue de journaux. Pour en savoir plus, consultez Contrôler l'accès à une vue de journal.

  Il s'agit des mêmes autorisations que celles dont vous avez besoin pour afficher les entrées de journal sur la page Explorateur de journaux. Pour en savoir plus sur les rôles supplémentaires dont vous avez besoin pour interroger des vues sur des buckets définis par l'utilisateur ou pour interroger la vue _AllLogs du bucket de journaux _Default, consultez Rôles Cloud Logging.

• Pour obtenir les autorisations nécessaires pour interroger des vues d'analyse, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur de l'analyse de l'observabilité (roles/observability.analyticsUser) sur votre projet.

• Pour obtenir les autorisations nécessaires pour créer des graphiques, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Monitoring (roles/monitoring.editor) sur votre projet.

Sélectionner les données à représenter graphiquement

Pour configurer les données à afficher sur un graphique, créez une requête à l'aide de SQL. Lorsque vous sélectionnez l'onglet Graphique, un graphique affiche les résultats de votre requête. Après avoir exécuté la requête et généré un graphique, vous pouvez le personnaliser en modifiant son type et en sélectionnant des colonnes pour afficher différentes données.

Pour afficher les résultats de votre requête sous forme de graphique, exécutez une requête en procédant comme suit :

1. Dans la console Google Cloud , accédez à la page Analyse de l'observabilité :

   Accéder à Analyse de l'observabilité

   Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

2. Dans le volet Requête, saisissez une requête, puis cliquez sur Exécuter.

3. Une fois la requête terminée, dans l'onglet Résultats, sélectionnez la façon dont vous souhaitez afficher les résultats de votre requête :

   • Tableau : format tabulaire uniquement.

   • Graphique : format graphique uniquement.

   • Les deux : format graphique et tabulaire.

     Après avoir sélectionné le mode d'affichage des résultats de votre requête, vous pouvez configurer les champs de la visualisation sélectionnée, puis enregistrer la requête et les résultats dans un tableau de bord personnalisé. Le format enregistré est tabulaire lorsque vous avez sélectionné l'option Tableau. Sinon, le format est un graphique.

     Pour les graphiques, les options de visualisation vous permettent de sélectionner le type de graphique, ainsi que les lignes et les colonnes à inclure dans le graphique. Pour en savoir plus sur la configuration du graphique, consultez Personnaliser la configuration du graphique.

Personnaliser la configuration du graphique

Vous pouvez personnaliser la configuration du graphique en modifiant son type, en sélectionnant la dimension et la mesure à représenter, et en appliquant une répartition. La dimension permet de regrouper ou de catégoriser les lignes et correspond à la valeur de l'axe X. La mesure, ou valeur de l'axe Y, est une série de données représentée sur l'axe Y.

Modifier le type de graphique

Vous pouvez choisir parmi les types de graphiques suivants, en fonction du type de lignes et de colonnes que vous avez sélectionné comme dimension et mesure, et de la manière dont vous souhaitez visualiser ces données.

• Graphique à barres (par défaut) : les graphiques à barres représentent les données sur deux axes. Si votre graphique utilise une catégorie ou une chaîne comme dimension, vous pouvez définir la configuration d'un graphique à barres sur "horizontal" ou "vertical", ce qui intervertit les axes de dimension et de mesure.

• Graphique en courbes : Les graphiques en courbes permettent de montrer l'évolution des données au fil du temps. Lorsque vous utilisez un graphique en courbes, chaque série temporelle est représentée par une ligne différente qui correspond aux mesures que vous avez sélectionnées.

  Si l'axe des abscisses est basé sur le temps, chaque point de données est placé au début d'un intervalle de temps. Chaque point de données est connecté par interpolation linéaire.

• Graphique en aires empilées : Un graphique en aires est basé sur un graphique en courbes, et l'aire sous chaque courbe est ombrée. Dans les graphiques en aires, les séries de données sont empilées. Par exemple, si vous avez deux séries identiques, elles se chevauchent dans un graphique en courbes, mais la zone ombrée est empilée dans un graphique en aires.

• Graphique à secteurs ou en anneau : un graphique à secteurs montre comment les catégories d'un ensemble de données sont liées à l'ensemble de données complet, en utilisant un cercle pour représenter l'ensemble de données complet et des secteurs dans le cercle pour représenter les catégories de l'ensemble de données. La taille d'un secteur indique la contribution de la catégorie à l'ensemble, souvent sous forme de pourcentage.

• Tableau : un tableau affiche une ligne pour chaque ligne du résultat de la requête. Les colonnes de la table sont définies par la clause SELECT. Si vous prévoyez d'afficher des données sous forme de tableau sur un tableau de bord, utilisez une clause LIMIT pour limiter le nombre de lignes du résultat à moins de quelques centaines.

• Jauge ou tableau de données : les jauges et les tableaux de données vous fournissent la valeur la plus récente, ainsi qu'une indication verte, orange ou rouge en fonction de la comparaison de cette valeur avec un ensemble de seuils. Contrairement aux jauges, qui n'affichent que des informations sur la valeur la plus récente, les tableaux de données peuvent également inclure des informations sur les valeurs passées.

  Les jauges et les tableaux de données ne peuvent afficher le résultat de la requête que lorsque celui-ci contient au moins une ligne, et que cette ligne contient une colonne avec un code temporel et une colonne avec des données numériques. Le résultat de la requête peut contenir plusieurs lignes et plus de deux colonnes.

  Si vous souhaitez effectuer l'agrégation temporelle dans le cadre de votre requête, procédez comme suit :

  • Configurez votre requête pour agréger les données sur un intervalle de temps, trier les résultats par codes temporels décroissants et limiter le nombre de lignes dans les résultats. Vous pouvez utiliser la clause LIMIT ou le sélecteur de période pour limiter le nombre de lignes dans le résultat de la requête.

    Par exemple, la requête suivante interroge une vue de journal, agrège les données par heure, applique une limite et trie les résultats :

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
    FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
    WHERE severity IS NOT NULL AND severity = "DEFAULT"
    GROUP BY hour,severity
    ORDER BY hour DESC
    LIMIT 10

    La signification des champs de l'expression précédente est décrite ci-dessous :

    • PROJECT_ID : identifiant du projet.
    • LOCATION : emplacement de la vue de journaux ou de la vue d'analyse.
    • BUCKET_ID : nom ou ID du bucket de journaux.
    • LOG_VIEW_ID : identifiant de la vue de journal, limité à 100 caractères et ne pouvant inclure que des lettres, des chiffres, des traits de soulignement et des traits d'union.

  • Définissez la dimension de sorte qu'elle corresponde à la colonne qui indique l'unité de temps. Par exemple, si votre requête agrège les données par heure et crée une colonne nommée hour, définissez le menu Dimension sur hour.

  • Sélectionnez Désactiver l'intervalle, car votre requête spécifie déjà l'intervalle d'agrégation. Dans l'exemple, cet intervalle est d'une heure.

  • Définissez la mesure sur la colonne numérique, puis définissez la fonction sur none.

    Remarque : Si votre requête effectue une agrégation temporelle, veillez à suivre les conseils précédents. D'autres paramètres entraînent l'exécution d'opérations d'agrégation par votre requête et par l'Analyse de l'observabilité, ce qui entraîne l'affichage de valeurs inattendues dans la jauge ou le tableau de données.

  Si vous souhaitez utiliser l'analyse de l'observabilité pour effectuer l'agrégation temporelle à votre place, procédez comme suit :

  • Configurez le sélecteur de période, qui affecte le nombre de lignes dans le résultat de la requête.
  • Définissez la dimension de sorte qu'elle corresponde à la colonne qui indique l'unité de temps. Par exemple, vous pouvez définir ce menu sur timestamp.
  • Définissez le menu Intervalle sur un intervalle d'agrégation spécifique. Par exemple, définissez la valeur de ce champ sur 1 hour. Ne sélectionnez pas Intervalle automatique.
  • Définissez la mesure sur la colonne numérique, puis sélectionnez une fonction telle que sum.

Modifier la dimension et la mesure

Vous pouvez choisir les lignes et les colonnes à représenter graphiquement en sélectionnant les champs de dimension et de mesure.

Remarque : Si les résultats de votre requête contiennent une colonne comportant de longues chaînes, telles que des messages d'erreur, et que vous sélectionnez cette colonne comme dimension ou répartition, votre graphique peut comporter des erreurs ou des valeurs inattendues.

• Dimension

  La dimension doit être une colonne de code temporel, numérique ou de chaîne. Par défaut, la dimension est définie sur la première colonne basée sur un code temporel dans le schéma. Si aucun code temporel n'est présent dans la requête, la première colonne de chaîne est sélectionnée comme dimension. Vous pouvez également personnaliser la dimension dans le panneau Affichage du graphique. Lorsqu'une colonne de code temporel est sélectionnée comme dimension, le graphique montre l'évolution des données au fil du temps. Lorsqu'une colonne de chaîne est sélectionnée comme dimension pour un graphique à barres, vous pouvez trier les données par ordre croissant ou décroissant, ce qui trie la dimension par ordre lexical. Vous pouvez également conserver l'ordre de tri "default", qui trie la dimension en fonction des valeurs de la mesure correspondante par ordre décroissant.

  Par défaut, l'intervalle des codes temporels est défini automatiquement, mais vous pouvez également sélectionner un intervalle personnalisé. Les intervalles automatiques modifient les valeurs en fonction du sélecteur de période pour conserver des groupes de taille similaire.

  Vous pouvez également désactiver l'intervalle, ce qui vous permet de spécifier vos propres agrégations et périodes dans la requête pour une analyse plus complexe. La désactivation de l'intervalle définit la fonction d'agrégation des mesures sur none. Seules les mesures numériques sont autorisées lorsque l'intervalle de dimension est désactivé.

  Remarque : Seule la colonne TIMESTAMP peut être utilisée comme dimension de code temporel. Pour utiliser DATE et DATETIME, vous devez utiliser la fonction CAST() pour convertir les types de données en TIMESTAMP.

• Mesure

  Vous pouvez sélectionner plusieurs mesures dans le panneau Affichage du graphique. Lorsque vous sélectionnez une mesure, vous devez également sélectionner la fonction d'agrégation à effectuer sur ses valeurs groupées, par exemple count, sum, average et percentile-99. Par exemple, count-distinct renvoie le nombre de valeurs uniques dans une colonne donnée.

  Si vous cochez la case Désactiver l'intervalle pour la dimension, l'option de fonction d'agrégation none est disponible. Si la dimension est une valeur de chaîne, la case Désactiver l'intervalle ne s'affiche pas. Toutefois, si vous définissez les fonctions d'agrégation d'une mesure sur none, l'intervalle est également désactivé.

Ajouter une répartition

Remarque : Si votre graphique contient plusieurs mesures, vous ne pouvez pas ajouter de répartition.

Pour diviser une série de données en plusieurs séries de données en fonction d'une autre colonne, ajoutez une répartition.

Lorsque vous sélectionnez une répartition, choisissez des colonnes contenant un petit nombre de libellés courts et explicites, comme region_name. Ne sélectionnez pas de champs pouvant contenir un grand nombre de chaînes ou de longues chaînes, comme textPayload.

Par exemple, consultez la configuration de graphique suivante, où le champ Dimension est défini sur type, le champ Mesure est défini sur Nombre de lignes et le champ Répartition est défini sur gravité :

Dans la capture d'écran précédente, vous voyez une série de données empilées, où le type de ressource k8s_container est divisé en différents types severity. Cela vous permet d'identifier le nombre de journaux de chaque niveau de gravité générés par une ressource donnée.

Enregistrer un graphique dans un tableau de bord personnalisé

Une fois qu'un graphique est généré à partir de votre requête, vous pouvez l'enregistrer dans un tableau de bord personnalisé. Les tableaux de bord personnalisés vous permettent d'afficher et d'organiser les informations qui vous sont utiles à l'aide de différents types de widgets. Ces tableaux de bord vous permettent également de définir des variables, qui sont des filtres au niveau du tableau de bord qui ne s'appliquent qu'à des widgets spécifiques. Pour appliquer une variable à un widget, vous devez modifier la requête. Pour en savoir plus, consultez Appliquer une variable à un widget.

Un tableau de bord affiche un message d'avertissement pour un widget contenant une requête SQL lorsque la requête s'exécute sur le moteur BigQuery et que les ressources interrogées ne se trouvent pas dans la même limite de propriété. Les limites de propriété sont déterminées par plusieurs facteurs, dont la hiérarchie des ressources utilisées par la requête. Pour éviter ces avertissements, configurez un périmètre de service.

Pour enregistrer votre graphique dans un tableau de bord, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Analyse de l'observabilité :

   Accéder à Analyse de l'observabilité

   Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

2. Exécutez une requête pour générer un graphique, puis cliquez sur Enregistrer dans le tableau de bord.

3. Dans la boîte de dialogue Enregistrer dans le tableau de bord, saisissez un titre pour votre graphique, puis sélectionnez le tableau de bord dans lequel vous souhaitez l'enregistrer.

4. Facultatif : Pour afficher le tableau de bord personnalisé, cliquez sur Afficher le tableau de bord dans le message toast.

Pour afficher la liste des tableaux de bord personnalisés contenant des graphiques générés par des requêtes SQL, accédez au bouton Enregistrer dans le tableau de bord, puis cliquez sur Menu.

Modifier un graphique enregistré dans un tableau de bord personnalisé

Vous pouvez modifier un graphique après l'avoir enregistré dans un tableau de bord. Pour en savoir plus, consultez Modifier la configuration d'un widget. Dans la boîte de dialogue Configurer le widget, vous pouvez effectuer les opérations suivantes :

• Modifiez les données que vous interrogez.
• Modifier la requête utilisée pour générer un graphique.
• Personnalisez la configuration du graphique pour visualiser différentes données.

Limites

• Si votre projet Google Cloud se trouve dans un dossier qui utilise Assured Workloads, les graphiques que vous générez ne peuvent pas être affichés dans un tableau de bord personnalisé.

• Les filtres au niveau du tableau de bord ne s'appliquent pas aux graphiques générés à partir d'une requête SQL.

• Les colonnes sélectionnées doivent comporter au moins une ligne avec une valeur non nulle.

• Si vous enregistrez une requête et personnalisez la configuration du graphique, la configuration personnalisée du graphique n'est pas enregistrée.

• Si votre requête contient déjà des agrégations, le graphique généré peut être différent en raison d'une agrégation supplémentaire appliquée automatiquement par l'analyse de l'observabilité.

• Les chemins d'accès JSON doivent être convertis en chaînes ou en nombres pour être représentés sous forme de graphique.

Exemples de requêtes

Cette section fournit des exemples de requêtes SQL permettant de représenter les résultats de vos requêtes sous forme de graphique. Pour obtenir des insights plus utiles à partir de vos journaux, personnalisez la configuration du graphique. Pour utiliser les exemples de requêtes, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Analyse de l'observabilité :

   Accéder à Analyse de l'observabilité

   Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

2. Identifiez le nom de la table pour la vue de journaux que vous souhaitez interroger.

   Pour identifier ce nom, accédez à la liste Vues de journaux, recherchez la vue de journaux, puis sélectionnez Requête. Le volet Requête est renseigné avec une requête par défaut, qui inclut le nom de la table de la vue de journal interrogée. Le nom de la table est au format project_ID.region.bucket_ID.view_ID.

   Pour en savoir plus sur l'accès à la requête par défaut, consultez Interroger une vue de journal.

3. Remplacez VIEW par le nom de la table de la vue de journaux que vous souhaitez interroger, puis copiez la requête.

4. Collez la requête dans le volet Requête, puis cliquez sur Exécuter la requête.

Représenter graphiquement les entrées de journal par emplacement et par gravité

La requête suivante sélectionne location et severity, l'emplacement étant converti en chaîne :

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `VIEW`
WHERE resource.labels.location IS NOT NULL

Voici un exemple de graphique et de configuration de graphique :

Dans la capture d'écran précédente, la configuration du graphique est la suivante :

• Type de graphique : graphique à barres, horizontal
• Dimension : location, avec une limite de 10
• Mesure : Nombre de lignes
• Répartition : severity, avec une limite de cinq

Créer un graphique des journaux d'audit des accès aux données BigQuery

La requête suivante filtre les journaux d'audit data_access de BigQuery et sélectionne certains champs, tels que user_email, ip, auth_permission et job_execution_project. Par exemple, vous pouvez créer un graphique qui visualise la fréquence d'utilisation de l'API BigQuery par chaque compte principal au fil du temps.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Voici un exemple de graphique et de configuration de graphique :

Dans la capture d'écran précédente, la configuration du graphique est la suivante :

• Type de graphique : graphique à barres verticales
• Dimension : user_email, avec une limite de cinq
• Mesure : Nombre de lignes
• Répartition : auth_permission, avec une limite de cinq

Étapes suivantes

• Pour en savoir plus sur l'Analyse de l'observabilité, consultez Présentation de l'interrogation et de l'analyse des journaux.

• Pour obtenir des exemples de requêtes, consultez Exemples de requêtes SQL.

• Pour savoir comment analyser les journaux d'audit à l'aide de l'Analyse de l'observabilité, consultez Requêtes SQL pour les insights de sécurité.