Présentation des insights sur les données

Vous pouvez utiliser les insights sur les données pour explorer des données inconnues à l'aide de descriptions générées par l'IA, de graphiques de relations et de requêtes SQL. Cette fonctionnalité Gemini dans BigQuery analyse vos métadonnées pour vous aider à comprendre rapidement les structures et le contenu des données. Ces insights vous permettent de commencer votre analyse sans configuration manuelle approfondie.

Avant de commencer

Les insights sur les données sont générés à l'aide de Gemini dans BigQuery. Pour commencer à générer des insights, vous devez d'abord configurer Gemini dans BigQuery.

Types d'insights sur les données

Vous pouvez générer des insights sur les données au niveau de la table ou de l'ensemble de données :

  • Pour les tables : Gemini génère des questions en langage naturel et leurs équivalents SQL pour vous aider à comprendre les données d'une seule table. Grâce aux insights sur les tables, vous pouvez détecter des tendances, des anomalies, des valeurs aberrantes ou des problèmes de qualité dans une table. Gemini génère également des descriptions de tables et de colonnes.

  • Pour les ensembles de données et les espaces de noms Apache Iceberg : Gemini génère un graphique de relations interactif montrant les relations inter-tables et les requêtes SQL inter-tables pour vous aider à comprendre comment les tables sont liées dans un ensemble de données. Grâce aux graphiques de relations, vous pouvez découvrir comment les données sont dérivées, ce qui peut vous aider à résoudre les problèmes de qualité, de cohérence ou de redondance. Grâce aux requêtes inter-tables, vous pouvez trouver des relations plus larges. Par exemple, vous pouvez calculer les revenus par segment de clientèle en exploitant les données d'une table de ventes et d'une table de clients.

    Étant donné que les espaces de noms Iceberg sont représentés de manière native en tant qu'ensembles de données dans BigQuery, vous pouvez générer les mêmes insights au niveau de l'ensemble de données directement sur les espaces de noms Iceberg.

Pour en savoir plus, vous pouvez poser des questions complémentaires dans le canevas de données.

Insights sur les tables

Les insights sur les tables vous aident à comprendre le contenu, la qualité et les tendances d'une seule table BigQuery. Par exemple, en générant des requêtes qui effectuent une analyse statistique, vous pouvez utiliser les insights sur les tables pour détecter des tendances, des anomalies et des valeurs aberrantes dans les données. Les insights sur les tables peuvent également vous aider à détecter les problèmes de qualité, en particulier lorsque des analyses de profilage des données sont disponibles pour une table. Lorsque vous générez des insights pour une table, Gemini fournit une description de la table, des descriptions des colonnes et la sortie de l'analyse de profilage en fonction des métadonnées de la table. Les options suivantes sont disponibles :

  • Générer des requêtes : suggère des questions en langage naturel et fournit les requêtes SQL correspondantes pour y répondre. Cela vous aide à découvrir des tendances, à évaluer la qualité des données et à effectuer des analyses statistiques sans avoir à écrire de code SQL en partant de zéro.
  • Générer des descriptions : génère des descriptions pour la table et ses colonnes. Gemini utilise la sortie de l'analyse de profilage (si disponible) pour ancrer les descriptions générées. Vous pouvez examiner, modifier et publier ces descriptions dans Knowledge Catalog pour améliorer la détectabilité et la documentation des données.

Insights sur les ensembles de données

Les insights sur les ensembles de données vous aident à comprendre les relations et les chemins de jointure entre plusieurs tables d'un ensemble de données BigQuery (ou d'un espace de noms Iceberg représenté en tant qu'ensemble de données), ce qui offre une vue globale du contenu. Lorsque vous générez des insights pour un ensemble de données ou un espace de noms, Gemini fournit les éléments suivants :

  • Description de l'ensemble de données : fournit un résumé de l'ensemble de données généré par l'IA.
  • Relations : affiche une carte visuelle et interactive montrant les relations entre les tables de l'ensemble de données. Vous pouvez pointer sur les connexions pour afficher les détails des relations, tels que les clés de jointure.
  • Table de relations : présente une vue tabulaire des relations entre les tables, y compris les clés étrangères et les jointures inférées. Les relations peuvent être définies par le schéma (à partir des contraintes de clé primaire et de clé étrangère), basées sur l'utilisation (à partir des journaux de requêtes) ou inférées par Gemini en fonction des noms et des descriptions des tables et des colonnes.
  • Recommandations de requêtes : propose des exemples de requêtes SQL qui montrent comment joindre des données entre différentes tables, en fonction des relations identifiées.

Exemple d'insights sur les données de table

Prenons l'exemple d'une table appelée telco_churn avec des colonnes telles que CustomerID, Tenure, InternetService, Contract, MonthlyCharges et Churn. Le tableau suivant décrit le schéma de la table.

Nom du champ Type
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Les insights sur les données génèrent les exemples de requêtes suivants pour cette table :

  • Identifiez les clients qui sont abonnés à tous les services Premium et qui sont clients depuis plus de 50 mois.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifiez le service Internet qui compte le plus de clients perdus.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Exemple d'insights sur les données d'ensemble de données

Prenons l'exemple d'un ensemble de données contenant les tables order_items et inventory_items. Les insights sur les ensembles de données peuvent déduire que order_items.inventory_item_id est lié à inventory_items.id.

En fonction de ces relations, Gemini peut générer la requête inter-tables suivante :

Identifiez les cinq principales catégories de produits présentant le prix de vente moyen le plus élevé et leur coût moyen correspondant.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Workflows d'insights sur les données

Cette section décrit les principaux workflows que différents rôles d'utilisateur peuvent effectuer à l'aide de la fonctionnalité d'insights sur les données dans BigQuery.

Workflows pour les consommateurs de données

Ces workflows se concentrent sur les tâches des analystes de données, des analystes commerciaux et d'autres utilisateurs qui ont besoin de trouver, de comprendre et d'analyser des données.

  • Comprendre une table BigQuery : comprenez rapidement le schéma, le contenu et les utilisations potentielles d'une table spécifique. Vous pouvez effectuer les tâches suivantes après avoir sélectionné une table dans BigQuery Studio :

    • Examiner les descriptions de tables et de colonnes générées automatiquement.

    • Examiner les questions suggérées en langage naturel et les requêtes SQL équivalentes pour comprendre les nuances des données.

    • Adapter et exécuter les requêtes suggérées pour commencer l'analyse.

    Pour en savoir plus sur la génération et l'affichage des insights sur les tables, consultez Générer des insights sur les tables.

  • Explorer un ensemble de données ou un espace de noms entier : découvrez les relations entre les tables d'un ensemble de données (ou d'un espace de noms Iceberg représenté en tant qu'ensemble de données) et comprenez sa structure globale. Vous pouvez effectuer les tâches suivantes après avoir sélectionné un ensemble de données dans BigQuery Studio :

    • Générer et afficher des insights sur les ensembles de données.

    • Utiliser le graphique de relations interactif pour visualiser les connexions de table.

    • Analyser la table de relations pour les clés de jointure et les types de connexion (définis par le schéma, basés sur l'utilisation, inférés par le LLM).

    • Utiliser les requêtes SQL inter-tables suggérées pour interroger efficacement plusieurs tables.

    Pour en savoir plus sur la génération et l'affichage des insights sur les ensembles de données, consultez Générer des insights sur les ensembles de données.

Workflows pour les producteurs de données

Ces workflows sont destinés aux ingénieurs de données, aux ingénieurs d'analyse et à d'autres personnes qui créent et gèrent des éléments de données.

  • Générer une documentation de base sur les données : créez et gérez automatiquement des descriptions de métadonnées essentielles. Vous pouvez effectuer les tâches suivantes :

    • Après la création ou la modification d'une table, déclenchez des insights sur les données pour générer des descriptions de tables et de colonnes. Vous pouvez également générer ces descriptions à grande échelle à l'aide de l'API de génération automatique de métadonnées de Knowledge Catalog.

    • Examiner et affiner le texte généré par l'IA pour garantir l'exactitude technique et la pertinence commerciale.

    Pour en savoir plus sur la génération de descriptions de tables et de colonnes, consultez Générer des insights sur les tables.

  • Améliorer la compréhension des ensembles de données pour les utilisateurs : facilitez la compréhension et l’utilisation des ensembles de données fournis par les consommateurs. Vous pouvez effectuer les tâches suivantes :

    • Générer des insights sur les ensembles de données pour les ensembles de données clés, en particulier ceux qui présentent des relations complexes.

    • S'assurer que les analyses de profilage des données s'exécutent sur les tables pour fournir un contexte riche pour des insights plus précis et utiles.

    Pour en savoir plus, consultez Générer des insights sur les ensembles de données et Ancrer les insights sur les résultats du profilage des données.

Workflows pour les responsables des données

Ces workflows aident les responsables des données et les équipes de gouvernance à maintenir l'intégrité et la fiabilité des données.

  • Valider et auditer les métadonnées générées par l'IA : assurez-vous de l'exactitude et de la fiabilité des métadonnées produites par les insights sur les données. Vous pouvez effectuer les tâches suivantes :

    • Examiner régulièrement les descriptions et les relations générées par la fonctionnalité d'insights.

    • Croiser les relations inférées dans le graphique de relations avec les modèles de données et la logique métier établis.

    • Examiner et corriger les inexactitudes dans les métadonnées générées par l'IA.

    Pour en savoir plus, consultez Générer des insights sur les tables et Générer des insights sur les ensembles de données.

Tarifs

Pour en savoir plus sur les tarifs de cette fonctionnalité, consultez Tarifs de l'agent Data Cloud.

Quotas et limites

Pour en savoir plus sur les quotas et les limites de cette fonctionnalité, consultez la page Quotas pour Gemini dans BigQuery.

Limites

Les insights sur les données sont soumis aux limites suivantes :

  • Les insights sur les données sont disponibles pour les tables BigQuery, les tables BigLake, les tables externes, les vues et les espaces de noms Iceberg.

  • Pour les clients multicloud, les données des autres clouds ne sont pas disponibles.

  • Les insights sur les données ne sont pas compatibles avec les types de colonnes GEO ni JSON.

  • Les exécutions d'Insights ne garantissent pas systématiquement la présentation de requêtes. Pour augmenter les chances de générer des requêtes plus attrayantes, relancez le pipeline d'insights.

  • Pour les tables avec un contrôle des accès au niveau des colonnes et des autorisations utilisateur limitées, vous pouvez générer des insights si vous disposez d'un accès en lecture à toutes les colonnes de la table. Pour exécuter les requêtes générées, vous devez disposer d'autorisations suffisantes permissions.

  • Gemini génère des descriptions de colonnes pour un maximum de 350 colonnes dans une table.

  • Pour les insights sur les ensembles de données, vous ne pouvez pas modifier les relations dans le graphique de relations.

  • La génération de nouveaux insights sur les ensembles de données remplace les insights précédents pour cet ensemble de données.

  • Les insights sur les ensembles de données ne sont pas compatibles avec les ensembles de données associés.

Emplacements

Vous pouvez utiliser les insights sur les données dans tous les emplacements BigQuery. Pour savoir où Gemini dans BigQuery traite vos données, consultez Où Gemini dans BigQuery traite-t-il vos données ?

Étape suivante