Présentation des insights sur les données

Vous pouvez utiliser les insights sur les données pour explorer des données que vous ne connaissez pas à l'aide de descriptions, de graphiques de relations et de requêtes SQL générés par l'IA. Cette fonctionnalité de Gemini dans BigQuery analyse vos métadonnées pour vous aider à comprendre rapidement les structures et le contenu des données. Ces insights vous permettent de commencer votre analyse sans configuration manuelle approfondie.

Avant de commencer

Les insights sur les données sont générés à l'aide de Gemini dans BigQuery. Pour commencer à générer des insights, vous devez d'abord configurer Gemini dans BigQuery.

Types d'insights sur les données

Vous pouvez générer des insights sur les données au niveau de la table ou de l'ensemble de données :

  • Pour les tables : Gemini génère des questions en langage naturel et leurs équivalents SQL pour vous aider à comprendre les données d'une seule table. Grâce aux insights sur les tables, vous pouvez détecter des schémas de données, des anomalies, des valeurs aberrantes ou des problèmes de qualité dans une table. Gemini génère également des descriptions de tables et de colonnes.

  • Pour les ensembles de données et les espaces de noms Apache Iceberg : Gemini génère un graphique de relations interactif montrant les relations entre les tables et les requêtes SQL entre les tables pour vous aider à comprendre comment les tables sont liées dans un ensemble de données. Les graphiques de relations vous permettent de découvrir comment les données sont dérivées, ce qui peut vous aider à résoudre les problèmes de qualité, de cohérence ou de redondance. Les requêtes inter-tables vous permettent de trouver des relations plus larges. Par exemple, vous pouvez calculer les revenus par segment de clientèle en exploitant les données d'une table de ventes et d'une table de clients.

    Étant donné que les espaces de noms Iceberg sont représentés de manière native en tant qu'ensembles de données dans BigQuery, vous pouvez générer les mêmes insights au niveau de l'ensemble de données directement sur les espaces de noms Iceberg.

Pour en savoir plus, vous pouvez poser des questions complémentaires dans Data Canvas.

Insights sur les tables

Les insights sur les tables vous aident à comprendre le contenu, la qualité et les schémas d'une seule table BigQuery. Par exemple, en générant des requêtes qui effectuent une analyse statistique, vous pouvez utiliser les insights sur les tables pour détecter des modèles de données, des anomalies et des anomalies. Les insights sur les tables peuvent également vous aider à détecter les problèmes de qualité, en particulier lorsque des analyses de profilage des données sont disponibles pour une table. Lorsque vous générez des insights pour une table, Gemini fournit une description de la table, des descriptions de colonnes et un résultat d'analyse de profilage en fonction des métadonnées de la table. Les options suivantes sont disponibles :

  • Générer des requêtes : suggère des questions en langage naturel et fournit les requêtes SQL correspondantes pour y répondre. Cela vous aide à identifier des modèles, à évaluer la qualité des données et à effectuer des analyses statistiques sans écrire de code SQL à partir de zéro.
  • Générer des descriptions : génère des descriptions pour la table et ses colonnes. Gemini utilise le résultat de l'analyse de profil (si disponible) pour ancrer les descriptions générées. Vous pouvez examiner, modifier et publier ces descriptions dans Knowledge Catalog pour améliorer la visibilité et la documentation des données.

Insights sur l'ensemble de données

Les insights sur les ensembles de données vous aident à comprendre les relations et les chemins de jointure entre plusieurs tables d'un ensemble de données BigQuery (ou d'un espace de noms Iceberg représenté sous forme d'ensemble de données), ce qui vous donne une vue d'ensemble du contenu. Lorsque vous générez des insights pour un ensemble de données ou un espace de noms, Gemini fournit les éléments suivants :

  • Description de l'ensemble de données : fournit un résumé de l'ensemble de données généré par l'IA.
  • Relations : affiche une carte visuelle interactive montrant les relations entre les tables de l'ensemble de données. Vous pouvez pointer sur les connexions pour afficher les détails des relations, comme les clés de jointure.
  • Tableau des relations : présente une vue tabulaire des relations entre les tables, y compris les clés étrangères et les jointures inférées. Les relations peuvent être définies par un schéma (à partir de contraintes de clé primaire et de clé étrangère), basées sur l'utilisation (à partir des journaux de requêtes) ou déduites par Gemini en fonction des noms et des descriptions des tables et des colonnes.
  • Recommandations de requêtes : propose des exemples de requêtes SQL qui montrent comment joindre des données de différentes tables, en fonction des relations identifiées.

Exemple d'insights sur les données d'une table

Prenons l'exemple d'une table appelée telco_churn avec des colonnes telles que CustomerID, Tenure, InternetService, Contract, MonthlyCharges et Churn. Le tableau suivant décrit le schéma de la table.

Nom du champ Type
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Les insights sur les données génèrent les exemples de requêtes suivants pour cette table :

  • Identifiez les clients qui sont abonnés à tous les services Premium et qui sont clients depuis plus de 50 mois.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifiez le service Internet qui compte le plus de clients perdus.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Exemple d'insights sur les données d'un ensemble de données

Prenons l'exemple d'un ensemble de données contenant les tables order_items et inventory_items. Les insights sur l'ensemble de données peuvent déduire que order_items.inventory_item_id est lié à inventory_items.id.

En fonction de ces relations, Gemini peut générer la requête entre tables suivante :

Identifiez les cinq catégories de produits dont le prix de vente moyen est le plus élevé, ainsi que leur coût moyen correspondant.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Workflows d'insights sur les données

Cette section décrit les principaux workflows que différents rôles utilisateur peuvent effectuer à l'aide de la fonctionnalité d'insights sur les données dans BigQuery.

Workflows pour les utilisateurs de données

Ces workflows se concentrent sur les tâches des analystes de données, des analystes d'entreprise et des autres utilisateurs qui ont besoin de trouver, de comprendre et d'analyser des données.

  • Comprendre une table BigQuery : appréhendez rapidement le schéma, le contenu et les utilisations potentielles d'une table spécifique. Vous pouvez effectuer les tâches suivantes après avoir sélectionné une table dans BigQuery Studio :

    • Examinez les descriptions de tables et de colonnes générées automatiquement.

    • Examinez les questions suggérées en langage naturel et les requêtes SQL équivalentes pour comprendre les nuances des données.

    • Adaptez et exécutez les requêtes suggérées pour commencer l'analyse.

    Pour en savoir plus sur la génération et l'affichage d'insights sur les tables, consultez Générer des insights sur les tables.

  • Explorer un ensemble de données ou un espace de noms entier : découvrez les relations entre les tables d'un ensemble de données (ou d'un espace de noms Iceberg représenté sous forme d'ensemble de données) et comprenez sa structure globale. Vous pouvez effectuer les tâches suivantes après avoir sélectionné un ensemble de données dans BigQuery Studio :

    • Générez et affichez des insights sur l'ensemble de données.

    • Utilisez le graphique de relations interactif pour visualiser les connexions entre les tables.

    • Analysez la table des relations pour identifier les clés de jointure et les types de connexion (définis par le schéma, basés sur l'utilisation, déduits par le LLM).

    • Utilisez les requêtes SQL multitables suggérées pour interroger efficacement plusieurs tables.

    Pour en savoir plus sur la génération et l'affichage d'insights sur les ensembles de données, consultez Générer des insights sur les ensembles de données.

Workflows pour les producteurs de données

Ces workflows sont destinés aux ingénieurs de données, aux ingénieurs d'analyse et aux autres personnes qui créent et gèrent des éléments de données.

  • Générer une documentation de référence sur les données : créez et gérez automatiquement des descriptions de métadonnées essentielles. Vous pouvez effectuer les tâches suivantes :

    • Après avoir créé ou modifié une table, déclenchez des insights sur les données pour générer des descriptions de la table et des colonnes. Vous pouvez également générer ces descriptions à grande échelle à l'aide de l'API de génération automatisée de métadonnées de Knowledge Catalog.

    • Examinez et affinez le texte généré par l'IA pour vous assurer qu'il est techniquement exact et pertinent pour votre entreprise.

    Pour en savoir plus sur la génération de descriptions de tables et de colonnes, consultez Générer des insights sur les tables.

  • Améliorer la compréhension des ensembles de données pour les utilisateurs : aidez les utilisateurs à comprendre et à utiliser plus facilement les ensembles de données fournis. Vous pouvez effectuer les tâches suivantes :

    • Générez des insights sur les ensembles de données clés, en particulier ceux qui présentent des relations complexes.

    • Adaptez les insights générés au contexte commercial spécifique de votre organisation en fournissant des instructions personnalisées qui définissent les objectifs clés, les connaissances du domaine et la terminologie. Par exemple, vous pouvez appliquer des conventions d'attribution de noms, spécifier des définitions métier ou décrire des clés de jointure.

    • Assurez-vous que les analyses de profilage des données sont exécutées sur les tables pour fournir un contexte riche et obtenir des insights plus précis et utiles.

    Pour en savoir plus, consultez Générer des insights sur un ensemble de données et Ancrer les insights sur les résultats du profilage des données.

Workflows pour les gestionnaires de données

Ces workflows aident les gestionnaires de données et les équipes de gouvernance à maintenir l'intégrité et la fiabilité des données.

  • Valider et auditer les métadonnées générées par l'IA : assurez l'exactitude et la fiabilité des métadonnées produites par les insights sur les données. Vous pouvez effectuer les tâches suivantes :

    • Vérifiez régulièrement les descriptions et les relations générées par la fonctionnalité d'insights.

    • Croisez les relations inférées dans le graphique de relations avec les modèles de données et la logique métier établis.

    • Examinez et corrigez les inexactitudes dans les métadonnées générées par l'IA.

    Pour en savoir plus, consultez Générer des insights sur les tables et Générer des insights sur les ensembles de données.

Tarifs

Pour en savoir plus sur les tarifs de cette fonctionnalité, consultez Tarifs de l'agent Data Cloud.

Quotas et limites

Pour en savoir plus sur les quotas et les limites de cette fonctionnalité, consultez la page Quotas pour Gemini dans BigQuery.

Limites

Les insights sur les données présentent les limites suivantes :

  • Les insights sur les données sont disponibles pour les tables BigQuery, les tables BigLake, les tables externes, les vues et les espaces de noms Iceberg.

  • Pour les clients multicloud, les données des autres clouds ne sont pas disponibles.

  • Les insights sur les données ne sont pas compatibles avec les types de colonnes GEO et JSON.

  • Les exécutions d'Insights ne garantissent pas systématiquement la présentation de requêtes. Pour augmenter les chances de générer des requêtes plus attrayantes, relancez le pipeline d'insights.

  • Pour les tables avec un contrôle des accès au niveau des colonnes et des autorisations de l'utilisateur limitées, vous pouvez générer des insights si vous disposez d'un accès en lecture à toutes les colonnes de la table. Pour exécuter les requêtes générées, vous devez disposer d'autorisations suffisantes.

  • Gemini génère des descriptions de colonnes pour un maximum de 350 colonnes d'une table.

  • Pour les insights sur les ensembles de données, vous ne pouvez pas modifier les relations dans le graphique des relations.

  • La génération de nouveaux insights sur l'ensemble de données écrase les insights précédents pour cet ensemble de données.

  • Les insights sur les ensembles de données ne sont pas compatibles avec les ensembles de données associés.

Emplacements

Vous pouvez utiliser les insights sur les données dans tous les emplacements BigQuery. Pour savoir où Gemini dans BigQuery traite vos données, consultez Où Gemini dans BigQuery traite vos données.

Étapes suivantes