À propos des insights sur les données structurées

La fonctionnalité d'insights sur les données de Knowledge Catalog (anciennement Dataplex Universal Catalog) génère automatiquement des descriptions, des graphiques de relations et des requêtes SQL à partir des métadonnées de vos tables et ensembles de données. Ces informations vous aident à comprendre rapidement la structure, le contenu et les relations des données sans configuration manuelle approfondie. Pour approfondir l'examen, vous pouvez poser des questions complémentaires dans Data Canvas.

Lorsqu'ils explorent une nouvelle table inconnue, les analystes de données ont souvent du mal à savoir comment commencer à écrire des requêtes. Le problème peut impliquer des incertitudes concernant la structure des données et les approches clés dans les données. La fonctionnalité d'insights sur les données de Knowledge Catalog offre un moyen automatisé d'explorer et de comprendre vos données. Cela vous permet de découvrir des modèles, d'évaluer la qualité des données et d'effectuer des analyses statistiques.

Présentation

Les insights sur les données utilisent Gemini pour analyser vos métadonnées et générer les éléments suivants :

  • Descriptions : résumés générés par l'IA expliquant l'objectif de l'ensemble de données ou de l'espace de noms, la structure de la table et les détails de colonnes spécifiques.

  • Exemples de requêtes : requêtes GoogleSQL et Spark SQL personnalisées, conçues spécifiquement pour le schéma et le contenu de votre ensemble de données, de votre espace de noms ou de votre table.

  • Graphiques de relations : visualisations qui montrent les connexions et les dépendances entre différentes tables de votre ensemble de données ou de votre espace de noms.

De plus, les insights sur les données sont compatibles avec les instructions personnalisées (preview). Les instructions personnalisées permettent aux intendants de données de configurer la génération d'insights en fournissant des objectifs d'entreprise spécifiques, des connaissances du domaine et un vocabulaire organisationnel.

Ressources compatibles

Les insights sur les données sont disponibles pour les types de données structurées suivants :

  • Ensembles de données, tables et vues BigQuery
  • Tables Lakehouse sans frontières (y compris Apache Iceberg, Apache Hive et SAP BDC)
  • Tables externes
  • Tables de catalogue REST Apache Iceberg
  • Espaces de noms Apache Iceberg (représentés sous forme d'ensembles de données dans BigQuery)
  • Tables de catalogue Apache Hive
  • Tables SAP Business Data Cloud (BDC)

Exemple d'exécution d'insights

Les insights sur les données génèrent automatiquement des requêtes en langage naturel et leurs équivalents SQL en fonction des métadonnées d'une table. Pour les tables Iceberg, les insights sur les données génèrent également des équivalents Spark SQL.

Exemple : Insights SQL

Prenons l'exemple d'une table appelée telco_churn avec le schéma suivant :

Nom du champ Type
CustomerID STRING
Sexe STRING
Ancienneté INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contrat STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Churn BOOLEAN

Voici quelques exemples de requêtes générées par les insights sur les données pour cette table :

  • Identifiez les clients qui sont abonnés à tous les services Premium et qui sont clients depuis plus de 50 mois.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifiez le service Internet qui compte le plus de clients perdus.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Identifiez les taux de perte d'utilisateurs par segment parmi les clients à fort potentiel.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Exemple : Insights Spark SQL

Prenons l'exemple d'une table Apache Iceberg appelée catalog_metrics avec le schéma suivant :

Nom du champ Type
détails STRUCT
creation_date DATE
creation_time TIMESTAMP
precise_measure DOUBLE
price DOUBLE
métadonnées STRUCT
is_active BOOLEAN

Voici quelques exemples de requêtes Spark SQL générées par les insights sur les données pour cette table :

  • Calculez la somme cumulée de precise_measure classée par creation_time pour chaque details.field1.

    SELECT
  details.field1,
  creation_time,
  precise_measure,
  SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics;

  • Obtenez le prix maximal pour chaque combinaison de details.field1 et details.field2, mais uniquement pour les enregistrements créés au cours des 30 derniers jours.

    SELECT
  details.field1,
  details.field2,
  MAX(price) AS max_price
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  creation_date >= DATE_SUB(CURRENT_DATE(), 30)
GROUP BY
  details.field1,
  details.field2;

  • Obtenez la valeur metadata.value moyenne pour les éléments dont la valeur is_active est définie sur false.

    SELECT
  AVG(metadata.value) AS avg_value
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  is_active = false;

Modes de génération d'insights sur les données

Lors de la génération d'insights sur les données, Knowledge Catalog propose deux modes :

Mode Description Utilisation
Générer et publier

Conserve les insights sur les données générés dans Knowledge Catalog en tant qu'aspects de métadonnées. Vous devez disposer des autorisations nécessaires pour publier. Lorsque vous utilisez Générer et publier, les actions suivantes se produisent :

  • Stocke les descriptions des tables et des colonnes dans Knowledge Catalog.
  • Capture les requêtes et les questions suggérées en tant qu'aspects réutilisables.
  • Rend les insights publiés accessibles à tous les utilisateurs disposant d'un accès approprié à Knowledge Catalog, ce qui garantit le partage des connaissances au sein de l'organisation.
  • Vous permet de modifier et d'enregistrer des descriptions directement dans Knowledge Catalog.

Utilisez ce mode pour la documentation des données à l'échelle de l'entreprise qui est persistante et réutilisable, ou lors de la création de workflows de gouvernance basés sur un catalogue.
Générer sans publier

Crée des insights sur les données, tels que des descriptions, des questions en langage naturel et des requêtes SQL à la demande. Générer sans publier ne publie pas les insights dans Knowledge Catalog.

Utilisez ce mode pour une exploration rapide et ad hoc afin d'éviter d'encombrer le catalogue.

Tarifs

Pour en savoir plus sur les tarifs de cette fonctionnalité, consultez Tarifs de l'agent Data Cloud.

Pour suivre la consommation de jetons pour les jobs d'analyse d'insights sur les données et créer des tableaux de bord personnalisés dans Cloud Monitoring, consultez Surveiller l'utilisation des jetons d'insights sur les données.

Quotas et limites

Pour savoir comment gérer les coûts et définir des limites pour l'utilisation des jetons d'insights sur les données, consultez Quotas et limites pour les insights sur les données.

Emplacements

Vous pouvez utiliser les insights sur les données dans tous les emplacements BigQuery. Pour savoir où Gemini dans BigQuery traite vos données, consultez Où Gemini dans BigQuery traite vos données.

Limites

  • Pour les clients multicloud, les données des autres clouds ne sont pas disponibles.
  • Les insights sur les données ne sont pas compatibles avec les types de colonnes Geo et JSON.
  • Les exécutions d'Insights ne garantissent pas systématiquement la présentation de requêtes. Pour augmenter les chances de générer des requêtes plus attrayantes, regénérez les insights dans BigQuery Studio.

Étapes suivantes