Knowledge Studio (preview) transforme les métadonnées en un moteur de contexte actif qui vous aide à améliorer la fiabilité des applications d'IA générative. Vous pouvez utiliser Knowledge Studio pour éviter les hallucinations dans les agents IA, comme l'analyse conversationnelle dans BigQuery et Gemini, en les ancrant dans votre contexte d'entreprise.
Knowledge Studio automatise la curation des métadonnées en unifiant les connaissances fragmentées issues des schémas, des wikis et des requêtes SQL passées. Vous pouvez explorer les données en langage naturel, parcourir un graphique de contexte visuel qui associe les éléments de données à la sémantique métier et exécuter des workflows automatisés qui rédigent des mises à jour de catalogue pour examen humain. Vous pouvez ensuite diffuser dynamiquement ces blocs de contexte sélectionnés auprès des agents à l'aide du protocole MCP (Model Context Protocol) ou des API Knowledge Catalog.
Ce document s'adresse aux architectes de données, aux responsables de la gouvernance et aux ingénieurs en IA qui souhaitent comprendre le fonctionnement de Knowledge Studio.
D'un catalogue passif à un moteur de contexte actif
Les catalogues de métadonnées standards stockent des schémas statiques, des descriptions et des dictionnaires de données. Bien que suffisantes pour les analystes de données humains qui recherchent des tables, les métadonnées statiques ne suffisent pas pour les agents d'IA générative, qui ont besoin des éléments suivants :
Relations sémantiques profondes : comprendre comment les tables se joignent entre les schémas, quelles colonnes représentent les métriques métier clés et comment les glossaires d'entreprise sont mappés au stockage sous-jacent.
Ancrage opérationnel : intégration de modèles d'utilisation SQL réels, de la fréquence des requêtes, ainsi que des requêtes et réponses réelles des agents dans le contexte.
Auto-apprentissage continu : affiner automatiquement les descriptions, les aspects et les définitions de colonnes des tables en fonction des commentaires des utilisateurs et des taux de réussite de l'exécution des agents.
Knowledge Studio offre ces fonctionnalités via un moteur de contexte toujours activé qui extrait en continu les signaux opérationnels, génère des propositions de métadonnées haute fidélité et fournit des blocs de contexte préformatés aux agents via les API Model Context Protocol (MCP) ou Knowledge Catalog.
Interfaces Knowledge Studio
Knowledge Studio organise votre workflow en trois zones principales :
Nouveau chat : interface de chat conversationnelle et graphique de contexte interactif pour la découverte, l'investigation et la validation sémantique des requêtes à l'aide du langage naturel. Pour en savoir plus, consultez Explorer les éléments de données.
Ensembles de contexte : interface permettant de créer et de gérer les conteneurs logiques (groupes d'entrées) qui empaquettent vos métadonnées enrichies pour ancrer de manière sécurisée les agents IA en aval. Pour en savoir plus, consultez Gérer les ensembles de contextes.
Enrichissements : un centre de contrôle pour automatiser la génération de métadonnées, configurer des benchmarks d'évaluation et examiner les mises à jour de catalogue proposées par l'IA (demandes de modification) avec des workflows de curation human-in-the-loop. Pour en savoir plus, consultez À propos des tâches d'enrichissement.
Scénarios multiproduits concrets
Knowledge Studio connecte votre entrepôt de données, vos dépôts de connaissances d'entreprise et vos applications d'IA générative. Les scénarios suivants illustrent le fonctionnement de Knowledge Studio sur plusieurs produits dans une architecture d'entreprise.
Ancrer des requêtes en langage naturel dans BigQuery
Le défi : les analystes commerciaux utilisent le langage naturel dans l'analyse conversationnelle pour poser des questions telles que "Quel était notre taux de rétention net par région au dernier trimestre ?" Sans sémantique métier organisée, le modèle peut halluciner des clés de jointure ou confondre les réservations brutes avec les revenus nets.
La solution Knowledge Studio : l'analyste utilise l'interface Nouvelle discussion pour vérifier les relations entre les tables de préproduction des ventes et la table
SZBank Business Glossarycertifiée. Knowledge Studio ancre l'analyse conversationnelle à l'aide du graphique de contexte actif, ce qui garantit que le code SQL généré inclut des conditions de jointure validées et des formules de KPI standards.
Enrichir les métadonnées à partir des procédures d'exploitation standard de l'entreprise
Le défi : les équipes d'ingénierie des données gèrent des dizaines d'ensembles de données dans BigQuery, tandis que les règles métier critiques et la traçabilité des pipelines se trouvent dans des wikis Confluence externes ou des tickets Jira. À mesure que les schémas évoluent, la documentation du catalogue devient obsolète.
Solution Knowledge Studio : un responsable de la gouvernance configure une tâche d'enrichissement récurrente ciblant l'ensemble de données d'analyse. Knowledge Studio ingère des SOP non structurées depuis Confluence et des journaux de requêtes historiques depuis Cloud Logging, et propose automatiquement des définitions de colonnes et des relations de table mises à jour. Les curateurs inspectent les différences proposées sur la page Détails de l'exécution et approuvent les mises à jour validées du catalogue.
Fournir un contexte organisé aux agents
- Le défi : les développeurs d'IA qui créent des agents d'assistance ou de conseil destinés aux clients à l'aide de LangChain ou de l'ADK ont besoin d'une sémantique de schéma actualisée sans coder en dur les identifiants de base de données ni surcharger les prompts avec des définitions de tables volumineuses.
- La solution Knowledge Studio : Knowledge Studio capture les métadonnées sélectionnées et les graphiques de jointure validés dans un ensemble de contexte (tel que
entryGroups/customer-360). Pour accéder au contexte, les agents peuvent se connecter à Knowledge Studio via le protocole MCP (Model Context Protocol) ou utiliser les API Knowledge Catalog. Au moment de l'inférence, l'agent interroge le point de terminaison MCP ou les API Catalog pour récupérer de manière dynamique le contexte métier certifié et des exemples de requêtes pertinents pour l'intention de l'utilisateur.
Présentation de l'architecture
Le schéma suivant illustre l'interaction des composants Knowledge Studio avec votre patrimoine de données, vos modèles de fondation et vos applications d'IA consommatrices :
Concepts fondamentaux
Pour travailler efficacement avec Knowledge Studio, vous devez comprendre comment les métadonnées d'entreprise sont modélisées, empaquetées et organisées.
Graphique contextuel
Le graphique de contexte est la topologie visuelle centrale et interactive de Knowledge Studio. Il unifie vos éléments de données (tels que les tables, les vues et les lakehouses BigQuery) avec la sémantique métier (telle que les termes du glossaire d'entreprise, les formules de métriques et les produits de données). Dans les catalogues standards, une table de données et la définition du glossaire d'entreprise qui lui est associée existent dans des silos distincts. Dans le graphique de contexte, ils existent sous forme de nœuds sur
sur le même canevas. Les analystes et ingénieurs de données peuvent visualiser les relations entre leurs données, que ce soit par l'utilisation inférée, les conditions de jointure sur les tables, etc., tandis que Gemini utilise le graphique pour ancrer l'exploration en langage naturel. Pour en savoir plus, consultez Explorer les éléments de données dans Knowledge Studio.
Types de ressources et de connexions compatibles avec le graphique de contexte
Le graphique de contexte permet d'afficher les ressources Knowledge Catalog suivantes sous forme de nœuds ou de conteneurs :
- Tables et vues : tables, vues, ensembles de données et catalogues BigQuery et Lakehouse techniques.
- Bases de données et stockage : bases de données opérationnelles (telles que Spanner et AlloyDB) et ressources Cloud Storage.
- Analyse et modélisation : projets Looker et modèles, tests et expositions dbt.
- Termes du glossaire : définitions d'entreprise individuelles d'un glossaire d'entreprise.
- Produits de données : ensembles d'éléments de données sélectionnés pour une utilisation inter-équipes.
- Contexte : ensembles de contextes personnalisés et documentation jointe.
- Éléments personnalisés : groupes d'entrées personnalisés et types d'entrées non compatibles.
Le graphique définit la manière dont ces ressources sont connectées en visualisant les arêtes de relation sémantique suivantes :
Jointure de schéma : relations de jointure structurelles et opérationnelles entre les tables. Le système analyse automatiquement les jobs BigQuery à la recherche de requêtes indiquant que des colonnes de différentes tables partagent la même signification et peuvent être jointes.
Définition : liens mappant un élément ou une colonne de données techniques à la définition correspondante dans le glossaire d'entreprise.
Contexte : liens attribuant des ensembles de contextes spécialisés ou une documentation de domaine personnalisé à un élément de données cible.
Packages : liens d'agrégation indiquant quels éléments de données sont regroupés dans un produit de données spécifique.
Liens d'entrée
Un lien d'entrée représente un bord sémantique directionnel ou non directionnel dans le graphique de contexte. Ces liens joignent visuellement vos éléments de données et d'autres ressources unifiées sur le canevas. Vous pouvez filtrer ces liens de manière sélective pour isoler des relations spécifiques dans votre patrimoine de données.
Les liens d'entrée connectent des entités distinctes dans votre entreprise :
Liens de définition : associez les colonnes de la table sous-jacente directement aux termes du glossaire d'entreprise certifiés et aux formules de KPI.
Liens de relation : mappez les chemins de jointure de clé primaire, de clé étrangère et de jointure multitables validés.
Liens de trace d'agent : associez les requêtes utilisateur d'IA réelles aux tables spécifiques utilisées pour y répondre.
Liens vers des packages : associez des ensembles d'éléments de données à un produit de données sélectionné.
Les liens d'entrée servent de connexions individuelles parcourues pour assembler des ensembles de contexte. Lors des exécutions d'enrichissement automatisées, l'agent propose de nouveaux liens d'entrée pour approbation par le conservateur chaque fois qu'il identifie des jointures candidates ou des termes non associés.
Ensembles de contexte
Un ensemble de contexte est un conteneur limité d'informations sémantiques et de références d'éléments de données. Chaque ensemble de contexte est mis en œuvre en tant que groupe d'entrées spécialisé (type="context-set").
Les ensembles de contexte établissent des limites d'exécution hermétiques qui empêchent les agents d'effectuer des recherches ouvertes dans l'ensemble du catalogue de l'entreprise. Cette méthode réduit les hallucinations et la consommation de jetons.
Pour comprendre en quoi les ensembles de contexte diffèrent des constructions associées, telles que les produits de données et le graphique de contexte sémantique, ou pour obtenir des informations détaillées sur les fonctionnalités architecturales, les catégories, les espaces de noms et les modèles de consultation des agents, consultez Présentation des ensembles de contexte.
Tâches et exécutions d'enrichissement
L'amélioration automatisée des métadonnées dans Knowledge Studio est organisée en tâches d'enrichissement, jobs d'enrichissement et exécutions d'enrichissement.
Tâche d'enrichissement : configuration durable qui définit la manière dont l'agent d'enrichissement analyse un ensemble ciblé d'éléments de données. Une tâche d'enrichissement spécifie l'ensemble de contextes cible, les sources d'entrée contextuelles et les benchmarks d'évaluation.
Job d'enrichissement : processus d'orchestration du backend dans Knowledge Studio qui exécute une tâche d'enrichissement.
Exécution d'enrichissement : instance d'exécution unique d'une tâche à un moment précis. Chaque exécution inspecte les éléments cibles, extrait les signaux sémantiques et génère des demandes de modification (propositions) que les gestionnaires de données peuvent examiner.
Pour en savoir plus sur les workflows d'enrichissement, consultez À propos des tâches d'enrichissement.
Comparaison entre le graphique contextuel et la traçabilité des données
Il est essentiel de comprendre la différence entre le graphique de contexte Knowledge Studio et la traçabilité des données Knowledge Catalog pour choisir l'outil approprié.
La traçabilité des données suit le mouvement opérationnel et la transformation sous-jacente des données au fil du temps. La traçabilité répond à des questions telles que : D'où proviennent ces données ? Quel pipeline ETL a renseigné cette table ? Si ce schéma en amont change, quels tableaux de bord en aval sont affectés ? Les nœuds représentent les éléments et les jobs de transformation sous-jacents (tels que les pipelines Dataflow ou les jobs BigQuery), et les bords dirigés représentent le flux de données sous-jacent.
Le graphique de contexte modélise la sémantique métier, les relations et les connaissances du domaine. Le graphique de contexte répond à des questions telles que : Que signifie cette colonne en termes d'activité ? Quel est le lien conceptuel entre ces deux tables ? Comment un agent IA doit-il joindre ces éléments pour répondre à une question ? Les nœuds représentent les éléments sous-jacents ainsi que les entités conceptuelles (telles que les termes du glossaire, les formules de KPI et les produits de données), et les bords représentent les connexions sémantiques (telles que les liens entre les colonnes et les définitions du glossaire et les conditions de jointure validées).
Pour en savoir plus sur la traçabilité des pipelines, consultez Traçabilité des données Knowledge Catalog.
Sécurité et gouvernance d'entreprise
Knowledge Studio repose sur une architecture de sécurité de niveau entreprise conçue pour les environnements strictement régis.
Identité d'exécution gérée par l'utilisateur : les tâches d'enrichissement s'exécutent à l'aide d'un compte de service géré par l'utilisateur, qui est une identité que vous créez et gérez dans votre projet pour permettre aux services d'agir en votre nom. L'agent de service Dataplex (P4SA) emprunte l'identité de ce compte de service en utilisant le rôle Créateur de jetons du compte de service (
roles/iam.serviceAccountTokenCreator) pour générer des identifiants OAuth 2.0 de courte durée. La génération de ces identifiants éphémères limite la durée de vie des jetons d'accès, ce qui réduit le risque d'exposition des identifiants par rapport à l'utilisation de clés de compte de service de longue durée.Authentification tierce : la connexion de sources de connaissances SaaS distantes (comme Microsoft SharePoint, Atlassian Confluence, Jira et GitHub) utilise le gestionnaire d'authentification Agent Identity deGoogle Cloud, ce qui garantit que les opérateurs humains ne manipulent jamais les codes secrets bruts des clients.
Pour savoir comment configurer ces fonctionnalités de sécurité, consultez Configurer les conditions préalables à l'enrichissement.
Limites
Régimes de conformité Assured Workloads (y compris FedRAMP, CJIS, IL4/IL5 et HIPAA).
Engagements concernant la résidence des données (DRZ) Les données traitées par cette fonctionnalité peuvent être stockées ou traitées en dehors des limites géographiques que vous avez strictement configurées.
Clés de chiffrement gérées par le client (CMEK). Les données stockées ou traitées par cette fonctionnalité sont chiffrées à l'aide de clés appartenant à Google et gérées par GoogleGoogle-owned and Google-managed encryption keys au lieu de vos clés Cloud Key Management Service ou Cloud EKM.
VPC Service Controls VPC Service Controls n'est pas compatible.
Notifications Access Transparency (AXT) et contrôles Access Approval Les actions effectuées par le personnel de Google pour assurer l'assistance ou la maintenance de cette version preview ne seront pas enregistrées dans votre registre d'accès au cloud (CAL) Access Transparency.
Pendant la version preview, Knowledge Studio fonctionne dans les limites supplémentaires suivantes :
Champ d'application régional de l'ensemble de contextes : les ensembles de contextes globaux associés à des éléments de données régionaux ne sont pas acceptés. Les ensembles de contexte doivent correspondre aux limites régionales des assets qu'ils regroupent.
Gestion axée sur la console : les tâches d'enrichissement et les sessions d'exploration sont gérées via la console Google Cloud . Les API REST directes et les commandes de la CLI
gcloudpour la gestion des tâches ne sont pas disponibles en version preview. Toutefois, les agents en aval peuvent découvrir et interroger de manière programmatique des ensembles de contexte sélectionnés à l'aide des API Knowledge Catalog (ListEntries,LookupEntry) et du protocole MCP (Model Context Protocol).Curation centralisée : l'examen et l'approbation de toutes les métadonnées s'effectuent sur la page Détails de l'exécution de l'enrichissement.
Pas de SKU de facturation autonome : Knowledge Studio n'introduit pas de SKU de produit distincts. Les frais d'utilisation reflètent la consommation standard des ressources sous-jacentes ( Gemini Reasoning Engine, BigQuery et Cloud Storage).
Étapes suivantes
Explorer les assets de données et le graphique de contexte
Utilisez le canevas visuel de Knowledge Studio pour discuter avec vos données et tracer des relations sémantiques.
À propos du contexte des données
Découvrez comment le contexte actif transforme les métadonnées passives pour ancrer les agents IA et éviter les hallucinations.
Présentation des ensembles de contextes
Découvrez les conteneurs de contexte empaquetés de Knowledge Studio, utilisés pour ancrer de manière sécurisée vos agents IA en aval.
À propos des tâches d'enrichissement
Découvrez comment configurer des workflows d'extraction de métadonnées basés sur l'IA pour créer automatiquement un contexte de données.
Établir un contexte de données de base
Créez un glossaire d'entreprise, définissez des types d'aspects personnalisés et enrichissez les éléments dans BigQuery.
Ancrer des agents avec MCP
Connectez des agents IA et des outils pour les développeurs à Knowledge Catalog à l'aide de Model Context Protocol.