À propos des connecteurs de métadonnées

À mesure que les paysages de données se complexifient, les métadonnées peuvent être cloisonnées sur différentes plates-formes, ce qui complique la recherche, la fiabilité et la gestion des données par les équipes. Les connecteurs Knowledge Catalog (anciennement Dataplex Universal Catalog) permettent de résoudre ce problème en vous permettant d'importer automatiquement des métadonnées techniques, opérationnelles, commerciales et sémantiques à partir de sources de données tierces directement dans Google Cloud.

Grâce à ces connecteurs, vous pouvez permettre aux analystes de rechercher des éléments de données externes sans changer d'outil, aux intendants de données d'appliquer une gouvernance centralisée dans un environnement multicloud et de surveiller la qualité des données multiplates-formes au même endroit. En planifiant des exécutions récurrentes, vous pouvez synchroniser votre catalogue avec vos systèmes sources afin que vos équipes disposent d'une vue précise et à jour de votre écosystème de données.

Sources de données prises en charge

Vous pouvez importer des métadonnées à partir des sources suivantes à l'aide des connecteurs Knowledge Catalog :

  • Databricks Unity Catalog
  • dbt Core et dbt Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

Intégrations avec des partenaires de gouvernance des données

Vous pouvez également intégrer Knowledge Catalog à d'autres plates-formes de catalogage et de gouvernance des données. Au lieu d'extraire des données de sources brutes, ces intégrations permettent aux outils de catalogue parallèles de partager des informations. Vous pouvez enrichir les métadonnées dans Knowledge Catalog ou exporter les métadonnées Knowledge Catalog pour les afficher dans ces outils tiers.

Les partenaires suivants proposent des intégrations pour Knowledge Catalog :

La suite de cette page décrit l'importation de métadonnées via des connecteurs. Pour en savoir plus sur les intégrations de partenaires, consultez les pages des partenaires associées.

Fonctionnement

Les connecteurs Knowledge Catalog utilisent des intégrations prédéfinies pour se connecter à vos sources de données et extraire automatiquement les métadonnées. Le service de transfert de données BigQuery gère ces transferts et mappe les métadonnées extraites à un groupe d'entrées Knowledge Catalog spécifique que vous choisissez.

Les connecteurs extraient les types de métadonnées suivants :

  • Métadonnées techniques : définitions du schéma, du type de données et du nom de la colonne.
  • Métadonnées opérationnelles : codes temporels de création et de modification, traçabilité, statistiques d'utilisation et résultats de qualité des données.
  • Métadonnées métier : tags, propriétaires et annotations.
  • Métadonnées sémantiques : dimensions, mesures, métriques, requêtes de référence et relations.

Une fois que vous avez configuré un connecteur, Knowledge Catalog planifie l'importation des métadonnées selon la programmation que vous spécifiez, ce qui garantit que le catalogue reste synchronisé avec le système source. Chaque fois qu'une importation de métadonnées est exécutée, elle écrase complètement les entrées du groupe d'entrées de destination géré par cette configuration. Les objets de métadonnées qui ne sont plus présents dans la source sont supprimés du groupe d'entrées, et de nouveaux objets sont ajoutés. Les objets du groupe d'entrées qui ne sont pas importés par la configuration du connecteur ne sont pas affectés.

Terminologie

Les termes suivants sont utilisés dans cette documentation :

  • Configuration de l'importation de métadonnées : paramètres d'une tâche planifiée ou à la demande qui utilise le service de transfert de données BigQuery pour extraire des métadonnées d'une source et les charger dans Knowledge Catalog.
  • Exécution : instance d'exécution unique d'une configuration d'importation de métadonnées.
  • Groupe d'entrées : ressource dans Knowledge Catalog qui contient des entrées de métadonnées. Lorsque vous configurez un connecteur, vous désignez un groupe d'entrées comme destination des métadonnées importées.
  • Entrée : ressource dans Knowledge Catalog qui représente un élément de données, tel qu'une table ou une vue.

Tarifs

Knowledge Catalog et le service de transfert de données BigQuery ne facturent aucuns frais supplémentaires pour l'importation de métadonnées à l'aide de connecteurs.

Les frais standards s'appliquent aux autres utilisations de Knowledge Catalog (comme le stockage des métadonnées). Pour en savoir plus, consultez les tarifs de Knowledge Catalog.

Limites

  • Seules les métadonnées sont importées, pas les données sous-jacentes des tables ou des vues sources. Pour transférer les données sous-jacentes, vous pouvez utiliser le service de transfert de données BigQuery.
  • Chaque exécution écrase complètement les entrées gérées par le connecteur dans le groupe d'entrées de destination. Les mises à jour incrémentielles des métadonnées ne sont pas acceptées.
  • L'historique des exécutions est conservé pendant 90 jours.

Étapes suivantes