Data Catalog est obsolète. Si vous migrez des workflows programmatiques, des scripts, des bibliothèques clientes ou des configurations Terraform de Data Catalog vers Knowledge Catalog, vous devez mettre à jour votre code pour utiliser l'API Dataplex.
Ce document fournit un mappage complet des ressources, des fonctionnalités et des méthodes d'API Data Catalog vers leurs équivalents dans l'API Dataplex.
Pour connaître la procédure de migration détaillée, consultez Passer de Data Catalog à Knowledge Catalog. Pour obtenir la documentation de référence de l'API, consultez la documentation de l'API REST Dataplex et la documentation de l'API RPC Dataplex.
Mappage des ressources
Le tableau suivant décrit la correspondance entre les ressources de Data Catalog et celles de Knowledge Catalog :
| Ressource Data Catalog | Ressource Knowledge Catalog | Description |
|---|---|---|
| Modèle de tag public | Type d'aspect (global) |
Les modèles de tags sont des ressources régionales dans Data Catalog qui
peuvent être utilisées dans toutes les régions. Ils correspondent aux global types d'aspects
dans Knowledge Catalog. |
| Tag public | Aspect facultatif | Les tags publics correspondent à des aspects facultatifs associés à une entrée ou colonne dans Knowledge Catalog. |
| Groupe d'entrées | Groupe d'entrées | Les groupes d'entrées servent de conteneurs organisationnels et de sécurité dans les deux
services. Pour les Google Cloud sources, les groupes d'entrées système tels que
@bigquery sont établis automatiquement par projet. |
| Entrée personnalisée | Entrée personnalisée (avec les aspects requis) | Les propriétés d'entrée personnalisées standards sont modélisées en tant qu'aspects requis
définis par le EntryType de l'entrée personnalisée. |
| Entrée système (Google Cloud) | Entrée système (avec les aspects requis) | Les métadonnées décrivant les entités intégrées (telles que Schema pour
les tables BigQuery) sont capturées dans les aspects requis des
types d'aspects définis par le système. |
| Glossaires d'entreprise | Glossaires d'entreprise | Taxonomies de termes commerciaux qui normalisent le contexte commercial dans toute l' entreprise. |
Comparatif des fonctionnalités
Le tableau suivant compare les fonctionnalités de gestion des métadonnées de Knowledge Catalog et de Data Catalog :
| Fonctionnalité | Knowledge Catalog | Data Catalog |
|---|---|---|
| Sourcesacceptées Google Cloud | Toutes les sources décrites dans Sources Google Cloud acceptées. | Toutes les sources décrites dans la documentation Data Catalog. |
| Ingestion de sources personnalisées | Ingestion dans des entrées personnalisées avec une structure régie, définie par des types d'entrée. Les entrées et groupes d'entrées personnalisés Data Catalog sont disponibles dans Knowledge Catalog sous le type d'entrée |
Ingestion dans des entrées personnalisées génériques. |
| Enrichissement des métadonnées | Capturées à l'aide de glossaires d'entreprise, d'aspects et de types d'aspects. Les liens d'entrée sont acceptés. Vous pouvez associer des aspects directement aux liens d'entrée. |
Capturées à l'aide de glossaires d'entreprise, de tags et de modèles de tag. Les liens d'entrée ne sont pas acceptés. |
| Liens d'entrée | Compatible Les types intégrés tels que synonym,
definition, related, et
schema-join vous permettent de connecter des entrées et des colonnes. |
Non disponible. |
| Flux de modifications des métadonnées | Notifications de modification des métadonnées en temps quasi réel diffusées sur Pub/Sub. | Non disponible. |
| Rechercher | La recherche est effectuée sur toutes les sourcesacceptées Google Cloud , les entrées personnalisées , les aspects et le contenu Data Catalog migré au sein de la même organisation et du même périmètre VPC Service Controls. | La recherche est effectuée sur les sources acceptées, les entrées personnalisées et les tags créés dans Data Catalog. |
| Traçabilité des données | Récupère les détails des entrées pour les nœuds d'éléments à l'aide de l'API Dataplex. Affiche les aspects associés dans la Google Cloud console. | Récupère les détails des entrées à l'aide de l'API Data Catalog. |
| Glossaires d'entreprise | Vous permet de créer des taxonomies de termes commerciaux et de les associer à des éléments de données (entrées) et à des colonnes. | Vous permet d'associer des termes à des colonnes. |
Mapper les méthodes d'API Data Catalog à Knowledge Catalog
Les tableaux suivants fournissent un mappage méthode par méthode entre l'API Data Catalog (google.cloud.datacatalog.v1) et l'API Dataplex (google.cloud.dataplex.v1.CatalogService).
Groupes d'entrées
Le concept de groupes d'entrées est cohérent dans les deux services :
| Méthode d'API Data Catalog | Méthode d'API Dataplex |
|---|---|
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
Entrées
Le concept d'entrées, représentant des éléments de données, est cohérent dans les deux services :
| Méthode d'API Data Catalog | Méthode d'API Dataplex |
|---|---|
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Remarque : Vous pouvez également utiliser les méthodes |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
entries.lookup (REST)LookupEntry (RPC) |
projects.locations.lookupEntry (REST)LookupEntry (RPC)
Remarque : Pour utiliser |
projects.locations.entryGroups.entries.modifyEntryContacts (REST)ModifyEntryContacts (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Remarque : Utilisez |
projects.locations.entryGroups.entries.modifyEntryOverview (REST)ModifyEntryOverview (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Remarque : Utilisez |
projects.locations.entryGroups.entries.tags.reconcile (REST)ReconcileTags (RPC) |
projects.locations.metadataJobs.create (REST)CreateMetadataJob (RPC),projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Remarque : Utilisez |
catalog.search (REST)SearchCatalog (RPC) |
projects.locations.searchEntries (REST)SearchEntries (RPC)
Remarque : |
Modèles de tags et types d'aspects
Les types d'aspects succèdent aux modèles de tags Data Catalog :
| Méthode d'API Data Catalog | Méthode d'API Dataplex |
|---|---|
projects.locations.tagTemplates.create (REST)CreateTagTemplate (RPC) |
projects.locations.aspectTypes.create (REST)CreateAspectType (RPC) |
projects.locations.tagTemplates.get (REST)GetTagTemplate (RPC) |
projects.locations.aspectTypes.get (REST)GetAspectType (RPC) |
projects.locations.tagTemplates.patch (REST)UpdateTagTemplate (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.delete (REST)DeleteTagTemplate (RPC) |
projects.locations.aspectTypes.delete (REST)DeleteAspectType (RPC) |
catalog.search (REST) avec type=tag_templateSearchCatalog (RPC) avec type=tag_template |
projects.locations.aspectTypes.list (REST)ListAspectTypes (RPC) |
Champs de modèle de tag
Les champs de modèle de balise correspondent au contenu du champ metadata_template dans un type d'aspect. Utilisez UpdateAspectType avec le metadata_template modifié pour créer, mettre à jour, renommer ou supprimer des champs :
| Méthode d'API Data Catalog | Méthode d'API Dataplex |
|---|---|
projects.locations.tagTemplates.fields.create (REST)CreateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.patch (REST)UpdateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.rename (REST)RenameTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.delete (REST)DeleteTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Valeurs d'énumération des champs de modèle de balise
Modifiez les valeurs d'énumération en mettant à jour le champ metadata_template dans le type d'aspect correspondant :
| Méthode d'API Data Catalog | Méthode d'API Dataplex |
|---|---|
projects.locations.tagTemplates.fields.enumValues.rename (REST)RenameTagTemplateFieldEnumValue (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Tags et aspects
Les aspects succèdent aux tags Data Catalog. Les aspects sont encapsulés directement dans leurs entrées parentes ou leurs liens d'entrée, et sont gérés à l'aide de la méthode UpdateEntry avec update_mask :
| Méthode d'API Data Catalog | Méthode d'API Dataplex |
|---|---|
projects.locations.entryGroups.entries.tags.create (REST)CreateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.list (REST)ListTags (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC)
Remarque : Pour filtrer les aspects dans la réponse, utilisez les paramètres |
projects.locations.entryGroups.entries.tags.patch (REST)UpdateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.delete (REST)DeleteTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Tags avec stratégie et taxonomies
Les API pour les tags avec stratégie et les taxonomies ne changent pas et ne nécessitent pas de migration.
Fonctionnalités non compatibles avec Knowledge Catalog
Les comportements et fonctionnalités Data Catalog suivants ne sont pas compatibles ou fonctionnent différemment dans Knowledge Catalog :
- Types d'aspects privés : le concept d'aspects et de types d'aspects privés (qui correspondent aux tags et modèles de tags privés dans Data Catalog) n'existe pas. Tous les types d'aspects personnalisés sont régis par les autorisations Identity and Access Management du projet et du groupe d'entrées.
- Recherche de tags avec stratégie : la recherche de tags avec stratégie à l'aide des prédicats
policytagoupolicytagidn'est pas compatible avec la recherche dans le catalogue. - Transfert des autorisations : lorsque vous importez des groupes d'entrées personnalisées, des entrées personnalisées, des modèles de tags et des tags Data Catalog dans Knowledge Catalog, leurs autorisations d'origine ne sont pas conservées. Vous devez configurer les autorisations IAM pour les ressources importées. Pour une comparaison détaillée des autorisations héritées et de remplacement, consultez Mapper les autorisations IAM entre Data Catalog et Knowledge Catalog.
- Résultats d'inspection Sensitive Data Protection : l'envoi direct des résultats d'inspection Sensitive Data Protection à Knowledge Catalog n'est pas accepté. Envoyez plutôt les résultats d'inspection à Data Catalog, puis transférez-les vers Knowledge Catalog.
- Liste des types inter-projets : la liste des types d'entrées, des types de liens d'entrée et des types d'aspects dans les projets en un seul appel d'API n'est pas acceptée. Les requêtes doivent être limitées à un seul projet.
- Recherche d'administrateurs : la recherche d'administrateurs (rappel complet) n'est pas acceptée. Exportez plutôt les métadonnées vers Cloud Storage et interrogez-les à l'aide de BigQuery.
Étape suivante
Passer de Data Catalog
Guide pas à pas pour migrer des modèles de tags, des entrées personnalisées et des workflows.
À propos des métadonnées dans Knowledge Catalog
Découvrez le métamodèle flexible et le graphique de contexte actif de Knowledge Catalog.
Documentation de référence de l'API REST Dataplex
Parcourez la documentation de référence de l'API REST pour le service de catalogue Dataplex.
Documentation de référence sur l'API RPC Dataplex
Parcourez la documentation de référence de l'API gRPC pour le service de catalogue Dataplex.