Data Catalog dejó de estar disponible. Si migras flujos de trabajo, secuencias de comandos, bibliotecas cliente o configuraciones de Terraform programáticos de Data Catalog a Knowledge Catalog, debes actualizar tu código para usar la API de Dataplex.
En este documento, se proporciona una asignación integral de los recursos, las funciones y los métodos de la API de Data Catalog a sus equivalentes en la API de Dataplex.
Para obtener información sobre el proceso de migración paso a paso, consulta Transición de Data Catalog a Knowledge Catalog. Para obtener documentación de referencia de la API, consulta la documentación de la API de REST de Dataplex y la documentación de la API de RPC de Dataplex.
Asignación de recursos
En la siguiente tabla, se describe cómo los recursos de Data Catalog corresponden a los recursos de Knowledge Catalog:
| Recurso de Data Catalog | Recurso de Knowledge Catalog | Descripción |
|---|---|---|
| Plantilla de etiqueta pública | Tipo de aspecto (global) |
Las plantillas de etiquetas son recursos regionales en Data Catalog que
se pueden usar en todas las regiones. Corresponden a los tipos de aspectos global en Knowledge Catalog. |
| Etiqueta pública | Aspecto opcional | Las etiquetas públicas corresponden a aspectos opcionales adjuntos a una entrada o columna en Knowledge Catalog. |
| Grupo de entradas | Grupo de entradas | Los grupos de entradas sirven como contenedores organizacionales y de seguridad en ambos
servicios. Para las Google Cloud fuentes, los grupos de entradas del sistema, como
@bigquery se establecen automáticamente por proyecto. |
| Entrada personalizada | Entrada personalizada (con aspectos obligatorios) | Las propiedades de entrada personalizadas estándar se modelan como aspectos obligatorios
definidos por el EntryType de la entrada personalizada. |
| Entrada del sistema (Google Cloud) | Entrada del sistema (con aspectos obligatorios) | Los metadatos que describen entidades integradas (como Schema para
las tablas de BigQuery) se capturan en los aspectos obligatorios de los tipos de aspectos definidos por el sistema. |
| Glosarios empresariales | Glosarios empresariales | Taxonomías de términos empresariales que estandarizan el contexto empresarial en toda la empresa. |
Comparación de funciones
En la siguiente tabla, se comparan las capacidades de administración de metadatos de Knowledge Catalog y Data Catalog:
| Función | Knowledge Catalog | Data Catalog |
|---|---|---|
| Fuentes compatibles Google Cloud | Todas las fuentes descritas en Fuentes compatibles Google Cloud . | Todas las fuentes descritas en la documentación de Data Catalog. |
| Ingesta de fuentes personalizadas | Ingesta en entradas personalizadas con una estructura controlada definida por tipos de entrada. Las entradas y los grupos de entradas personalizadas de Data Catalog están disponibles en Knowledge Catalog con el tipo de entrada |
Ingesta en entradas personalizadas genéricas. |
| Enriquecimiento de metadatos | Se captura con glosarios empresariales, aspectos y tipos de aspectos. Se admiten vínculos de entrada. Puedes adjuntar aspectos directamente a los vínculos de entrada. |
Se captura con glosarios empresariales, etiquetas y plantillas de etiquetas. No se admiten vínculos de entrada. |
| Vínculos de entrada | Compatible. Los tipos integrados, como synonym,
definition, related, y
schema-join, te permiten conectar entradas y columnas. |
No disponible. |
| Feeds de cambios de metadatos | Notificaciones de cambios de metadatos casi en tiempo real transmitidas a Pub/Sub. | No disponible. |
| Buscar | La búsqueda se realiza en todas las fuentes compatibles Google Cloud , las entradas personalizadas , los aspectos y el contenido migrado de Data Catalog dentro de la misma organización y el perímetro de Controles del servicio de VPC. | La búsqueda se realiza en fuentes compatibles, entradas personalizadas y etiquetas creadas en Data Catalog. |
| Linaje de datos | Recupera los detalles de la entrada para los nodos de recursos con la API de Dataplex. Muestra los aspectos adjuntos en la Google Cloud consola de. | Recupera los detalles de la entrada con la API de Data Catalog. |
| Glosarios empresariales | Te permite crear taxonomías de términos empresariales y asociarlas con recursos de datos (entradas) y columnas. | Te permite asociar términos con columnas. |
Asigna métodos de la API de Data Catalog a Knowledge Catalog
En las siguientes tablas, se proporciona una asignación método por método entre la API de Data Catalog (google.cloud.datacatalog.v1) y la API de Dataplex (google.cloud.dataplex.v1.CatalogService).
Grupos de entrada
El concepto de grupos de entradas es coherente en ambos servicios:
| Método de la API de Data Catalog | Método de la API de Dataplex |
|---|---|
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
Entradas
El concepto de entradas, que representan recursos de datos, es coherente en ambos servicios:
| Método de la API de Data Catalog | Método de la API de Dataplex |
|---|---|
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Nota: También puedes usar los métodos |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
entries.lookup (REST)LookupEntry (RPC) |
projects.locations.lookupEntry (REST)LookupEntry (RPC)
Nota: Para usar |
projects.locations.entryGroups.entries.modifyEntryContacts (REST)ModifyEntryContacts (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Nota: Usa |
projects.locations.entryGroups.entries.modifyEntryOverview (REST)ModifyEntryOverview (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Nota: Usa |
projects.locations.entryGroups.entries.tags.reconcile (REST)ReconcileTags (RPC) |
projects.locations.metadataJobs.create (REST)CreateMetadataJob (RPC),projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Nota: Usa |
catalog.search (REST)SearchCatalog (RPC) |
projects.locations.searchEntries (REST)SearchEntries (RPC)
Nota: |
Plantillas de etiquetas y tipos de aspectos
Los tipos de aspectos son los sucesores de las plantillas de etiquetas de Data Catalog:
| Método de la API de Data Catalog | Método de la API de Dataplex |
|---|---|
projects.locations.tagTemplates.create (REST)CreateTagTemplate (RPC) |
projects.locations.aspectTypes.create (REST)CreateAspectType (RPC) |
projects.locations.tagTemplates.get (REST)GetTagTemplate (RPC) |
projects.locations.aspectTypes.get (REST)GetAspectType (RPC) |
projects.locations.tagTemplates.patch (REST)UpdateTagTemplate (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.delete (REST)DeleteTagTemplate (RPC) |
projects.locations.aspectTypes.delete (REST)DeleteAspectType (RPC) |
catalog.search (REST) con type=tag_templateSearchCatalog (RPC) con type=tag_template |
projects.locations.aspectTypes.list (REST)ListAspectTypes (RPC) |
Campos de plantilla de etiquetas
Los campos de plantilla de etiquetas corresponden al contenido del campo metadata_template en un tipo de aspecto. Usa UpdateAspectType con el metadata_template modificado para crear, actualizar, cambiar el nombre o borrar campos:
| Método de la API de Data Catalog | Método de la API de Dataplex |
|---|---|
projects.locations.tagTemplates.fields.create (REST)CreateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.patch (REST)UpdateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.rename (REST)RenameTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.delete (REST)DeleteTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Valores de enumeración de campos de plantilla de etiquetas
Modifica los valores de enumeración actualizando el campo metadata_template en el tipo de aspecto correspondiente:
| Método de la API de Data Catalog | Método de la API de Dataplex |
|---|---|
projects.locations.tagTemplates.fields.enumValues.rename (REST)RenameTagTemplateFieldEnumValue (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Etiquetas y aspectos
Los aspectos son los sucesores de las etiquetas de Data Catalog. Los aspectos se encapsulan directamente en sus entradas superiores o vínculos de entrada, y se administran con el método UpdateEntry con update_mask:
| Método de la API de Data Catalog | Método de la API de Dataplex |
|---|---|
projects.locations.entryGroups.entries.tags.create (REST)CreateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.list (REST)ListTags (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC)
Nota: Para filtrar aspectos en la respuesta, usa los parámetros |
projects.locations.entryGroups.entries.tags.patch (REST)UpdateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.delete (REST)DeleteTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Etiquetas y taxonomías de política
Las APIs para las etiquetas y taxonomías de política no cambian y no requieren migración.
Funciones no compatibles con Knowledge Catalog
Los siguientes comportamientos y funciones de Data Catalog no son compatibles o funcionan de manera diferente en Knowledge Catalog:
- Tipos de aspectos privados: No existe el concepto de aspectos privados ni tipos de aspectos privados (las contrapartes de las etiquetas privadas y las plantillas de etiquetas privadas en Data Catalog). Todos los tipos de aspectos personalizados se rigen por los permisos de Identity and Access Management del proyecto y del grupo de entradas.
- Búsqueda de etiquetas de política: No se admite la búsqueda de etiquetas de política con los predicados
policytagopolicytagiden la búsqueda de catálogo. - Transferencia de permisos: Cuando importas grupos de entradas personalizadas, entradas personalizadas, plantillas de etiquetas y etiquetas de Data Catalog a Knowledge Catalog, sus permisos originales no se transfieren. Debes configurar los permisos de IAM para los recursos importados. Para obtener una comparación detallada de los permisos heredados y de reemplazo, consulta Asigna permisos de IAM entre Data Catalog y Knowledge Catalog.
- Resultados de la inspección de Sensitive Data Protection: No se admite el envío de resultados de la inspección de Sensitive Data Protection directamente a Knowledge Catalog. En su lugar, envía los resultados de la inspección a Data Catalog y transfórmalos a Knowledge Catalog.
- Lista de tipos entre proyectos: No se admite la enumeración de tipos de entradas, tipos de vínculos de entrada y tipos de aspectos en todos los proyectos en una sola llamada a la API; las solicitudes deben limitarse a un solo proyecto.
- Búsqueda de administrador: No se admite la búsqueda de administrador (recuperación completa) . En su lugar, exporta metadatos a Cloud Storage y consulta con BigQuery.
¿Qué sigue?
Transición de Data Catalog
Guía paso a paso para migrar plantillas de etiquetas, entradas personalizadas y flujos de trabajo.
Acerca de los metadatos en Knowledge Catalog
Obtén información sobre el metamodelo flexible de Knowledge Catalog y el gráfico de contexto activo.
Referencia de la API de REST de Dataplex
Consulta la documentación de referencia de la API de REST para el servicio de Dataplex Catalog.
Referencia de la API de RPC de Dataplex
Consulta la documentación de referencia de la API de gRPC para el servicio de Dataplex Catalog.