Asigna métodos de la API de Data Catalog a Knowledge Catalog

Data Catalog dejó de estar disponible. Si migras flujos de trabajo, secuencias de comandos, bibliotecas cliente o configuraciones de Terraform programáticos de Data Catalog a Knowledge Catalog, debes actualizar tu código para usar la API de Dataplex.

En este documento, se proporciona una asignación integral de los recursos, las funciones y los métodos de la API de Data Catalog a sus equivalentes en la API de Dataplex.

Para obtener información sobre el proceso de migración paso a paso, consulta Transición de Data Catalog a Knowledge Catalog. Para obtener documentación de referencia de la API, consulta la documentación de la API de REST de Dataplex y la documentación de la API de RPC de Dataplex.

Asignación de recursos

En la siguiente tabla, se describe cómo los recursos de Data Catalog corresponden a los recursos de Knowledge Catalog:

Recurso de Data Catalog Recurso de Knowledge Catalog Descripción
Plantilla de etiqueta pública Tipo de aspecto (global) Las plantillas de etiquetas son recursos regionales en Data Catalog que se pueden usar en todas las regiones. Corresponden a los tipos de aspectos global en Knowledge Catalog.
Etiqueta pública Aspecto opcional Las etiquetas públicas corresponden a aspectos opcionales adjuntos a una entrada o columna en Knowledge Catalog.
Grupo de entradas Grupo de entradas Los grupos de entradas sirven como contenedores organizacionales y de seguridad en ambos servicios. Para las Google Cloud fuentes, los grupos de entradas del sistema, como @bigquery se establecen automáticamente por proyecto.
Entrada personalizada Entrada personalizada (con aspectos obligatorios) Las propiedades de entrada personalizadas estándar se modelan como aspectos obligatorios definidos por el EntryType de la entrada personalizada.
Entrada del sistema (Google Cloud) Entrada del sistema (con aspectos obligatorios) Los metadatos que describen entidades integradas (como Schema para las tablas de BigQuery) se capturan en los aspectos obligatorios de los tipos de aspectos definidos por el sistema.
Glosarios empresariales Glosarios empresariales Taxonomías de términos empresariales que estandarizan el contexto empresarial en toda la empresa.

Comparación de funciones

En la siguiente tabla, se comparan las capacidades de administración de metadatos de Knowledge Catalog y Data Catalog:

Función Knowledge Catalog Data Catalog
Fuentes compatibles Google Cloud Todas las fuentes descritas en Fuentes compatibles Google Cloud . Todas las fuentes descritas en la documentación de Data Catalog.
Ingesta de fuentes personalizadas

Ingesta en entradas personalizadas con una estructura controlada definida por tipos de entrada.

Las entradas y los grupos de entradas personalizadas de Data Catalog están disponibles en Knowledge Catalog con el tipo de entrada generic.

Ingesta en entradas personalizadas genéricas.
Enriquecimiento de metadatos

Se captura con glosarios empresariales, aspectos y tipos de aspectos.

Se admiten vínculos de entrada. Puedes adjuntar aspectos directamente a los vínculos de entrada.

Se captura con glosarios empresariales, etiquetas y plantillas de etiquetas.

No se admiten vínculos de entrada.

Vínculos de entrada Compatible. Los tipos integrados, como synonym, definition, related, y schema-join, te permiten conectar entradas y columnas. No disponible.
Feeds de cambios de metadatos Notificaciones de cambios de metadatos casi en tiempo real transmitidas a Pub/Sub. No disponible.
Buscar La búsqueda se realiza en todas las fuentes compatibles Google Cloud , las entradas personalizadas , los aspectos y el contenido migrado de Data Catalog dentro de la misma organización y el perímetro de Controles del servicio de VPC. La búsqueda se realiza en fuentes compatibles, entradas personalizadas y etiquetas creadas en Data Catalog.
Linaje de datos Recupera los detalles de la entrada para los nodos de recursos con la API de Dataplex. Muestra los aspectos adjuntos en la Google Cloud consola de. Recupera los detalles de la entrada con la API de Data Catalog.
Glosarios empresariales Te permite crear taxonomías de términos empresariales y asociarlas con recursos de datos (entradas) y columnas. Te permite asociar términos con columnas.

Asigna métodos de la API de Data Catalog a Knowledge Catalog

En las siguientes tablas, se proporciona una asignación método por método entre la API de Data Catalog (google.cloud.datacatalog.v1) y la API de Dataplex (google.cloud.dataplex.v1.CatalogService).

Grupos de entrada

El concepto de grupos de entradas es coherente en ambos servicios:

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)
projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)
projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)
projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)
projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)
projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)

Entradas

El concepto de entradas, que representan recursos de datos, es coherente en ambos servicios:

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)
projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)
projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: También puedes usar los métodos projects.locations.modifyEntry (REST) y ModifyEntry (RPC) para actualizar las entradas del sistema con permisos del sistema de origen en lugar de permisos de catálogo.

projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)
projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)
projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)
entries.lookup (REST)
LookupEntry (RPC)
projects.locations.lookupEntry (REST)
LookupEntry (RPC)

Nota: Para usar lookupEntry, debes proporcionar el nombre de la entrada. Para traducir un nombre de SQL de BigQuery, un nombre completamente calificado o un nombre de recurso vinculado a un nombre de entrada, primero llama a projects.locations.searchEntries (REST) o SearchEntries (RPC).

projects.locations.entryGroups.entries.modifyEntryContacts (REST)
ModifyEntryContacts (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: Usa update_mask para modificar solo el aspecto contacts.

projects.locations.entryGroups.entries.modifyEntryOverview (REST)
ModifyEntryOverview (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: Usa update_mask para modificar solo el aspecto overview.

projects.locations.entryGroups.entries.tags.reconcile (REST)
ReconcileTags (RPC)
projects.locations.metadataJobs.create (REST)
CreateMetadataJob (RPC),
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: Usa CreateMetadataJob con el tipo de trabajo de importación para importar contenido de metadatos para varias entradas en lote. Para actualizar todos los aspectos de una sola entrada, usa UpdateEntry.

catalog.search (REST)
SearchCatalog (RPC)
projects.locations.searchEntries (REST)
SearchEntries (RPC)

Nota: searchEntries busca dentro de la organización del llamador. Las búsquedas entre organizaciones deben emitirse por separado por organización.

Plantillas de etiquetas y tipos de aspectos

Los tipos de aspectos son los sucesores de las plantillas de etiquetas de Data Catalog:

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.tagTemplates.create (REST)
CreateTagTemplate (RPC)
projects.locations.aspectTypes.create (REST)
CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST)
GetTagTemplate (RPC)
projects.locations.aspectTypes.get (REST)
GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST)
UpdateTagTemplate (RPC)
projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST)
DeleteTagTemplate (RPC)
projects.locations.aspectTypes.delete (REST)
DeleteAspectType (RPC)
catalog.search (REST) con type=tag_template
SearchCatalog (RPC) con type=tag_template
projects.locations.aspectTypes.list (REST)
ListAspectTypes (RPC)

Campos de plantilla de etiquetas

Los campos de plantilla de etiquetas corresponden al contenido del campo metadata_template en un tipo de aspecto. Usa UpdateAspectType con el metadata_template modificado para crear, actualizar, cambiar el nombre o borrar campos:

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.tagTemplates.fields.create (REST)
CreateTagTemplateField (RPC)
projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST)
UpdateTagTemplateField (RPC)
projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST)
RenameTagTemplateField (RPC)
projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST)
DeleteTagTemplateField (RPC)
projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

Valores de enumeración de campos de plantilla de etiquetas

Modifica los valores de enumeración actualizando el campo metadata_template en el tipo de aspecto correspondiente:

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.tagTemplates.fields.enumValues.rename (REST)
RenameTagTemplateFieldEnumValue (RPC)
projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

Etiquetas y aspectos

Los aspectos son los sucesores de las etiquetas de Data Catalog. Los aspectos se encapsulan directamente en sus entradas superiores o vínculos de entrada, y se administran con el método UpdateEntry con update_mask:

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.entryGroups.entries.tags.create (REST)
CreateTag (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST)
ListTags (RPC)
projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)

Nota: Para filtrar aspectos en la respuesta, usa los parámetros views, aspect_types y paths.

projects.locations.entryGroups.entries.tags.patch (REST)
UpdateTag (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST)
DeleteTag (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Etiquetas y taxonomías de política

Las APIs para las etiquetas y taxonomías de política no cambian y no requieren migración.

Funciones no compatibles con Knowledge Catalog

Los siguientes comportamientos y funciones de Data Catalog no son compatibles o funcionan de manera diferente en Knowledge Catalog:

  • Tipos de aspectos privados: No existe el concepto de aspectos privados ni tipos de aspectos privados (las contrapartes de las etiquetas privadas y las plantillas de etiquetas privadas en Data Catalog). Todos los tipos de aspectos personalizados se rigen por los permisos de Identity and Access Management del proyecto y del grupo de entradas.
  • Búsqueda de etiquetas de política: No se admite la búsqueda de etiquetas de política con los predicados policytag o policytagid en la búsqueda de catálogo.
  • Transferencia de permisos: Cuando importas grupos de entradas personalizadas, entradas personalizadas, plantillas de etiquetas y etiquetas de Data Catalog a Knowledge Catalog, sus permisos originales no se transfieren. Debes configurar los permisos de IAM para los recursos importados. Para obtener una comparación detallada de los permisos heredados y de reemplazo, consulta Asigna permisos de IAM entre Data Catalog y Knowledge Catalog.
  • Resultados de la inspección de Sensitive Data Protection: No se admite el envío de resultados de la inspección de Sensitive Data Protection directamente a Knowledge Catalog. En su lugar, envía los resultados de la inspección a Data Catalog y transfórmalos a Knowledge Catalog.
  • Lista de tipos entre proyectos: No se admite la enumeración de tipos de entradas, tipos de vínculos de entrada y tipos de aspectos en todos los proyectos en una sola llamada a la API; las solicitudes deben limitarse a un solo proyecto.
  • Búsqueda de administrador: No se admite la búsqueda de administrador (recuperación completa) . En su lugar, exporta metadatos a Cloud Storage y consulta con BigQuery.

¿Qué sigue?

Guía

Guía paso a paso para migrar plantillas de etiquetas, entradas personalizadas y flujos de trabajo.

Concepto

Obtén información sobre el metamodelo flexible de Knowledge Catalog y el gráfico de contexto activo.

Referencia

Consulta la documentación de referencia de la API de REST para el servicio de Dataplex Catalog.

Referencia

Consulta la documentación de referencia de la API de gRPC para el servicio de Dataplex Catalog.