Mapear métodos da API Data Catalog para o Knowledge Catalog

O Data Catalog foi descontinuado. Se você estiver migrando fluxos de trabalho programáticos, scripts, bibliotecas de cliente ou configurações do Terraform do Data Catalog para o Knowledge Catalog, atualize o código para usar a API Dataplex.

Este documento fornece um mapeamento abrangente de recursos, recursos e métodos de API do Data Catalog para os equivalentes na API Dataplex.

Para o processo de migração detalhado, consulte Fazer a transição do Data Catalog para o Knowledge Catalog. Para a documentação de referência da API, consulte a documentação da API REST do Dataplex e a documentação da API RPC do Dataplex.

Mapeamento de recursos

A tabela a seguir descreve como os recursos no Data Catalog correspondem aos recursos no Knowledge Catalog:

Recurso do Data Catalog	Recurso do Knowledge Catalog	Descrição
Modelo de tag pública	Tipo de aspecto (global)	Os modelos de tag são recursos regionais no Data Catalog que podem ser usados em várias regiões. Eles correspondem a global tipos de aspectos no Knowledge Catalog.
Tag pública	Aspecto opcional	As tags públicas correspondem a aspectos opcionais anexados a uma entrada ou coluna no Knowledge Catalog.
Grupo de entradas	Grupo de entradas	Os grupos de entradas servem como contêineres organizacionais e de segurança nos dois serviços. Para Google Cloud origens, os grupos de entradas do sistema, como @bigquery são estabelecidos automaticamente por projeto.
Entrada personalizada	Entrada personalizada (com aspectos obrigatórios)	As propriedades de entrada personalizadas padrão são modeladas como aspectos obrigatórios definidos pelo EntryType da entrada personalizada.
Entrada do sistema (Google Cloud)	Entrada do sistema (com aspectos obrigatórios)	Os metadados que descrevem entidades integradas (como Schema para tabelas do BigQuery) são capturados em aspectos obrigatórios de tipos de aspectos definidos pelo sistema.
Glossários empresariais	Glossários empresariais	Taxonomias de termos comerciais que padronizam o contexto de negócios em toda a empresa.

Comparação do recurso

A tabela a seguir compara os recursos de gerenciamento de metadados do Knowledge Catalog e do Data Catalog:

Recurso	Knowledge Catalog	Data Catalog
Origens com suporte Google Cloud	Todas as origens descritas em Origens com suporte Google Cloud .	Todas as origens descritas na documentação do Data Catalog.
Ingestão de origens personalizadas	Ingestão em entradas personalizadas com estrutura regida definida por tipos de entrada. As entradas e os grupos de entradas personalizadas do Data Catalog são disponibilizados no Knowledge Catalog no tipo de entrada generic.	Ingestão em entradas personalizadas genéricas.
Enriquecimento de metadados	Capturado usando glossários empresariais, aspectos e tipos de aspectos. Os links de entrada são compatíveis. É possível anexar aspectos diretamente aos links de entrada.	Capturado usando glossários empresariais, tags e modelos de tag. Os links de entrada não são compatíveis.
Links de entrada	Compatível. Os tipos integrados, como synonym, definition, related, e schema-join, permitem conectar entradas e colunas.	Indisponível.
Feeds de mudança de metadados	Notificações de mudança de metadados quase em tempo real transmitidas para Pub/Sub.	Indisponível.
Pesquisar	A pesquisa é realizada em todas as origens com suporte Google Cloud , entradas personalizadas , aspectos e conteúdo migrado do Data Catalog na mesma organização e perímetro do VPC Service Controls.	A pesquisa é realizada em origens com suporte, entradas personalizadas e tags criadas no Data Catalog.
Linhagem de dados	Recupera detalhes de entrada para nós de recursos usando a API Dataplex. Mostra os aspectos anexados no Google Cloud console do.	Recupera detalhes de entrada usando a API Data Catalog.
Glossários empresariais	Permite criar taxonomias de termos comerciais e associá-los a recursos de dados (entradas) e colunas.	Permite associar termos a colunas.

Mapear métodos da API Data Catalog para o Knowledge Catalog

As tabelas a seguir fornecem um mapeamento método a método entre a API Data Catalog (google.cloud.datacatalog.v1) e a API Dataplex (google.cloud.dataplex.v1.CatalogService).

Grupos de entradas

O conceito de grupos de entradas é consistente nos dois serviços:

Método da API Data Catalog	Método da API Dataplex
projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)	projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)	projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)	projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)	projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)	projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)

Entradas

O conceito de entradas, que representam recursos de dados, é consistente nos dois serviços:

Método da API Data Catalog	Método da API Dataplex
projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)	projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:também é possível usar os métodos projects.locations.modifyEntry (REST) e ModifyEntry (RPC) para atualizar entradas do sistema usando permissões de sistema de origem em vez de permissões de catálogo.
projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)	projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)	projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)
entries.lookup (REST) LookupEntry (RPC)	projects.locations.lookupEntry (REST) LookupEntry (RPC) Observação:para usar lookupEntry, é necessário fornecer o nome da entrada. Para traduzir um nome SQL do BigQuery, um nome totalmente qualificado ou um nome de recurso vinculado para um nome de entrada, primeiro chame projects.locations.searchEntries (REST) ou SearchEntries (RPC).
projects.locations.entryGroups.entries.modifyEntryContacts (REST) ModifyEntryContacts (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:use update_mask para modificar apenas o aspecto contacts.
projects.locations.entryGroups.entries.modifyEntryOverview (REST) ModifyEntryOverview (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:use update_mask para modificar apenas o aspecto overview.
projects.locations.entryGroups.entries.tags.reconcile (REST) ReconcileTags (RPC)	projects.locations.metadataJobs.create (REST) CreateMetadataJob (RPC), projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:use CreateMetadataJob com o tipo de serviço de importação para importar conteúdo de metadados para várias entradas em lote. Para atualizar todos os aspectos de uma única entrada, use UpdateEntry.
catalog.search (REST) SearchCatalog (RPC)	projects.locations.searchEntries (REST) SearchEntries (RPC) Observação:searchEntries pesquisa na organização do autor da chamada. As pesquisas entre organizações precisam ser emitidas separadamente por organização.

Modelos de tag e tipos de aspecto

Os tipos de aspecto são o sucessor dos modelos de tag do Data Catalog:

Método da API Data Catalog	Método da API Dataplex
projects.locations.tagTemplates.create (REST) CreateTagTemplate (RPC)	projects.locations.aspectTypes.create (REST) CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST) GetTagTemplate (RPC)	projects.locations.aspectTypes.get (REST) GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST) UpdateTagTemplate (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST) DeleteTagTemplate (RPC)	projects.locations.aspectTypes.delete (REST) DeleteAspectType (RPC)
catalog.search (REST) com type=tag_template SearchCatalog (RPC) com type=tag_template	projects.locations.aspectTypes.list (REST) ListAspectTypes (RPC)

Campos do modelo de tag

Os campos do modelo de tag correspondem ao conteúdo do campo metadata_template em um tipo de aspecto. Use UpdateAspectType com o metadata_template modificado para criar, atualizar, renomear ou excluir campos:

Método da API Data Catalog	Método da API Dataplex
projects.locations.tagTemplates.fields.create (REST) CreateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST) UpdateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST) RenameTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST) DeleteTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Valores de enumeração do campo do modelo de tag

Modifique os valores de enumeração atualizando o campo metadata_template no tipo de aspecto correspondente:

Método da API Data Catalog	Método da API Dataplex
projects.locations.tagTemplates.fields.enumValues.rename (REST) RenameTagTemplateFieldEnumValue (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Tags e aspectos

Os aspectos são o sucessor das tags do Data Catalog. Os aspectos são encapsulados diretamente nas entradas pai ou nos links de entrada e são gerenciados usando o método UpdateEntry com update_mask:

Método da API Data Catalog	Método da API Dataplex
projects.locations.entryGroups.entries.tags.create (REST) CreateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST) ListTags (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC) Observação:para filtrar aspectos na resposta, use os parâmetros views, aspect_types e paths.
projects.locations.entryGroups.entries.tags.patch (REST) UpdateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST) DeleteTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)

Tags e taxonomias de política

As APIs para tags e taxonomias de política não estão mudando e não exigem migração.

Recursos indisponíveis no Knowledge Catalog

Os seguintes comportamentos e recursos do Data Catalog não são compatíveis ou funcionam de maneira diferente no Knowledge Catalog:

• Tipos de aspectos particulares: o conceito de aspectos particulares e tipos de aspectos particulares (as contrapartes de tags particulares e modelos de tag particulares no Data Catalog) não existe. Todos os tipos de aspectos personalizados são regidos pelas permissões do Identity and Access Management do projeto e do grupo de entradas.
• Pesquisa de tags de política: a pesquisa de tags de política usando os predicados policytag ou policytagid não é compatível com a pesquisa de catálogo.
• Transferência de permissões: ao importar grupos de entradas personalizadas, entradas personalizadas, modelos de tag e tags do Data Catalog para o Knowledge Catalog, as permissões originais não são transferidas. É necessário configurar as permissões do IAM para os recursos importados. Para uma comparação detalhada das permissões legadas e de substituição, consulte Mapear permissões do IAM entre o Data Catalog e o Knowledge Catalog.
• Resultados da inspeção da Proteção de dados sensíveis: não é possível enviar os resultados da inspeção da Proteção de dados sensíveis diretamente para o Knowledge Catalog. Em vez disso, envie os resultados da inspeção para o Data Catalog e faça a transição dos resultados para o Knowledge Catalog.
• Listagem de tipos entre projetos: não é possível listar tipos de entrada, tipos de link de entrada e tipos de aspecto em projetos em uma única chamada de API. As solicitações precisam ser definidas para um único projeto.
• Pesquisa de administrador: a pesquisa de administrador (recuperação completa) não é compatível. Em vez disso, exporte os metadados para o Cloud Storage e consulte-os usando o BigQuery.

A seguir

Guia

Transição do Data Catalog

Guia detalhado para migrar modelos de tag, entradas personalizadas e fluxos de trabalho.

Conceito

Sobre metadados no Knowledge Catalog

Saiba mais sobre o metamodelo flexível do Knowledge Catalog e o Active Context Graph.

Referência

Referência da API REST do Dataplex

Navegue pela documentação de referência da API REST do serviço Dataplex Catalog.

Referência

Referência da API RPC do Dataplex

Navegue pela documentação de referência da API gRPC do serviço Dataplex Catalog.