Sobre os conectores de metadados

À medida que os cenários de dados se tornam mais complexos, os metadados podem ficar isolados em diferentes plataformas, dificultando a localização, a confiança e o gerenciamento dos dados pelas equipes. Os conectores do Knowledge Catalog (antigo Dataplex Universal Catalog) ajudam a resolver isso, permitindo que você importe automaticamente metadados técnicos, operacionais, comerciais e semânticos de fontes de dados de terceiros diretamente para o Google Cloud.

Com esses conectores, os analistas podem pesquisar recursos de dados externos sem trocar de ferramenta, os gestores de dados podem aplicar uma governança centralizada em um ambiente multicloud e monitorar a qualidade de dados multiplataforma em um só lugar. Ao programar execuções recorrentes, você pode manter o catálogo sincronizado com os sistemas de origem para que suas equipes tenham uma visão precisa e atualizada do ecossistema de dados.

Fontes de dados compatíveis

É possível importar metadados das seguintes fontes usando os conectores do Knowledge Catalog:

  • Databricks Unity Catalog
  • dbt Core e Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

Integrações com parceiros de governança de dados

Também é possível integrar o Knowledge Catalog a outras plataformas de catalogação e governança de dados. Em vez de extrair de fontes de dados brutas, essas integrações permitem que ferramentas de catálogo paralelas compartilhem informações. É possível enriquecer metadados no Knowledge Catalog ou exportar metadados do Knowledge Catalog para visualizá-los nessas ferramentas de terceiros.

Os seguintes parceiros oferecem integrações para o Knowledge Catalog:

O restante desta página descreve a importação de metadados por conectores. Para mais informações sobre integrações de parceiros, consulte as páginas de parceiros vinculadas.

Como funciona

Os conectores do Knowledge Catalog usam integrações pré-criadas para se conectar às suas fontes de dados e extrair metadados automaticamente. O serviço de transferência de dados do BigQuery gerencia essas transferências e mapeia os metadados extraídos para um grupo de entrada específico do Knowledge Catalog que você escolher.

Os conectores extraem os seguintes tipos de metadados:

  • Metadados técnicos: definições de esquema, tipo de dados e nome da coluna.
  • Metadados operacionais: carimbos de data/hora criados e modificados, linhagem, estatísticas de uso e resultados de qualidade de dados.
  • Metadados de negócios: tags, proprietários e anotações.
  • Metadados semânticos: dimensões, medições, métricas, consultas de ouro e relacionamentos.

Depois que você configura um conector, o Knowledge Catalog programa execuções de importação de metadados na programação que você especificar, garantindo que o catálogo permaneça sincronizado com o sistema de origem. Sempre que uma execução de importação de metadados ocorre, ela realiza uma substituição completa das entradas no grupo de entradas de destino gerenciado por essa configuração. Os objetos de metadados que não estão mais presentes na origem são removidos do grupo de entrada, e novos objetos são adicionados. Os objetos no grupo de entrada que não são importados pela configuração do conector não são afetados.

Terminologia

Os seguintes termos são usados nesta documentação:

  • Configuração de importação de metadados: as configurações de uma tarefa programada ou sob demanda que usa o serviço de transferência de dados do BigQuery para extrair metadados de uma origem e carregá-los no Knowledge Catalog.
  • Execução: uma única instância de execução de uma configuração de importação de metadados.
  • Grupo de entrada: um recurso no Knowledge Catalog que contém entradas de metadados. Ao configurar um conector, você designa um grupo de entradas como o destino dos metadados importados.
  • Entrada: um recurso no Knowledge Catalog que representa um recurso de dados, como uma tabela ou visualização.

Preços

Não há cobranças adicionais do Knowledge Catalog ou do serviço de transferência de dados do BigQuery para importar metadados usando conectores.

As cobranças padrão se aplicam a outros usos do Knowledge Catalog, como armazenamento de metadados. Para mais informações, consulte Preços do Knowledge Catalog.

Limitações

  • Somente os metadados são importados, não os dados subjacentes das tabelas ou visualizações de origem. Para transferir os dados, use o serviço de transferência de dados do BigQuery.
  • Cada execução substitui completamente as entradas gerenciadas pelo conector no grupo de entrada de destino. Não há suporte para atualizações incrementais de metadados.
  • O histórico de execuções é retido por 90 dias.

A seguir