Usar o Knowledge Catalog com o BigQuery

O Knowledge Catalog (antigo Dataplex Universal Catalog) interage com o BigQuery como uma camada central de governança de dados e acesso de agente para os metadados do BigQuery. Para mais informações, consulte a Visão geral do Knowledge Catalog.

Como usar o Knowledge Catalog com o BigQuery?

O Knowledge Catalog interage com o BigQuery das seguintes maneiras.

Ingestão automatizada de metadados

O Knowledge Catalog descobre e indexa automaticamente metadados técnicos de recursos do BigQuery. Isso inclui o seguinte:

Representação e enriquecimento de metadados

  • Entradas: cada tabela ou recurso do BigQuery é representado como uma entrada no catálogo, em vez da tabela inteira. Por exemplo, project.dataset.table.
  • Integração do painel de qualidade de dados: o Knowledge Catalog oferece um painel de qualidade de dados para cada entrada no catálogo. Além das verificações de dados do Knowledge Catalog, os resultados de asserção do Dataform são uma fonte para esse quadro de indicadores (Prévia).

  • Enriquecimento automático de metadados: para tabelas e visualizações criadas com o Dataform, é possível definir metadados semânticos diretamente no código. Esses metadados são sincronizados automaticamente com o Knowledge Catalog após a conclusão de uma ação de pipeline (pré-lançamento). Os seguintes tipos de aspectos são aceitos:

    • Visão geral: documentação e texto de resumo da entrada.
    • Aspectos genéricos: tags de metadados semânticos para detalhes técnicos, como sistema de tabela e informações de tipo.

    Para verificar o status de uma atualização de metadados, siga as instruções em Conferir execuções manuais anteriores.

    Depois que os metadados forem sincronizados, você poderá pesquisar e visualizar a entrada no Knowledge Catalog. Para mais informações, consulte Pesquisar recursos.

  • Metadados no nível da coluna: colunas ou campos individuais são representados como caminhos, permitindo anexar metadados específicos, como marcadores de PII ou pontuações de qualidade de dados, a campos individuais em uma tabela do BigQuery, em vez de apenas à tabela em si.

  • Aspectos: os metadados técnicos são enriquecidos com aspectos, que adicionam contexto comercial aos dados, como propriedade, qualidade de dados e documentação.

  • Produtos de dados: é possível agrupar recursos relacionados do BigQuery em produtos de dados, como dados da empresa de e-commerce, que têm acesso compartilhado e restrições de governança.

  • Pesquisa semântica: os usuários podem usar linguagem natural para pesquisar dados do BigQuery, o que é especialmente útil para cientistas de dados e agentes de IA encontrarem produtos de dados confiáveis usando consultas longas ou complexas.
  • Tradução de nomes: para facilitar a pesquisa programática, o sistema permite traduzir nomes SQL do BigQuery ou nomes totalmente qualificados em nomes de entradas do Knowledge Catalog.

Acesso e embasamento de agentes

  • Acesso por agentes: os agentes de IA podem descobrir e usar de forma adaptativa as ferramentas do Knowledge Catalog por um servidor MCP local ou remoto.
  • Contexto para agentes de IA: o Knowledge Catalog organiza um gráfico de contexto que vincula conjuntos de dados do BigQuery à semântica de negócios, ajudando a reduzir as alucinações de IA ao garantir que os modelos usem dados aprovados pela empresa.

Governança e compliance

  • Linhagem de dados: o Knowledge Catalog rastreia automaticamente como os dados fluem e se transformam em tabelas do BigQuery e fora delas. Essa capacidade é essencial para auditar informações sensíveis, como PII, em todo o patrimônio de dados.
  • Controle de acesso:o gerenciamento de metadados é integrado ao Identity and Access Management (IAM) e ao VPC Service Controls para garantir que a descoberta e o acesso aos metadados do BigQuery sigam as políticas de segurança organizacionais.

Considerações sobre a migração:

A migração para o Knowledge Catalog do Data Catalog descontinuado envolve várias etapas. Os metadados padrão do BigQuery (como conjuntos de dados, tabelas e visualizações) ficam disponíveis automaticamente no Knowledge Catalog. Portanto, o processo de migração se concentra principalmente em metadados personalizados, uso da API e padrões da interface do usuário.

Confira a seguir os principais pontos a serem considerados ao migrar.

Entenda a mudança

O Knowledge Catalog oferece recursos aprimorados para gerenciamento, governança e descoberta de metadados em comparação com o Data Catalog. O Knowledge Catalog usa uma API diferente (a API Knowledge Catalog) e tem um modelo de dados um pouco diferente. Por exemplo, o Knowledge Catalog usa aspectos e tipos de aspectos em vez de tags e modelos de tags.

Avaliar o uso atual do catálogo de dados

  • Sem metadados personalizados: se você usou apenas o Knowledge Catalog para a ingestão e descoberta automáticas de metadados padrão do BigQuery sem criar tags, modelos de tags, entradas ou grupos de entradas personalizados, a transição é simples. Você pode começar a usar a interface do Knowledge Catalog imediatamente.
  • Metadados personalizados ou uso programático: se você criou tags ou modelos personalizados, entradas personalizadas ou usa a API Data Catalog, bibliotecas de cliente, comandos da Google Cloud CLI ou o Terraform, é necessário fazer uma transição mais estruturada.

Considerações específicas sobre o BigQuery

  • Ingestão automática: os metadados técnicos de recursos do BigQuery (conjuntos de dados, tabelas, visualizações, modelos, rotinas e gráficos) continuam sendo ingeridos automaticamente no Knowledge Catalog, assim como no Dataplex Universal Catalog.
  • Tags de política: as tags de política usadas para o controle de acesso no nível da coluna do BigQuery não estão descontinuadas, e o gerenciamento delas continua no BigQuery.
  • Linhagem: a linhagem de dados para operações do BigQuery aparece no Knowledge Catalog. Para mais informações sobre a linhagem de dados, consulte Rastrear a linhagem de dados de uma tabela do BigQuery.

Siga o guia de transição

Para migrar para o Knowledge Catalog, siga as etapas em Fazer a transição do Data Catalog para o Knowledge Catalog.

Para atualizar fluxos de trabalho programáticos para a API Knowledge Catalog, consulte Mapear métodos da API Data Catalog para o Knowledge Catalog.

A seguir

Saiba mais sobre o Knowledge Catalog: