Sobre aspectos e tipos de aspectos

Os ambientes de dados corporativos geralmente contêm centenas de conjuntos de dados, tabelas e modelos de dados em vários sistemas de armazenamento. Para entender quem é o proprietário de cada conjunto de dados, se ele contém informações sensíveis, como informações de identificação pessoal (PII), ou se atende aos padrões de qualidade, geralmente é necessário investigar manualmente as fontes de dados ou rastrear documentações dispersas.

Os aspectos e tipos de aspecto no Knowledge Catalog (antigo Dataplex Universal Catalog) resolvem esse problema oferecendo uma maneira padronizada e extensível de anexar contexto de negócios estruturado, políticas de governança e atributos operacionais diretamente aos recursos de dados.

Neste documento, descrevemos os conceitos de arquitetura, as regras de escopo e os limites de governança para tipos de aspecto e aspectos no Knowledge Catalog. Para anexar aspectos a entradas atuais ou criar tipos de aspecto personalizados, consulte Gerenciar aspectos e enriquecer metadados.

Tipos de aspecto

Um tipo de aspecto (AspectType) é um modelo de esquema reutilizável que define os campos de metadados, os tipos de dados e as regras de validação de um aspecto. Antes de criar ou anexar um aspecto, é preciso ter um tipo de aspecto que defina o esquema dele.

Ao criar um tipo de aspecto personalizado, é necessário especificar um ID que obedeça às diretrizes de nomenclatura de recursos do Knowledge Catalog.

Categorias de tipos de aspecto

Os tipos de aspecto são divididos em duas categorias com base na propriedade e no escopo: tipos de aspecto personalizados e tipos de aspecto do sistema.

Tipos de aspecto personalizados

Os tipos de aspecto personalizados são modelos de esquema criados e gerenciados pela sua organização. Eles são usados para capturar metadados específicos do domínio, como proprietário da empresa, níveis de SLA, políticas de retenção de dados ou classificações de conformidade.

Os tipos de aspecto personalizados se aplicam a entradas e colunas, mas não a links de entrada. Isso significa que é possível usar tipos de aspecto personalizados para definir sua própria taxonomia específica da organização para recursos de dados e campos de esquema individuais. Como os tipos de aspecto personalizados não se aplicam a links de entrada, não é possível usá-los para definir metadados de relacionamento personalizados entre entradas. Os links de entrada só são compatíveis com tipos específicos de aspecto do sistema. É possível definir um tipo de aspecto personalizado em um local regional específico ou como um recurso global:

  • Tipos de aspecto globais: replicados em todas as regiões do Google Cloud e podem ser anexados a entradas em qualquer região. Definir um tipo de aspecto global permite aplicar um único esquema padronizado em todo o seu ambiente distribuído sem gerenciar duplicatas. No entanto, como as definições de esquema são replicadas globalmente, escolha um tipo de aspecto regional se os requisitos da política de compliance ou residência de dados da sua organização exigirem que as definições de metadados permaneçam estritamente confinadas a um limite geográfico específico.
  • Tipos de aspecto regionais: armazenados em uma região específica, como us-central1 ou europe-west1, e só podem ser anexados a entradas que residem nessa mesma região. Escolha um tipo de aspecto regional para obedecer aos requisitos de soberania de dados ou quando as estruturas de metadados forem exclusivas de uma carga de trabalho regional. Se você precisar da mesma estrutura de metadados em várias regiões isoladas, crie e mantenha definições de tipo de aspecto separadas em cada região de destino.

Para mais informações sobre o escopo de recursos, consulte Restrições de projeto e local.

Tipos de aspecto do sistema

Os tipos de aspecto do sistema são modelos predefinidos que o Google Cloud fornece e mantém. Os tipos de aspecto do sistema são sempre globais e são armazenados em um projeto gerenciado pelo Google com o número de projeto 655216118709 e o alias dataplex-types. Exemplo:

projects/655216118709/locations/global/aspectTypes/schema

Os tipos de aspecto do sistema se dividem em dois grupos funcionais:

  • Tipos de aspecto do sistema reutilizáveis: modelos próprios que podem ser anexados a entradas ou colunas para registrar metadados padronizados, como definições de esquema, criação de perfil de dados automatizada ou visões gerais de qualidade de dados.
  • Tipos de aspecto de sistema restritos: gerenciados automaticamente pelos serviços do Google Cloud para representar atributos de infraestrutura subjacentes, como layouts de tabela do BigQuery ou configurações de bucket do Cloud Storage. É possível visualizar aspectos em tipos restritos, mas não é possível criar, modificar ou excluir manualmente.

Cada tipo de aspecto do sistema tem as próprias permissões do IAM. Para mais informações, consulte Permissões do IAM para tipos de aspecto do sistema, tipos de entrada e tipos de link de entrada.

A tabela a seguir lista os tipos de aspecto do sistema fornecidos pelo Knowledge Catalog:

Categoria Descrição Tipos de aspecto fornecidos pelo Knowledge Catalog
Tipo de aspecto do sistema reutilizável Modelos predefinidos que podem ser anexados a entradas, colunas ou links de entrada.
  • contacts
  • data-profile
  • data-quality-rule-template
  • data-quality-scorecard
  • data-rules
  • generic
  • graph-profile
  • guidelines
  • overview
  • schema-join
  • schema
  • storage
  • usage
Tipo de aspecto do sistema restrito Modelos de infraestrutura gerenciados automaticamente pelos serviços do Google Cloud . Os aspectos são somente leitura. incluindo, mas não se limitando a:
  • analytics-hub
  • aspecttype-aspect
  • bigquery-dataset
  • bigquery-table
  • cloudsql-database
  • cloudsql-instance
  • cloudsql-table
  • entrygroup-aspect
  • entrytype-aspect
  • sensitive-data-protection-profile
  • storage-bucket
  • storage-folder

Tipos de aspecto personalizados e Gemini no BigQuery

O Gemini no BigQuery baseia a geração de SQL e o raciocínio de dados em definições de esquema padrão, restrições de tabela e campos de descrição de tabela ou coluna nativos. Os tipos de aspectos personalizados definidos pelo usuário no Knowledge Catalog são armazenados no plano do catálogo para governança, pesquisa e recuperação de API, mas não são injetados dinamicamente no pipeline de recuperação de comandos contextuais do Gemini.

Isso significa que os recursos de IA generativa no BigQuery não podem ler automaticamente os metadados armazenados em campos de aspecto personalizados ao gerar consultas SQL ou responder a perguntas sobre seus dados.

Práticas recomendadas

Para garantir que os modelos de IA generativa no BigQuery incorporem o contexto de negócios às consultas geradas, preencha as descrições nativas de tabelas e colunas no BigQuery, além dos aspectos personalizados do catálogo. Essa abordagem dupla ajuda a garantir que os assistentes de IA operacionais recuperem o contexto da tabela de forma interativa, enquanto os pipelines de governança do catálogo aplicam as políticas de metadados corporativos.

Aspectos

Um aspecto (Aspect) é uma instância concreta de um tipo de aspecto anexado a uma entrada, coluna ou relação específica, contendo os valores de metadados reais. Os aspectos são encapsulados diretamente nos recursos pai, o que permite realizar operações atômicas de leitura e gravação, além de atualizações de entrada. Isso significa que é possível recuperar ou atualizar uma entrada e todos os metadados associados a ela em uma única chamada de API, evitando problemas de consistência de várias chamadas.

Posicionamento de aspecto e níveis de meta

É possível anexar aspectos em três níveis de destino distintos no Knowledge Catalog:

  • Aspectos no nível da entrada: descrevem o recurso de dados como um todo. Use aspectos de nível de entrada para propriedade no nível do recurso (contacts), resumos executivos (overview), métricas de uso do conjunto de dados (usage) e índices de qualidade agregados (data-quality-scorecard).
  • Aspectos no nível da coluna (caminhos de esquema): descrevem colunas individuais ou campos aninhados em uma tabela estruturada. Ao referenciar uma coluna, anexe o aspecto usando a notação de caminho do esquema @Schema.<column_name> (por exemplo, @Schema.email_address ou @Schema.billing_address.postal_code). Use aspectos no nível da coluna para classificação de PII, regras de qualidade de dados no nível da coluna e tags semânticas.
  • Aspectos no nível do link da entrada: descrevem a relação entre duas entradas vinculadas. É possível anexar aspectos a links de entrada direcionais ou não direcionais (exceto links schema-join) para registrar metadados de relacionamento. Use aspectos no nível do link de entrada para pontuações de confiança de mesclagem, regras de transformação ou notas de linhagem de mapeamento.

A tabela a seguir resume o posicionamento de aspectos compatíveis:

Nível pretendido Recurso de destino Sintaxe do identificador de chave Tipos de aspecto comuns
Iniciante Recurso de dados (tabela, modelo, conjunto de arquivos) <aspect_type_id> contacts, overview, data-profile, SLAs personalizados
Nível da coluna Campo ou coluna em um esquema de entrada <aspect_type_id>@Schema.<column_name> Classificação de PII, regras de mascaramento de colunas, pontuações de validação de campo
Nível do link de entrada Relação semântica entre as entradas <aspect_type_id> Confiança no relacionamento, critérios de mesclagem, linhagem de mapeamento

Categorias de aspectos

Dependendo do EntryType, os aspectos anexados a uma entrada são classificados como obrigatórios ou opcionais:

  • Aspectos obrigatórios: definidos como obrigatórios pelo EntryType da entrada. Os aspectos obrigatórios precisam ser preenchidos quando a entrada é criada e não podem ser excluídos enquanto a entrada existir. Para entradas do sistema (como tabelas do BigQuery), os aspectos obrigatórios, como Schema, são preenchidos e sincronizados automaticamente pelo Google Cloud.
  • Aspectos opcionais: metadados complementares anexados por gestores de dados, pipelines automatizados ou agentes de IA para enriquecer uma entrada além dos requisitos do modelo de referência. Os aspectos opcionais podem ser adicionados, atualizados ou removidos a qualquer momento sem afetar o ciclo de vida da entrada.

Tipos de aspecto de sistema especializados

O Knowledge Catalog oferece tipos de aspectos de sistema reutilizáveis e especializados que registram os resultados da criação de perfis de dados, da qualidade de dados e da extração de relacionamentos:

  • Quadro de desempenho de qualidade de dados (data-quality-scorecard): registra as pontuações gerais de qualidade de dados, o status da avaliação e as pontuações de dimensão por coluna geradas pelas verificações de qualidade de dados do Dataplex.
  • Regras de dados (data-rules) e modelos de regras (data-quality-rule-template): armazene e gerencie regras e modelos de validação de dados reutilizáveis que podem ser aplicados em vários conjuntos de dados.
  • Perfil de dados (data-profile): armazena métricas estatísticas sobre dados de tabela, como porcentagens nulas, valores distintos e frequências de distribuição.
  • Perfil de gráfico (graph-profile): captura entidades extraídas por IA, arestas de relacionamento e mapas de informações extraídos de documentos não estruturados.

Restrições de escopo de projeto e local

Para manter os limites de governança de dados e evitar dependências acidentais de metadados entre regiões, o Knowledge Catalog aplica as seguintes restrições de escopo:

Recurso Regra de local Regra do projeto
Entradas O local da entrada precisa corresponder ao local do EntryType, ou o EntryType precisa ser global. Pode referenciar tipos de entrada globais ou do mesmo projeto.
Aspectos nas entradas O AspectType do aspecto precisa estar no mesmo local que a entrada, ou o AspectType precisa ser global. Pode referenciar tipos de aspecto de sistema global ou tipos de aspecto personalizados do mesmo projeto.
Links de entrada O local do link de entrada precisa corresponder ao EntryLinkType ou o EntryLinkType precisa ser global. Pode vincular entradas que residem em projetos diferentes na mesma organização.
Tipos de entrada Composto por tipos de aspecto armazenados no mesmo local que o tipo de entrada ou tipos de aspecto que são global. Se um tipo de entrada fizer referência a tipos de aspecto personalizados, eles precisarão estar no mesmo projeto e local.

A seguir

Tarefa

Anexe aspectos a entradas, colunas e links de entrada e gerencie tipos de aspectos personalizados usando o console, a CLI gcloud ou as APIs.

Conceito

Conheça o metamodelo unificado, incluindo grupos de entradas, entradas, tipos de aspecto e gráficos de contexto ativo.

Guia de início rápido

Siga um tutorial detalhado para descobrir recursos e anexar metadados de aspecto personalizados a uma tabela do BigQuery.

Descoberta

Encontre recursos no Google Cloud e em fontes personalizadas usando predicados de pesquisa baseados em aspectos.