(Descontinuado) Conceitos de malha de dados

Antes de se aprofundar no guia detalhado sobre como implantar a malha de dados com o Google Cloud Cortex Framework, esta página fornece uma base sobre como os conceitos relevantes de malha de dados são geralmente implementados em um produto do Google Cloud e, especificamente, com o contexto do Cortex Framework. Depois de entender os conceitos de malha de dados, consulte o Guia do usuário da malha de dados para a base de dados do Cortex Framework.

Knowledge Catalog

A tabela a seguir define os conceitos de malha de dados no Knowledge Catalog:

Conceito Descrição Contexto do Cortex Framework
Lago Unidade de nível superior para organizar dados em uma malha de dados. Gerenciar Knowledge Catalog - Lakes. Uma fonte de dados, por exemplo, SAP ECC, Salesforce, Google Ads.
Zona Unidade de segundo nível para organizar dados em um lake. Camadas de processamento específicas em uma fonte de dados, como dados brutos versus CDC.
Ativo do Knowledge Catalog Referência a dados armazenados no Cloud Storage ou no BigQuery associados a uma zona. Essa é uma referência ao recurso de dados, não aos dados em si. Referência a conjuntos de dados do BigQuery registrados em zonas.
Rótulo Pares de chave-valor arbitrários que podem ser aplicados a lakes ou zonas. Rotule lagos ou zonas inteiras (em vez de tabelas ou colunas) com metadados que podem ser visualizados no Knowledge Catalog ou usados para aplicativos personalizados.
Data Catalog Metadados técnicos de negócios que podem ser usados para ajudar a descobrir, entender ou gerenciar recursos de dados em um warehouse. Anote tabelas ou colunas (em vez de lakes ou zonas) com tags de metadados avançadas que podem ser usadas na pesquisa do Knowledge Catalog ou em aplicativos personalizados.
Modelos de tag do catálogo Um modelo que define os campos disponíveis e os tipos deles em uma tag. Gerenciar Knowledge Catalog - Modelos de tag Defina um conjunto de modelos para usos como marcar recursos de dados com linhas de negócios.
Tag de catálogo Um conjunto de campos e os valores deles que contêm metadados aplicáveis a uma tabela ou coluna. Uma instância de um modelo de tag. Anote uma tabela ou coluna com valores de metadados relevantes para esse recurso, como uma linha de negócio específica.
Glossário do catálogo Um dicionário de termos que podem ser definidos e associados às colunas do BigQuery. Gerenciar Knowledge Catalog - Glossários. Defina termos ou acrônimos usados nos recursos do BigQuery. Isso está planejado para o futuro e não é compatível.
Linhagem de dados Um gráfico que representa as dependências de recursos do BigQuery. Eles não são definidos pela malha de dados do Cortex, mas são uma ferramenta relevante do Knowledge Catalog para ajudar os usuários a descobrir fontes de dados de recursos do BigQuery.
Evento de linhagem Um momento em que uma operação ocorreu para mover dados entre recursos do BigQuery. Contém uma lista de links. Criado automaticamente para operações compatíveis do BigQuery e do Composer.
Link de linhagem Uma borda que representa os dados que fluem de um recurso de origem para um de destino como parte de um evento de linhagem. Ela pode ser analisada para dar suporte a casos de uso além dos gráficos de visualização de linhagem apresentados no console.

BigQuery

A tabela a seguir define os conceitos de malha de dados no BigQuery:

Conceito Descrição Contexto do Cortex Framework
Taxonomia de políticas Uma hierarquia de tags de política. Gerenciar BigQuery - Tags de política. Organize as tags de política relacionadas que podem ser usadas para controle de acesso em uma hierarquia com permissões herdadas.
Tag de política Uma tag aplicada a colunas específicas em uma tabela ou visualização do BigQuery. É possível aplicar tags de política em qualquer nível da hierarquia. Só é possível aplicar uma tag de política a uma determinada coluna. Anote colunas com tags usadas para controle de acesso no nível da coluna. Os principais na tag de política definem leitores "refinados" ou "não mascarados" que podem ver os dados brutos da coluna.
Política de dados Políticas aplicadas a uma tag de política que definem como e quem pode visualizar os dados da coluna mascarada. Os principais na política de dados definem os "leitores mascarados" que podem acessar os dados da coluna mascarada. Quem não tiver privilégios de leitor mascarado ou não mascarado não poderá consultar a coluna.
Regra de mascaramento Regras aplicadas a uma política de dados que definem como os dados são mascarados, por exemplo, hash, exibição de um valor padrão, últimos quatro caracteres e outros. Aplicada de acordo com a situação a colunas sensíveis.
Política de acesso de linha Instruções SQL que definem quais grupos podem consultar linhas em tabelas com base em valores de colunas específicos. Usado para controle de acesso no nível da linha quando o controle no nível do recurso e da coluna é insuficiente.

Conceito de malha de dados do Cortex

A tabela a seguir define conceitos específicos de malha de dados no Cortex Framework:

Conceito Descrição Contexto do Cortex Framework
Recurso de metadados Entidades de metadados que podem ser reutilizadas em vários recursos do BigQuery. Exemplos: lagos, modelos de tag do catálogo e taxonomias de política. Isso se refere especificamente aos metadados, e não aos dados no BigQuery em si. Define recursos reutilizáveis para permitir o gerenciamento consistente da malha de dados do Cortex.
Recurso do BigQuery Tabela ou visualização do BigQuery. Objetos atuais do BigQuery do Cortex que são controlados com a malha de dados.
Anotação de recurso do BigQuery Metadados aplicados a uma tabela ou visualização específica do BigQuery. Isso inclui descrições, políticas de acesso e mapeamentos para recursos de metadados. Associe metadados a recursos do BigQuery para permitir a descoberta e o controle de acesso.
Especificação de recursos (spec) Um arquivo YAML que define um recurso de metadados ou uma anotação de recurso do BigQuery. O conjunto completo de especificações de recursos codifica a configuração da malha de dados a ser implantada.