(Obsolète) Concepts de maillage de données

Avant de vous plonger dans le guide détaillé sur le déploiement du maillage de données avec Google Cloud Cortex Framework, cette page vous explique comment les concepts de maillage de données pertinents sont généralement implémentés dans un produit Google Cloud et spécifiquement dans le contexte de Cortex Framework. Après avoir compris les concepts de maillage de données, consultez le guide de l'utilisateur de Data Mesh pour Cortex Framework Data Foundation.

Knowledge Catalog

Le tableau suivant définit les concepts de maillage de données dans Knowledge Catalog :

Concept Description Contexte Cortex Framework
Lac Unité de niveau supérieur pour l'organisation des données dans un maillage de données. Gérer Knowledge Catalog - Lacs. Une source de données, par exemple SAP ECC, Salesforce, Google Ads.
Zone Unité de deuxième niveau pour organiser les données dans un lac. Couches de traitement spécifiques dans une source de données, telles que les données brutes par rapport à la CDC.
Asset Knowledge Catalog Référence aux données stockées dans Cloud Storage ou BigQuery qui sont associées à une zone. Il s'agit d'une référence à l'élément de données, et non aux données elles-mêmes. Référence aux ensembles de données BigQuery enregistrés dans des zones.
Libellé Paires clé/valeur arbitraires pouvant être appliquées à des lacs ou à des zones. Étiquetez des lacs ou des zones entiers (plutôt que des tables ou des colonnes) avec des métadonnées qui peuvent être consultées dans Knowledge Catalog ou utilisées pour des applications personnalisées.
Data Catalog Métadonnées techniques d'entreprise pouvant être utilisées pour faciliter la découverte, la compréhension ou la gestion des éléments de données dans un entrepôt. Annotez des tables ou des colonnes (plutôt que des lacs ou des zones) avec des tags de métadonnées enrichis qui peuvent être utilisés dans la recherche Knowledge Catalog ou dans des applications personnalisées.
Modèles de tags de catalogue Modèle définissant les champs disponibles et leurs types dans un tag. Gérer Knowledge Catalog – Modèles de tags Définissez un ensemble de modèles pour des utilisations telles que l'ajout de tags aux éléments de données avec des secteurs d'activité.
Balise de catalogue Ensemble de champs et de leurs valeurs contenant des métadonnées applicables à une table ou à une colonne. Instance d'un modèle de tag. Annotez une table ou une colonne avec des valeurs de métadonnées pertinentes pour cet élément, comme un secteur d'activité particulier.
Glossaire du catalogue Dictionnaire de termes pouvant être définis et associés à des colonnes BigQuery. Gérer Knowledge Catalog - Glossaires. Définissez les termes ou acronymes utilisés dans les éléments BigQuery. Notez que cette fonctionnalité est prévue pour l'avenir et n'est pas encore disponible.
Traçabilité des données Graphique représentant les dépendances des éléments BigQuery. Ils ne sont pas définis par Cortex Data Mesh, mais il s'agit d'un outil Knowledge Catalog pertinent pour aider les utilisateurs à découvrir les sources de données des éléments BigQuery.
Événement de traçabilité Point dans le temps où une opération a eu lieu pour déplacer des données entre des éléments BigQuery. Contient une liste de liens. Créé automatiquement pour les opérations BigQuery et Composer compatibles.
Lien de traçabilité Une arête représentant les données circulant d'un élément source vers un élément cible dans le cadre d'un événement de traçabilité. Il peut être analysé pour répondre à des cas d'utilisation au-delà des graphiques de visualisation de la traçabilité présentés dans la console.

BigQuery

Le tableau suivant définit les concepts de maillage de données dans BigQuery :

Concept Description Contexte Cortex Framework
Taxonomie des règles Une hiérarchie de tags avec stratégie. Gérez les tags avec stratégie BigQuery. Organisez les tags avec stratégie associés qui peuvent être utilisés pour le contrôle des accès dans une hiérarchie avec des autorisations héritées.
Tag avec stratégie Tag appliqué à des colonnes spécifiques d'une table ou d'une vue BigQuery. Les tags avec stratégie peuvent être appliqués à n'importe quel niveau de la hiérarchie. Un seul tag avec stratégie peut être appliqué à une colonne donnée. Annotez les colonnes avec des tags utilisés pour le contrôle des accès au niveau des colonnes. Les comptes principaux du tag avec stratégie définissent les lecteurs "détaillés" ou "non masqués" qui peuvent voir les données brutes de la colonne.
Règles relatives aux données Règles appliquées à un tag avec stratégie qui définissent comment et qui peut afficher les données de colonne masquées. Les comptes principaux de la stratégie de données définissent les "lecteurs masqués" qui peuvent voir les données de colonne masquées. Les utilisateurs qui ne disposent pas de droits de lecteur masqué ou non masqué ne pourront pas interroger la colonne.
Règle de masquage Règles appliquées à une stratégie de données qui définissent la façon dont les données sont masquées (par exemple, hachage, affichage d'une valeur par défaut, quatre derniers caractères, etc.). Appliqué de manière situationnelle aux colonnes sensibles.
Règle d'accès aux lignes Instructions SQL qui définissent les groupes pouvant interroger des lignes dans des tables en fonction de valeurs de colonnes spécifiques. Utilisé pour le contrôle des accès au niveau des lignes lorsque le contrôle au niveau des éléments et des colonnes est insuffisant.

Concept de maillage de données Cortex

Le tableau suivant définit des concepts spécifiques de Data Mesh dans Cortex Framework :

Concept Description Contexte Cortex Framework
Ressource de métadonnées Entités de métadonnées pouvant être réutilisées dans plusieurs éléments BigQuery. Il peut s'agir de lacs, de modèles de tags de catalogue et de taxonomies de règles. Il s'agit spécifiquement des métadonnées et non des données de BigQuery lui-même. Définit des ressources réutilisables pour permettre une gestion cohérente du maillage de données Cortex.
Élément BigQuery Table ou vue BigQuery. Objets Cortex BigQuery existants régis par le maillage de données.
Annotation d'élément BigQuery Métadonnées appliquées à une table ou une vue BigQuery spécifique. Cela inclut les descriptions, les règles d'accès et les mappages aux ressources de métadonnées. Associez des métadonnées aux éléments BigQuery pour permettre la découverte et le contrôle des accès.
Spécification de ressource (spec) Fichier YAML définissant une ressource de métadonnées ou une annotation d'élément BigQuery. L'ensemble complet des spécifications de ressources codifie la configuration de maillage de données à déployer.