Gérer les éléments de données à l'aide de Knowledge Catalog

Knowledge Catalog répertorie automatiquement les métadonnées des ressources Bigtable. Cette fonctionnalité vous aide à rechercher et à gérer vos éléments de données Bigtable.

Les métadonnées sont automatiquement synchronisées de Bigtable vers Knowledge Catalog pour les ressources Bigtable suivantes :

  • Instances
  • Clusters
  • Tables, y compris les détails des familles de colonnes

  • Vues :

    • Vues autorisées
    • Vues matérialisées continues
    • Vues logiques

    Les vues ne comportent pas d'entrées de catalogue global. Pour accéder aux métadonnées de la vue, vous devez interroger la région attribuée à votre instance. Pour en savoir plus, consultez la section Accéder aux métadonnées de la vue de ce document.

Knowledge Catalog est un service de gestion des métadonnées entièrement géré. Il fournit une vue unifiée et des mécanismes de taggage pour les métadonnées techniques et métier. Pour en savoir plus sur Knowledge Catalog et pourquoi l'utiliser, consultez la présentation de Knowledge Catalog.

Avantages de l'utilisation de Knowledge Catalog avec Bigtable

Les informations de Knowledge Catalog sur vos données facilitent l'analyse, la réutilisation des données, le développement d'applications et la gestion des données.

Vous pouvez rechercher des entrées dans Knowledge Catalog en fonction de détails, tels que le nom de la ressource. Par exemple, recherchez un nom d'instance pour trouver l'entrée d'une instance, ou recherchez une famille de colonnes pour trouver l'entrée d'une table. Vous pouvez également utiliser la recherche par attributs, en appliquant des filtres pour affiner votre recherche. Pour en savoir plus, consultez Rechercher des ressources dans Knowledge Catalog.

L'ingestion et le catalogage des vues Bigtable vous permettent d'effectuer les opérations suivantes :

  • Recherchez des éléments de données précis, tels que des vues matérialisées autorisées, logiques et continues, dans un inventaire centralisé.
  • Obtenez une visibilité sur les vues existantes et sur les personnes qui y ont accès, ce qui permet aux équipes de gouvernance d'appliquer des règles et des contrôles d'accès.
  • Découvrez comment les vues autorisées se connectent aux tables, et comment les vues matérialisées logiques et continues se connectent aux instances pour un meilleur contexte.

Enrichir les métadonnées avec des aspects vous aide à comprendre et à cataloguer les données de vos tables Bigtable. Les aspects vous permettent d'associer des métadonnées métier et techniques personnalisées aux entrées cataloguées, ce qui facilite la découverte des données dans l'ensemble de votre patrimoine de données et permet d'effectuer des recherches ciblées. Pour en savoir plus, consultez Gérer les aspects et enrichir les métadonnées.

Premiers pas avec Knowledge Catalog

Pour commencer à utiliser Knowledge Catalog afin de gérer vos éléments de données Bigtable, procédez comme suit :

  1. Facultatif : si vous débutez avec Knowledge Catalog, activez l'API Dataplex.

  2. Attribuez des rôles IAM aux comptes principaux qui ont besoin d'accéder aux entrées Bigtable dans Knowledge Catalog.

  3. Découvrez comment rechercher des éléments de données.

  4. Consultez la syntaxe de recherche Knowledge Catalog pour savoir comment trouver vos métadonnées.

  5. Lisez les concepts sur la gestion des métadonnées avec des aspects. Pour en savoir plus, consultez À propos des métadonnées dans Knowledge Catalog.

Afficher les métadonnées dans Knowledge Catalog

Chaque type de vue Bigtable est représenté par un type d'entrée distinct dans le catalogue. Knowledge Catalog stocke des métadonnées spécifiques (aspects) pour chaque type :

View type (Type de vue) Champs de métadonnées
Vue autorisée Définition complète du sous-ensemble, état de la protection contre la suppression. L'ID de la table de base fait partie du chemin d'accès à la ressource et de l'entrée parente de l'entrée, plutôt que d'un champ d'aspect distinct.
Vue logique Requête SQL, schéma, état de protection contre la suppression. La table de base est référencée dans la requête SQL.
Vue matérialisée continue Requête SQL, schéma, état de la protection contre la suppression, détails du stockage. La table de base est référencée dans la requête SQL. Dans l'aspect de stockage, le champ sourceUri pointe vers la ressource de vue elle-même, et non vers la table de base.

Méthodes de recherche de métadonnées Bigtable

Vous pouvez rechercher des métadonnées Bigtable synchronisées à l'aide de Knowledge Catalog.

En plus des prédicats qualifiés, vous pouvez rechercher des ressources Bigtable à l'aide des champs de métadonnées suivants :

  • Instance

    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable
    • Emplacement du cluster
    • ID du cluster

  • Table

    • ID de la table
    • Nom de la famille de colonnes
    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable

Vous pouvez rechercher des vues par catégorie :

  • Type de vue :
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • Alias de vue unifiée : utilisez l'alias VIEW pour rechercher simultanément tous les types de vues Bigtable.
  • Détails des métadonnées : effectuez une recherche par texte de requête, ressource parente, détails de la définition du sous-ensemble ou attributs spécifiques tels que la protection contre la suppression.
  • Région : dans la console Google Cloud , utilisez les filtres location=LOCATION ou de région pour rechercher des vues ou toute autre ressource dans une région.

Lorsque vous affichez une instance ou une entrée de table Bigtable globale dans la consoleGoogle Cloud , son onglet Liste d'entrées n'inclut pas les vues régionales. De même, lorsque vous affichez une entrée de vue régionale, son fil d'Ariane ne renvoie pas à son instance ou à sa table parente. Pour trouver ces ressources, recherchez-les directement à l'aide des catégories de recherche précédentes.

Accéder aux métadonnées de la vue

Contrairement aux instances et aux tables Bigtable, les vues ne comportent pas d'entrées de catalogue globales. Les métadonnées des vues sont stockées exclusivement dans la région attribuée à votre instance dans Knowledge Catalog (knowledgeCatalogRegion).

Lorsque vous recherchez des ressources dans Knowledge Catalog, vous pouvez utiliser des filtres de région pour trouver des vues ou toute autre ressource dans une région spécifique. Toutefois, lorsque vous utilisez l'API Dataplex ou les bibliothèques clientes pour rechercher, récupérer ou gérer des aspects sur des vues Bigtable, vous devez spécifier la région Knowledge Catalog de l'instance dans le paramètre location de l'URL de la requête. Si vous spécifiez l'emplacement global, la commande renvoie une erreur NOT_FOUND.

Les sections suivantes expliquent comment accéder aux métadonnées de vue dans la région de votre instance.

Trouver la région Knowledge Catalog d'une instance

Pour trouver l'knowledgeCatalogRegion de votre instance Bigtable, utilisez la commande gcloud bigtable instances describe :

gcloud bigtable instances describe INSTANCE_ID

Remplacez INSTANCE_ID par l'identifiant unique de votre instance.

Le résultat de la commande inclut le champ knowledgeCatalogRegion, comme illustré dans l'exemple suivant :

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

Dans cet exemple, l'emplacement des requêtes API Dataplex et des filtres de région pour les vues de cette instance est us-central1.

Inspecter une entrée Knowledge Catalog d'une vue

Console

Pour inspecter l'entrée d'une vue dans Knowledge Catalog, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Rechercher de Knowledge Catalog.

    Accéder à la recherche

  2. Dans le champ de recherche, saisissez le nom ou l'ID de la vue Bigtable, ou saisissez une requête de recherche, puis appuyez sur Entrée.

    Vous pouvez rechercher des vues à l'aide des prédicats suivants :

    • Toutes les vues : VIEW
    • Vues autorisées : type=cloud-bigtable-authorized-view
    • Vues logiques : type=cloud-bigtable-logical-view
    • Vues matérialisées continues : type=cloud-bigtable-materialized-view
    • Vues par région : par exemple, location=us-central1

  3. Pour affiner votre recherche, cliquez sur Filtres.

  4. Dans les résultats de recherche, cliquez sur le nom de la vue pour ouvrir la page d'informations de l'entrée.

    La page d'informations sur l'entrée affiche tous les attributs de l'entrée, y compris les informations de présentation, les aspects du système (tels que la requête SQL, le schéma ou la définition du sous-ensemble) et les aspects personnalisés associés.

gcloud

Pour inspecter l'entrée de la vue dans Knowledge Catalog, utilisez la commande gcloud dataplex entries lookup :

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

Remplacez les éléments suivants :

  • VIEW_RESOURCE_NAME : chemin d'accès à la ressource Bigtable pour la vue (en omettant le préfixe //). Construisez le chemin d'accès à la ressource en fonction du type de vue :
    • Vue autorisée : bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Vue logique : bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Vue matérialisée continue : bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID : identifiant unique de votre projetGoogle Cloud .
  • INSTANCE_ID : identifiant unique de votre instance Bigtable.
  • TABLE_ID : pour les vues autorisées, identifiant unique de la table de base qui contient la vue.
  • VIEW_ID : identifiant attribué à la vue.
  • LOCATION : région Knowledge Catalog de l'instance Bigtable (par exemple, us-central1).

Le résultat renvoie tous les attributs d'entrée, y compris les aspects système et les aspects personnalisés associés. Dans le résultat, le champ parentEntry contient un chemin d'accès à l'entrée régionale pour la table ou l'instance parente. Étant donné que Bigtable ne stocke les entrées de table et d'instance que dans l'emplacement global, cette entrée parente régionale n'est pas accessible. Pour rechercher la table ou l'instance parente, spécifiez global comme emplacement.

REST

Pour rechercher une entrée de vue de manière programmatique à l'aide de l'API Dataplex, envoyez une requête HTTP GET authentifiée à la méthode lookupEntry :

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

Remplacez les éléments suivants :

  • VIEW_RESOURCE_NAME : chemin d'accès à la ressource Bigtable pour la vue (en omettant le préfixe //). Construisez le chemin d'accès à la ressource en fonction du type de vue :
    • Vue autorisée : bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Vue logique : bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Vue matérialisée continue : bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID : identifiant unique de votre projetGoogle Cloud .
  • INSTANCE_ID : identifiant unique de votre instance Bigtable.
  • TABLE_ID : pour les vues autorisées, identifiant unique de la table de base qui contient la vue.
  • VIEW_ID : identifiant attribué à la vue.
  • LOCATION : région Knowledge Catalog de l'instance Bigtable (par exemple, us-central1).

Le résultat renvoie tous les attributs d'entrée, y compris les aspects système et les aspects personnalisés associés. Dans le résultat, le champ parentEntry contient un chemin d'accès à l'entrée régionale pour la table ou l'instance parente. Étant donné que Bigtable ne stocke les entrées de table et d'instance que dans l'emplacement global, cette entrée parente régionale n'est pas accessible. Pour rechercher la table ou l'instance parente, spécifiez global comme emplacement.

Rôles requis

L'affichage, l'ajout de tags et la recherche de ressources Bigtable dans Knowledge Catalog ont des exigences d'autorisation différentes. En général, attribuez aux comptes principaux de votre organisation le rôle minimal requis pour accomplir une tâche.

Autorisation d'afficher les aspects publics et privés

Pour obtenir les autorisations nécessaires pour afficher les aspects publics et privés sur les ressources Bigtable, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour afficher les aspects publics et privés. Les autorisations requises sont les suivantes :

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Les vues nécessitent les autorisations suivantes :

  • Vues autorisées : bigtable.authorizedViews.get
  • Vues logiques : bigtable.logicalViews.get
  • Vues matérialisées continues : bigtable.materializedViews.get

Autorisation de rechercher des ressources Bigtable

Pour obtenir les autorisations nécessaires pour rechercher des ressources Bigtable dans Knowledge Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour rechercher des ressources Bigtable. Les autorisations requises sont les suivantes :

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Les vues nécessitent les autorisations suivantes :

  • Vues autorisées : bigtable.authorizedViews.get
  • Vues logiques : bigtable.logicalViews.get
  • Vues matérialisées continues : bigtable.materializedViews.get

Autorisation de rechercher et d'afficher les métadonnées Bigtable

Pour rechercher et afficher les métadonnées des ressources Bigtable, vous devez disposer d'un rôle incluant les autorisations suivantes :

  • Instances et tables : bigtable.instances.get, bigtable.clusters.get, bigtable.tables.get
  • Vues autorisées : bigtable.authorizedViews.get
  • Vues logiques : bigtable.logicalViews.get
  • Vues matérialisées continues : bigtable.materializedViews.get

Les rôles prédéfinis tels que roles/bigtable.viewer ou roles/bigtable.admin contiennent généralement ces autorisations.

Autorisation d'associer des aspects aux ressources Bigtable

Pour obtenir les autorisations nécessaires pour associer des aspects aux ressources Bigtable dans Knowledge Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour ajouter des aspects publics et privés. Les autorisations requises sont les suivantes :

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Les vues nécessitent les autorisations suivantes :

  • Vues autorisées : bigtable.authorizedViews.update
  • Vues logiques : bigtable.logicalViews.update
  • Vues matérialisées continues : bigtable.materializedViews.update

Facultatif : Créer un rôle personnalisé

Vous pouvez créer un rôle personnalisé à attribuer aux utilisateurs qui ont besoin d'un accès complet à toutes les métadonnées Bigtable dans Knowledge Catalog pour l'ensemble de votre projet ou de votre organisation. Vous pouvez ensuite attribuer n'importe quel utilisateur ou compte de service ayant besoin d'un accès en tant que compte principal du rôle personnalisé. Pour en savoir plus sur les rôles personnalisés, consultez Rôles et autorisations.

Choisissez un nom explicite pour le rôle, tel que "Éditeur Bigtable Dataplex", puis n'attribuez le rôle qu'aux comptes principaux qui ont besoin d'y accéder. Pour obtenir des instructions de configuration, consultez Créer et gérer des rôles personnalisés.

Accordez les autorisations suivantes au rôle personnalisé :

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Pour en savoir plus, consultez Autorisations IAM pour Knowledge Catalog. Pour obtenir une description des autorisations Bigtable, consultez Autorisations.

Limites

Les sections suivantes listent les contraintes à prendre en compte avant d'utiliser Knowledge Catalog pour gérer vos métadonnées Bigtable.

Contraintes de localisation

Si votre organisation applique des contraintes d'emplacement, il est possible que les entrées de métadonnées de vos ressources Bigtable ne soient pas synchronisées avec Knowledge Catalog. Toutes les entrées créées avant l'application des contraintes d'emplacement sont conservées par Knowledge Catalog.

Pour permettre à Knowledge Catalog de charger des ressources, assurez-vous que votre règle d'emplacement autorise les éléments suivants :

  • L'emplacement multirégional global pour les instances et les tables.
  • La région spécifique qui correspond à l'emplacement knowledgeCatalogRegion de votre instance pour les vues.

Exception liée au nom de la famille de colonnes

L'API Dataplex rejette les requêtes dans lesquelles le nom de la famille de colonnes inclut un point (.). Par exemple, si le nom de la famille de colonnes est personal.info.

Étapes suivantes