Gestisci gli asset di dati utilizzando Knowledge Catalog

Knowledge Catalog cataloga automaticamente i metadati relativi alle risorse Bigtable. Questa funzionalità ti aiuta a cercare e gestire i tuoi asset di dati Bigtable.

I metadati vengono sincronizzati automaticamente da Bigtable a Knowledge Catalog per le seguenti risorse Bigtable:

  • Istanze
  • Cluster
  • Tabelle, inclusi i dettagli famiglia di colonne

  • Visualizzazioni:

    • Visualizzazioni autorizzate
    • Viste materializzate continue
    • Viste logiche

    Le visualizzazioni non hanno voci di catalogo globali. Per accedere ai metadati della vista, devi eseguire una query sulla regione assegnata alla tua istanza. Per saperne di più, consulta la sezione Accedi ai metadati della vista di questo documento.

Knowledge Catalog è un servizio di gestione dei metadati completamente gestito. Fornisce una visualizzazione unificata e meccanismi di tagging per i metadati tecnici e aziendali. Per scoprire di più su Knowledge Catalog e sui motivi per cui dovresti utilizzarlo, consulta la panoramica di Knowledge Catalog.

Vantaggi dell'utilizzo di Knowledge Catalog con Bigtable

Le informazioni di Knowledge Catalog sui tuoi dati contribuiscono a supportare l'analisi, il riutilizzo dei dati, lo sviluppo di applicazioni e la gestione dei dati.

Puoi cercare le voci in Knowledge Catalog in base ai dettagli, ad esempio il nome della risorsa. Ad esempio, cerca il nome di un'istanza per trovare la voce di un'istanza o cerca una famiglia di colonne per trovare la voce di una tabella. Puoi anche utilizzare la ricerca con più attributi, applicando filtri per perfezionare la ricerca. Per saperne di più, consulta Cerca risorse in Knowledge Catalog.

L'importazione e la catalogazione delle viste Bigtable ti consentono di:

  • Trova asset di dati granulari come viste materializzate autorizzate, logiche e continue in un inventario centrale.
  • Ottieni visibilità sulle visualizzazioni esistenti e su chi ha accesso, consentendo ai team di governance di applicare policy e controlli degli accessi.
  • Scopri come le viste autorizzate si connettono alle tabelle e come le viste materializzate logiche e continue si connettono alle istanze per un contesto migliore.

Arricchire i metadati con gli aspetti ti aiuta a comprendere e catalogare i dati nelle tue tabelle Bigtable. Gli aspetti consentono di collegare metadati aziendali e tecnici personalizzati alle voci catalogate, rendendo i dati più rilevabili nel tuo patrimonio di dati e consentendo ricerche mirate. Per saperne di più, consulta Gestisci gli aspetti e arricchisci i metadati.

Inizia a utilizzare Knowledge Catalog

Per iniziare a utilizzare Knowledge Catalog per gestire i tuoi asset di dati Bigtable, completa le seguenti attività:

  1. (Facoltativo) Se non hai mai utilizzato Knowledge Catalog, abilita l'API Dataplex.

  2. Concedi ruoli IAM alle entità che richiedono l'accesso alle voci Bigtable in Knowledge Catalog.

  3. Scopri come cercare asset di dati.

  4. Consulta la sintassi di ricerca di Knowledge Catalog per capire come trovare i tuoi metadati.

  5. Leggi i concetti sulla gestione dei metadati con gli aspetti. Per saperne di più, consulta Informazioni sui metadati in Knowledge Catalog.

Visualizza i metadati in Knowledge Catalog

Ogni tipo di visualizzazione Bigtable è rappresentato come un tipo di voce distinto nel catalogo. Knowledge Catalog archivia metadati specifici (aspetti) per ogni tipo:

Tipo di visualizzazione Campi dei metadati
Vista autorizzata Definizione completa del sottoinsieme, stato della protezione da eliminazione. L'ID della tabella di base fa parte del percorso della risorsa e della voce principale della voce, anziché essere un campo di aspetto separato.
Vista logica Query SQL, schema, stato della protezione da eliminazione. La tabella di base è indicata nella query SQL.
Vista materializzata continua Query SQL, schema, stato della protezione da eliminazione, dettagli dello spazio di archiviazione. La tabella di base viene referenziata nella query SQL. Nell'aspetto dello spazio di archiviazione, il campo sourceUri punta alla risorsa della vista stessa, non alla tabella di base.

Modi per cercare i metadati di Bigtable

Puoi cercare i metadati Bigtable sincronizzati utilizzando Knowledge Catalog.

Oltre ai predicati qualificati, puoi cercare le risorse Bigtable con i seguenti campi dei metadati:

  • Istanza

    • Nome istanza Bigtable
    • ID istanza Bigtable
    • Località del cluster
    • ID cluster

  • Tabella

    • ID tabella
    • Nome famiglia di colonne
    • Nome istanza Bigtable
    • ID istanza Bigtable

Puoi cercare le visualizzazioni in base alle seguenti categorie:

  • Tipo di visualizzazione:
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • Alias di visualizzazione unificata: utilizza l'alias VIEW per trovare contemporaneamente tutti i tipi di visualizzazioni Bigtable.
  • Dettagli dei metadati: cerca per testo della query, risorsa padre, dettagli della definizione del sottoinsieme o attributi specifici come la protezione da eliminazione.
  • Regione: nella console Google Cloud , utilizza i filtri location=LOCATION o per regione per cercare visualizzazioni o qualsiasi altra risorsa in una regione.

Quando visualizzi un'istanza o una voce di tabella Bigtable globale nella consoleGoogle Cloud , la scheda Elenco voci non include le visualizzazioni regionali. Analogamente, quando visualizzi una voce di visualizzazione regionale, il relativo percorso di navigazione non rimanda all'istanza o alla tabella principale. Per trovare queste risorse, cercale direttamente utilizzando le categorie di ricerca precedenti.

Accedi ai metadati della vista

A differenza delle istanze e delle tabelle Bigtable, le visualizzazioni non hanno voci di catalogo globali. I metadati per le visualizzazioni vengono archiviati esclusivamente nella regione assegnata alla tua istanza in Knowledge Catalog (knowledgeCatalogRegion).

Quando cerchi risorse in Knowledge Catalog, puoi utilizzare i filtri per regione per trovare visualizzazioni o qualsiasi altra risorsa in una regione specifica. Tuttavia, quando utilizzi l'API Dataplex o le librerie client per cercare, recuperare o gestire gli aspetti nelle visualizzazioni Bigtable, devi specificare la regione di Knowledge Catalog dell'istanza nel parametro location dell'URL della richiesta. Se specifichi la località come global, il comando restituisce un errore NOT_FOUND.

Le sezioni seguenti spiegano come accedere ai metadati della vista nella regione della tua istanza.

Trova la regione di Knowledge Catalog di un'istanza

Per trovare il knowledgeCatalogRegion della tua istanza Bigtable, utilizza il comando gcloud bigtable instances describe:

gcloud bigtable instances describe INSTANCE_ID

Sostituisci INSTANCE_ID con l'identificatore univoco della tua istanza.

L'output comando include il campo knowledgeCatalogRegion, come mostrato nell'esempio seguente:

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

In questo esempio, la località per le richieste API Dataplex e i filtri delle regioni per le visualizzazioni in questa istanza è us-central1.

Ispeziona una voce di Knowledge Catalog di una visualizzazione

Console

Per ispezionare la voce di una vista in Knowledge Catalog, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Ricerca di Knowledge Catalog.

    Vai a Cerca

  2. Nel campo di ricerca, inserisci il nome o l'ID della vista Bigtable oppure inserisci una query di ricerca, quindi premi Invio.

    Puoi cercare le visualizzazioni utilizzando i seguenti predicati:

    • Tutte le visualizzazioni: VIEW
    • Visualizzazioni autorizzate: type=cloud-bigtable-authorized-view
    • Visualizzazioni logiche: type=cloud-bigtable-logical-view
    • Viste materializzate continue: type=cloud-bigtable-materialized-view
    • Visualizzazioni per regione: ad esempio, location=us-central1

  3. Per perfezionare la ricerca, fai clic su Filtri.

  4. Nei risultati di ricerca, fai clic sul nome della visualizzazione per aprire la pagina dei dettagli della voce.

    La pagina dei dettagli della voce mostra tutti gli attributi della voce, incluse le informazioni di panoramica, gli aspetti di sistema, come la query SQL, lo schema o la definizione del sottoinsieme, e gli aspetti personalizzati collegati.

gcloud

Per esaminare la voce della visualizzazione in Knowledge Catalog, utilizza il comando gcloud dataplex entries lookup:

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

Sostituisci quanto segue:

  • VIEW_RESOURCE_NAME: il percorso della risorsa Bigtable per la visualizzazione (omettendo // iniziale). Costruisci il percorso della risorsa in base al tipo di visualizzazione:
    • Vista autorizzata: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Vista logica: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Vista materializzata continua: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: l'identificatore univoco del tuo progettoGoogle Cloud .
  • INSTANCE_ID: l'identificatore univoco della tua istanza Bigtable.
  • TABLE_ID: per le visualizzazioni autorizzate, l'identificatore univoco della tabella di base che contiene la visualizzazione.
  • VIEW_ID: l'identificatore assegnato alla vista.
  • LOCATION: la regione di Knowledge Catalog dell'istanza Bigtable (ad esempio, us-central1).

L'output restituisce tutti gli attributi della voce, inclusi gli aspetti di sistema e gli aspetti personalizzati collegati. Nell'output, il campo parentEntry contiene un percorso di voce regionale per la tabella o l'istanza principale. Poiché Bigtable archivia le voci di tabelle e istanze solo nella località global, questa voce principale regionale non è accessibile. Per cercare la voce della tabella o dell'istanza principale, specifica global come località.

REST

Per cercare una voce di visualizzazione in modo programmatico utilizzando l'API Dataplex, invia una richiesta HTTP GET autenticata al metodo lookupEntry:

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

Sostituisci quanto segue:

  • VIEW_RESOURCE_NAME: il percorso della risorsa Bigtable per la visualizzazione (omettendo // iniziale). Costruisci il percorso della risorsa in base al tipo di visualizzazione:
    • Vista autorizzata: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Vista logica: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Vista materializzata continua: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: l'identificatore univoco del tuo progettoGoogle Cloud .
  • INSTANCE_ID: l'identificatore univoco della tua istanza Bigtable.
  • TABLE_ID: per le visualizzazioni autorizzate, l'identificatore univoco della tabella di base che contiene la visualizzazione.
  • VIEW_ID: l'identificatore assegnato alla vista.
  • LOCATION: la regione di Knowledge Catalog dell'istanza Bigtable (ad esempio, us-central1).

L'output restituisce tutti gli attributi della voce, inclusi gli aspetti di sistema e gli aspetti personalizzati collegati. Nell'output, il campo parentEntry contiene un percorso di voce regionale per la tabella o l'istanza principale. Poiché Bigtable archivia le voci di tabelle e istanze solo nella località global, questa voce principale regionale non è accessibile. Per cercare la voce della tabella o dell'istanza principale, specifica global come località.

Ruoli obbligatori

La visualizzazione, l'aggiunta di tag e la ricerca di risorse Bigtable in Knowledge Catalog hanno requisiti di autorizzazione diversi. In generale, concedi alle entità della tua organizzazione il ruolo minimo richiesto per eseguire un'attività.

Autorizzazione per visualizzare aspetti pubblici e privati

Per ottenere le autorizzazioni necessarie per visualizzare gli aspetti pubblici e privati delle risorse Bigtable, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare gli aspetti pubblici e privati. Le autorizzazioni esatte richieste sono le seguenti:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Le visualizzazioni richiedono le seguenti autorizzazioni:

  • Visualizzazioni autorizzate: bigtable.authorizedViews.get
  • Visualizzazioni logiche: bigtable.logicalViews.get
  • Viste materializzate continue: bigtable.materializedViews.get

Autorizzazione per cercare risorse Bigtable

Per ottenere le autorizzazioni necessarie per cercare le risorse Bigtable in Knowledge Catalog, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire ricerche nelle risorse Bigtable. Le autorizzazioni esatte richieste sono le seguenti:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Le visualizzazioni richiedono le seguenti autorizzazioni:

  • Visualizzazioni autorizzate: bigtable.authorizedViews.get
  • Visualizzazioni logiche: bigtable.logicalViews.get
  • Viste materializzate continue: bigtable.materializedViews.get

Autorizzazione per cercare e visualizzare i metadati di Bigtable

Per cercare e visualizzare i metadati delle risorse Bigtable, devi disporre di un ruolo che includa le seguenti autorizzazioni:

  • Istanze e tabelle: bigtable.instances.get, bigtable.clusters.get, bigtable.tables.get
  • Visualizzazioni autorizzate: bigtable.authorizedViews.get
  • Visualizzazioni logiche: bigtable.logicalViews.get
  • Viste materializzate continue: bigtable.materializedViews.get

I ruoli predefiniti come roles/bigtable.viewer o roles/bigtable.admin in genere contengono queste autorizzazioni.

Autorizzazione per collegare aspetti alle risorse Bigtable

Per ottenere le autorizzazioni necessarie per collegare gli aspetti alle risorse Bigtable in Knowledge Catalog, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Questi ruoli predefiniti contengono le autorizzazioni necessarie per aggiungere aspetti pubblici e privati. Le autorizzazioni esatte richieste sono le seguenti:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Le visualizzazioni richiedono le seguenti autorizzazioni:

  • Visualizzazioni autorizzate: bigtable.authorizedViews.update
  • Visualizzazioni logiche: bigtable.logicalViews.update
  • Viste materializzate continue: bigtable.materializedViews.update

(Facoltativo) Crea un ruolo personalizzato

Puoi creare un ruolo personalizzato da concedere agli utenti che richiedono l'accesso completo a tutti i metadati di Bigtable in Knowledge Catalog nel tuo progetto o nella tua organizzazione. Poi puoi assegnare qualsiasi utente o account di servizio che deve accedere come entità del ruolo personalizzato. Per scoprire di più sui ruoli personalizzati, consulta Ruoli e autorizzazioni.

Scegli un nome significativo per il ruolo, ad esempio Bigtable Dataplex Editor, quindi assegna il ruolo solo alle entità che necessitano di accesso. Per le istruzioni di configurazione, consulta Crea e gestisci ruoli personalizzati.

Concedi le seguenti autorizzazioni al ruolo personalizzato:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Per saperne di più, consulta Autorizzazioni IAM di Knowledge Catalog. Per le descrizioni delle autorizzazioni Bigtable, consulta Autorizzazioni.

Limitazioni

Le sezioni seguenti elencano i vincoli da considerare prima di utilizzare Knowledge Catalog per gestire i metadati di Bigtable.

Vincoli di località

Se la tua organizzazione applica vincoli di località, le voci dei metadati per le risorse Bigtable potrebbero non essere sincronizzate con Knowledge Catalog. Tutte le voci create prima dell'applicazione dei vincoli di località vengono conservate da Knowledge Catalog.

Per consentire a Knowledge Catalog di caricare le risorse, assicurati che la policy sulla località consenta quanto segue:

  • La località multiregionale global per istanze e tabelle.
  • La regione specifica che corrisponde alla knowledgeCatalogRegion dell'istanza per le visualizzazioni.

Eccezione del nome della famiglia di colonne

L'API Dataplex rifiuta le richieste in cui il nome della famiglia di colonne nella richiesta include un punto (.). Ad esempio, se il nome della famiglia di colonne è personal.info.

Passaggi successivi