Daten-Assets mit Knowledge Catalog verwalten

Knowledge Catalog katalogisiert automatisch Metadaten zu Bigtable-Ressourcen. Mit diesem Feature können Sie nach Bigtable-Daten-Assets suchen und diese verwalten.

Metadaten werden automatisch von Bigtable mit Knowledge Catalog für die folgenden Bigtable-Ressourcen synchronisiert:

  • Instanzen
  • Cluster
  • Tabellen, einschließlich Details zur Spaltenfamilie

  • Aufrufe:

    • Autorisierte Ansichten
    • Kontinuierliche materialisierte Ansichten
    • Logische Ansichten

    Ansichten haben keine globalen Katalogeinträge. Wenn Sie auf Ansichtsmetadaten zugreifen möchten, müssen Sie die Region abfragen, die Ihrer Instanz zugewiesen ist. Weitere Informationen finden Sie im Abschnitt Auf Ansichtsmetadaten zugreifen dieses Dokuments.

Knowledge Catalog ist ein vollständig verwalteter Dienst zur Metadatenverwaltung. Es stellt einheitliche Ansichts- und Tagging-Mechanismen für technische und geschäftliche Metadaten bereit. Weitere Informationen zu Knowledge Catalog und den Vorteilen finden Sie unter Knowledge Catalog – Übersicht.

Vorteile der Verwendung von Knowledge Catalog mit Bigtable

Informationen aus Knowledge Catalog zu Ihren Daten unterstützen die Analyse, die Wiederverwendung von Daten, die Anwendungsentwicklung und das Datenmanagement.

Sie können Einträge in Knowledge Catalog nach Details wie dem Ressourcennamen suchen. Suchen Sie beispielsweise nach einem Instanznamen, um den Eintrag für eine Instanz zu finden, oder nach einer Spaltenfamilie, um den Eintrag für eine Tabelle zu finden. Sie können auch die Attributsuche verwenden und Filter anwenden, um die Suche einzugrenzen. Weitere Informationen finden Sie unter Ressourcen in Knowledge Catalog suchen.

Durch das Aufnehmen und Katalogisieren von Bigtable-Ansichten können Sie Folgendes tun:

  • In einem zentralen Inventar finden Sie detaillierte Daten-Assets wie autorisierte, logische und kontinuierliche materialisierte Ansichten.
  • Sie erhalten Einblick in die vorhandenen Ansichten und die Personen, die Zugriff darauf haben. So können Governance-Teams Richtlinien und Zugriffssteuerungen anwenden.
  • Hier erfahren Sie, wie autorisierte Ansichten mit Tabellen und logische und kontinuierlich aktualisierte materialisierte Ansichten mit Instanzen verbunden werden, um einen besseren Kontext zu erhalten.

Durch das Anreichern von Metadaten mit Aspekten können Sie die Daten in Ihren Bigtable-Tabellen besser verstehen und katalogisieren. Mit Aspekten können Sie benutzerdefinierte geschäftliche und technische Metadaten an katalogisierte Einträge anhängen. So werden Daten in Ihrem gesamten Datenbestand besser auffindbar und Sie können gezielte Suchanfragen stellen. Weitere Informationen finden Sie unter Aspekte verwalten und Metadaten anreichern.

Erste Schritte mit Knowledge Catalog

Führen Sie die folgenden Aufgaben aus, um mit Knowledge Catalog Ihre Bigtable-Daten-Assets zu verwalten:

  1. Optional: Wenn Sie Knowledge Catalog noch nicht kennen, aktivieren Sie die Dataplex API.

  2. Weisen Sie Hauptkonten IAM-Rollen zu, die Zugriff auf Bigtable-Einträge in Knowledge Catalog benötigen.

  3. Informationen zum Suchen nach Daten-Assets

  4. Informationen zum Suchen nach Metadaten finden Sie unter Knowledge Catalog-Suchsyntax.

  5. Lesen Sie die Konzepte zum Verwalten von Metadaten mit Aspekten. Weitere Informationen finden Sie unter Metadaten in Knowledge Catalog.

Metadaten in Knowledge Catalog ansehen

Jeder Bigtable-Ansichtstyp wird im Katalog als separater Eintragstyp dargestellt. Knowledge Catalog speichert für jeden Typ spezifische Metadaten (Aspekte):

View type (Ansichtstyp) Metadaten-Felder
Autorisierte Ansicht Vollständige Teilmengendefinition, Löschschutzstatus. Die Basistabellen-ID ist Teil des Ressourcenpfads und des übergeordneten Eintrags des Eintrags und kein separates Aspektfeld.
Logische Ansicht SQL-Abfrage, Schema, Löschschutzstatus. Die Basistabelle wird in der SQL-Abfrage referenziert.
Kontinuierliche materialisierte Ansicht SQL-Abfrage, Schema, Status des Löschschutzes, Speicherdetails. Die Basistabelle wird in der SQL-Abfrage referenziert. Im Speicherbereich verweist das Feld sourceUri auf die Ansichtsressource selbst, nicht auf die Basistabelle.

Möglichkeiten zum Suchen nach Bigtable-Metadaten

Sie können mit Knowledge Catalog nach synchronisierten Bigtable-Metadaten suchen.

Zusätzlich zu Filterprädikaten können Sie mit den folgenden Metadatenfeldern nach Bigtable-Ressourcen suchen:

  • Instanz

    • Name der Bigtable-Instanz
    • ID der Bigtable-Instanz
    • Clusterstandort
    • Cluster-ID

  • Tabelle

    • Tabellen-ID
    • Name der Spaltenfamilie
    • Name der Bigtable-Instanz
    • ID der Bigtable-Instanz

Sie können Ansichten nach den folgenden Kategorien durchsuchen:

  • Ansichtstyp:
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • Alias für einheitliche Ansicht: Verwenden Sie den Alias VIEW, um alle Arten von Bigtable-Ansichten gleichzeitig zu finden.
  • Metadatendetails: Suchen Sie nach Abfragetext, übergeordneter Ressource, Details zur Teilmengendefinition oder bestimmten Attributen wie Löschschutz.
  • Region: Verwenden Sie in der Google Cloud Console location=LOCATION oder Regionsfilter, um nach Ansichten oder anderen Ressourcen in einer Region zu suchen.

Wenn Sie sich eine globale Bigtable-Instanz oder einen globalen Bigtable-Tabelleneintrag in derGoogle Cloud Console ansehen, enthält der Tab Eintragsliste keine regionalen Ansichten. Wenn Sie einen regionalen Ansichtseintrag aufrufen, verweist der Navigationspfad nicht auf die übergeordnete Instanz oder Tabelle. Suchen Sie direkt mit den vorherigen Suchkategorien nach diesen Ressourcen.

Auf Ansichtsmetadaten zugreifen

Im Gegensatz zu Bigtable-Instanzen und -Tabellen haben Ansichten keine globalen Katalogeinträge. Metadaten für Ansichten werden ausschließlich in der Region gespeichert, die Ihrer Instanz in Knowledge Catalog (knowledgeCatalogRegion) zugewiesen ist.

Wenn Sie in Knowledge Catalog nach Ressourcen suchen, können Sie Regionsfilter verwenden, um Ansichten oder andere Ressourcen in einer bestimmten Region zu finden. Wenn Sie jedoch die Dataplex API oder Clientbibliotheken verwenden, um Aspekte in Bigtable-Ansichten zu suchen, abzurufen oder zu verwalten, müssen Sie die Knowledge Catalog-Region der Instanz im Parameter location der Anfrage-URL angeben. Wenn Sie den Standort als global angeben, gibt der Befehl den Fehler NOT_FOUND zurück.

In den folgenden Abschnitten wird erläutert, wie Sie auf Ansichtsmetadaten in der Region Ihrer Instanz zugreifen.

Knowledge Catalog-Region einer Instanz ermitteln

Verwenden Sie den Befehl gcloud bigtable instances describe, um die knowledgeCatalogRegion Ihrer Bigtable-Instanz zu ermitteln:

gcloud bigtable instances describe INSTANCE_ID

Ersetzen Sie INSTANCE_ID durch die eindeutige Kennung Ihrer Instanz.

Die Befehlsausgabe enthält das Feld knowledgeCatalogRegion, wie im folgenden Beispiel gezeigt:

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

In diesem Beispiel ist der Standort für Dataplex API-Anfragen und Regionsfilter für Ansichten in dieser Instanz us-central1.

Knowledge Catalog-Eintrag einer Ansicht prüfen

Console

So prüfen Sie den Eintrag einer Ansicht in Knowledge Catalog:

  1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

    Zur Suche

  2. Geben Sie im Suchfeld den Namen oder die ID der Bigtable-Ansicht oder eine Suchanfrage ein und drücken Sie die Eingabetaste.

    Sie können mit den folgenden Prädikaten nach Ansichten suchen:

    • Alle Aufrufe: VIEW
    • Autorisierte Ansichten: type=cloud-bigtable-authorized-view
    • Logische Ansichten: type=cloud-bigtable-logical-view
    • Kontinuierliche materialisierte Ansichten: type=cloud-bigtable-materialized-view
    • Ansichten nach Region: z. B. location=us-central1

  3. Wenn Sie die Suche eingrenzen möchten, klicken Sie auf Filter.

  4. Klicken Sie in den Suchergebnissen auf den Namen der Ansicht, um die Detailseite des Eintrags zu öffnen.

    Auf der Seite mit den Eintragsdetails werden alle Eintragsattribute angezeigt, einschließlich Übersichtsinformationen, Systemaspekten wie der SQL-Abfrage, dem Schema oder der Teilmengen-Definition und angehängten benutzerdefinierten Aspekten.

gcloud

Verwenden Sie den Befehl gcloud dataplex entries lookup, um den Eintrag der Ansicht im Knowledge Catalog zu prüfen:

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

Ersetzen Sie Folgendes:

  • VIEW_RESOURCE_NAME: der Bigtable-Ressourcenpfad für die Ansicht (ohne das führende //). Erstellen Sie den Ressourcenpfad basierend auf dem Ansichtstyp:
    • Autorisierte Ansicht: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Logische Ansicht: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Kontinuierliche materialisierte Ansicht: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: die eindeutige Kennung IhresGoogle Cloud -Projekts.
  • INSTANCE_ID: die eindeutige Kennung Ihrer Bigtable-Instanz.
  • TABLE_ID: für autorisierte Ansichten die eindeutige Kennung der Basistabelle, die die Ansicht enthält.
  • VIEW_ID: die Kennung, die der Ansicht zugewiesen ist.
  • LOCATION: die Knowledge Catalog-Region der Bigtable-Instanz (z. B. us-central1).

Die Ausgabe enthält alle Eintragsattribute, einschließlich Systemaspekten und angehängten benutzerdefinierten Aspekten. In der Ausgabe enthält das Feld parentEntry einen regionalen Eintragspfad für die übergeordnete Tabelle oder Instanz. Da Bigtable Tabellen- und Instanzeinträge nur am Standort global speichert, ist dieser regionale übergeordnete Eintrag nicht zugänglich. Wenn Sie die übergeordnete Tabelle oder den Instanzeintrag suchen möchten, geben Sie global als Speicherort an.

REST

Wenn Sie einen Ansichtseintrag programmatisch mithilfe der Dataplex API suchen möchten, senden Sie eine authentifizierte HTTP-GET-Anfrage an die Methode lookupEntry:

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

Ersetzen Sie Folgendes:

  • VIEW_RESOURCE_NAME: der Bigtable-Ressourcenpfad für die Ansicht (ohne das führende //). Erstellen Sie den Ressourcenpfad basierend auf dem Ansichtstyp:
    • Autorisierte Ansicht: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Logische Ansicht: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Kontinuierliche materialisierte Ansicht: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: die eindeutige Kennung IhresGoogle Cloud -Projekts.
  • INSTANCE_ID: die eindeutige Kennung Ihrer Bigtable-Instanz.
  • TABLE_ID: für autorisierte Ansichten die eindeutige Kennung der Basistabelle, die die Ansicht enthält.
  • VIEW_ID: die Kennung, die der Ansicht zugewiesen ist.
  • LOCATION: die Knowledge Catalog-Region der Bigtable-Instanz (z. B. us-central1).

Die Ausgabe enthält alle Eintragsattribute, einschließlich Systemaspekten und angehängten benutzerdefinierten Aspekten. In der Ausgabe enthält das Feld parentEntry einen regionalen Eintragspfad für die übergeordnete Tabelle oder Instanz. Da Bigtable Tabellen- und Instanzeinträge nur am Standort global speichert, ist dieser regionale übergeordnete Eintrag nicht zugänglich. Wenn Sie die übergeordnete Tabelle oder den Instanzeintrag suchen möchten, geben Sie global als Speicherort an.

Erforderliche Rollen

Für das Aufrufen, Taggen und Suchen von Bigtable-Ressourcen in Knowledge Catalog gelten unterschiedliche Berechtigungsanforderungen. Im Allgemeinen sollten Sie Hauptkonten in Ihrer Organisation die Mindestrolle zuweisen, die zum Ausführen einer Aufgabe erforderlich ist.

Berechtigung zum Ansehen öffentlicher und privater Aspekte

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen öffentlicher und privater Aspekte für Bigtable-Ressourcen benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aufrufen öffentlicher und privater Aspekte erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Für Ansichten sind die folgenden Berechtigungen erforderlich:

  • Autorisierte Ansichten: bigtable.authorizedViews.get
  • Logische Ansichten: bigtable.logicalViews.get
  • Kontinuierliche materialisierte Ansichten: bigtable.materializedViews.get

Berechtigung zum Suchen in Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen von Bigtable-Ressourcen in Knowledge Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen von Bigtable-Ressourcen erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Für Ansichten sind die folgenden Berechtigungen erforderlich:

  • Autorisierte Ansichten: bigtable.authorizedViews.get
  • Logische Ansichten: bigtable.logicalViews.get
  • Kontinuierliche materialisierte Ansichten: bigtable.materializedViews.get

Berechtigung zum Suchen und Aufrufen von Bigtable-Metadaten

Wenn Sie nach Metadaten für Bigtable-Ressourcen suchen und diese aufrufen möchten, benötigen Sie eine Rolle mit den folgenden Berechtigungen:

  • Instanzen und Tabellen: bigtable.instances.get, bigtable.clusters.get, bigtable.tables.get
  • Autorisierte Ansichten: bigtable.authorizedViews.get
  • Logische Ansichten: bigtable.logicalViews.get
  • Kontinuierliche materialisierte Ansichten: bigtable.materializedViews.get

Vordefinierte Rollen wie roles/bigtable.viewer oder roles/bigtable.admin enthalten in der Regel diese Berechtigungen.

Berechtigung zum Anhängen von Aspekten an Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Anhängen von Aspekten an Bigtable-Ressourcen in Knowledge Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Hinzufügen öffentlicher und privater Aspekte erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Für Ansichten sind die folgenden Berechtigungen erforderlich:

  • Autorisierte Ansichten: bigtable.authorizedViews.update
  • Logische Ansichten: bigtable.logicalViews.update
  • Kontinuierliche materialisierte Ansichten: bigtable.materializedViews.update

Optional: Benutzerdefinierte Rolle erstellen

Sie können eine benutzerdefinierte Rolle erstellen, die Nutzern zugewiesen wird, die vollständigen Zugriff auf alle Bigtable-Metadaten in Knowledge Catalog in Ihrem Projekt oder Ihrer Organisation benötigen. Anschließend können Sie alle Nutzer oder Dienstkonten, die Zugriff benötigen, als Hauptkonto der benutzerdefinierten Rolle zuweisen. Weitere Informationen zu benutzerdefinierten Rollen finden Sie unter Rollen und Berechtigungen.

Wählen Sie einen aussagekräftigen Namen für die Rolle aus, z. B. Bigtable Dataplex-Bearbeiter, und weisen Sie dann nur die Hauptkonten zu, die Zugriff auf die Rolle benötigen. Eine Anleitung zur Einrichtung finden Sie unter Benutzerdefinierte Rollen erstellen und verwalten.

Gewähren Sie der benutzerdefinierten Rolle die folgenden Berechtigungen:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Weitere Informationen finden Sie unter IAM-Berechtigungen für Knowledge Catalog. Beschreibungen der Bigtable-Berechtigungen finden Sie unter Berechtigungen.

Beschränkungen

In den folgenden Abschnitten sind Einschränkungen aufgeführt, die Sie berücksichtigen müssen, bevor Sie Knowledge Catalog zum Verwalten Ihrer Bigtable-Metadaten verwenden.

Standortbeschränkungen

Wenn Ihre Organisation Standorteinschränkungen erzwingt, werden Metadateneinträge für Ihre Bigtable-Ressourcen möglicherweise nicht mit Knowledge Catalog synchronisiert. Alle Einträge, die vor der Erzwingung von Standorteinschränkungen erstellt wurden, werden von Knowledge Catalog beibehalten.

Damit Knowledge Catalog Ressourcen laden kann, muss Ihre Standortrichtlinie Folgendes zulassen:

  • Die Multiregion global für Instanzen und Tabellen.
  • Die spezifische Region, die der knowledgeCatalogRegion Ihrer Instanz für Ansichten entspricht.

Ausnahme für den Namen der Spaltenfamilie

Die Dataplex API lehnt Anfragen ab, bei denen der Name der Spaltenfamilie in Ihrer Anfrage einen Punkt (.) enthält. Beispiel: Wenn der Name der Spaltenfamilie personal.info lautet.

Nächste Schritte