Sie können Ihre Datastream-Ressourcen mit Knowledge Catalog suchen und verwalten. Knowledge Catalog ist eine Plattform zum Speichern, Verwalten und Aufrufen Ihrer Metadaten. Knowledge Catalog kann Sie bei Folgendem unterstützen:
- Datastream-Metadaten erkennen, analysieren und verstehen.
- Datastream-Ressourcen wie Streams, Verbindungsprofile und Konfigurationen für Verbindungen durchsuchen.
- Verbesserung der operativen Transparenz für die Fehlerbehebung und Verwaltung von Datenpipelines.
- Einrichten von Mechanismen für die nahezu in Echtzeit erfolgende und regelmäßige Aufnahme von Metadaten mit Live- und Batch-Synchronisierung. Weitere Informationen finden Sie unter Synchronisierungsmodi.
Knowledge Catalog-Modellierung
Datastream-Ressourcen werden in Knowledge Catalog unter einer reservierten, Knowledge Catalog-eigenen Eintragsgruppe und bestimmten Eintragstypen modelliert.
| Knowledge Catalog-Entität | Ressourcenkennzeichnung |
|---|---|
| Eintragsgruppe | @datastream |
| Eintragstyp | datastream-stream |
| Eintragstyp | datastream-connection-profile |
| Eintragstyp | datastream-private-connection |
Arten der Metadatenerkennung
Die Metadatenermittlung in Knowledge Catalog ist ein automatisierter Prozess, bei dem verbundene Datenquellen wie Datastream gescannt werden, um Daten-Assets zu identifizieren und ihre technischen Metadaten in Knowledge Catalog zu extrahieren.
Bei diesem Prozess wird sowohl die Echtzeit- als auch die regelmäßige Synchronisierung verwendet, um den Katalog mit dem Quellsystem konsistent zu halten. Für Datastream werden standardmäßig Metadaten für alle Streams, Verbindungsprofile und Konfigurationen für private Konnektivität erkannt:
| Ressourcentyp | Metadaten abgerufen |
|---|---|
| Streams |
|
| Verbindungsprofile |
|
| Konfigurationen für private Konnektivität |
|
Synchronisierungsmodi
Datastream verwendet die folgenden Synchronisierungsmodi, um den Knowledge Catalog mit dem Quellsystem konsistent zu halten.
- Live-Synchronisierung: In diesem Modus veröffentlicht Datastream Ereignisse in Pub/Sub-Themen, wenn Metadatenänderungen auftreten. So kann Knowledge Catalog nahezu in Echtzeit Updates erhalten, indem diese Themen abonniert werden.
- Batchsynchronisierung: In diesem Modus veröffentlicht Datastream regelmäßig vollständige Metadatenexporte (Prüfpunkte) in bestimmten Cloud Storage-Buckets, aus denen Knowledge Catalog die Daten aufnimmt.
Suche nach Keywords und in natürlicher Sprache
Knowledge Catalog unterstützt die Suche nach Keywords und in natürlicher Sprache.
- Mit der Keyword-Suche können Sie Ressourcen mithilfe bestimmter Keywords, Filter und einer definierten Syntax finden. Sie können beispielsweise
system=Datastream AND type=Streameingeben, um alle Datastream-Streams aufzurufen. - Bei der Suche in natürlicher Sprache wird KI verwendet, um semantische Suchanfragen zu verstehen. Sie können Ressourcen in natürlicher Sprache finden, ohne komplexe Syntax verwenden zu müssen. Sie können beispielsweise Abfragen wie
List all Datastream streams with BigQuery destinationeingeben.
Weitere Informationen finden Sie unter Suchsyntax für Knowledge Catalog.
Hinweis
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Aktivieren Sie die Dataplex API für das Projekt.
- Prüfen Sie, ob Sie die erforderlichen Berechtigungen haben.
Erforderliche IAM-Rollen
In diesem Abschnitt werden die Rollen und Berechtigungen beschrieben, die für die Suche nach Ressourcen und den Zugriff auf die Suchergebnisse erforderlich sind.
Erforderliche Rollen für den Zugriff auf Suchergebnisse
Damit Hauptkonten Datastream-Metadaten in Knowledge Catalog suchen und aufrufen können, müssen sie Berechtigungen zum Aufrufen von Datastream-Ressourcen haben, einschließlich der Berechtigung dataplex.projects.search.
Wenn Sie Hauptkonten wie Nutzern, Gruppen oder Dienstkonten diese Berechtigungen gewähren möchten, weisen Sie ihnen die IAM-Rolle Datastream-Betrachter (roles/datastream.viewer) für das Projekt zu, das die Datastream-Ressourcen enthält.
| Knowledge Catalog-Vorgang | Datastream-Ressource | Erforderliche Rollen oder Berechtigungen |
|---|---|---|
| Nach Datastream-Ressourcen suchen | Streams | datastream.streams.get |
| Verbindungsprofile | datastream.connectionProfiles.get |
|
| Konfigurationen für private Konnektivität | datastream.privateConnections.get |
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten. Weitere Informationen zu Datastream-IAM-Rollen finden Sie unter IAM-Rollen und -Berechtigungen für Datastream.
Erforderliche Rollen für die Suche nach Einträgen
Um nach Einträgen zu suchen, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird:
- Dataplex Catalog Admin
(
roles/dataplex.catalogAdmin) - Dataplex Catalog Editor
(
roles/dataplex.catalogEditor) - Dataplex Catalog Viewer
(
roles/dataplex.catalogViewer)
Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft. Weitere Informationen finden Sie unter Mit Knowledge Catalog nach Daten-Assets suchen.
Nach Datastream-Assets suchen
Verwenden Sie die Knowledge Catalog-Suchseite in der Google Cloud Console, um nach Datastream-Assets zu suchen.
Rufen Sie im Knowledge Catalog die Seite Suchen auf.
Wählen Sie unter Suchplattform auswählen die Option Knowledge Catalog aus.
Klicken Sie im Bereich Filter auf Systeme und wählen Sie dann Datastream aus.
Optional. Unter Typ-Aliasse können Sie die Suchergebnisse nach einem bestimmten Datastream-Asset-Typ filtern, indem Sie einen oder mehrere der folgenden Typ-Aliasse auswählen:
- Datenstream: Zum Suchen nach Datastream-Streams.
- Verbindungsprofil: Zum Suchen nach Datastream-Verbindungsprofilen.
- Verbindung: Zum Suchen nach Datastream-Konfigurationen für private Verbindungen.
Abfragen für die Keyword-Suche verwenden
Sie können das Suchfeld im Knowledge Catalog verwenden, um Suchanfragen mit Keywords auszuführen. Sie können beispielsweise system=Datastream AND type=Stream eingeben, um alle Datastream-Streams aufzurufen.
Weitere Informationen finden Sie unter Suchsyntax für Knowledge Catalog.
Geben Sie system=Datastream ein, um alle Datastream-Assets aufzurufen.
Anschließend können Sie bestimmte Keywords eingeben. So rufen Sie beispielsweise alle Datastream-Streams auf:
system=Datastream AND type=Stream
Geben Sie die folgende Abfrage ein, um alle Verbindungsprofile aufzurufen:
system=Datastream AND type=ConnectionProfile
Sie können auch Klammern und die logischen Operatoren AND und OR für komplexe Ausdrücke verwenden. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie unter Suchsyntax für Knowledge Catalog.
Sie können Suchanfragen für bestimmte Datastream-Assets direkt in das Suchfeld eingeben. Der Abfragestring hat folgendes Format:
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
Ersetzen Sie Folgendes:
QUERY_STRING: Verwenden Sie die folgende Liste, um einen Abfragestring basierend auf dem Typ des Datastream-Assets zu identifizieren, das Sie abfragen möchten:datastream-streamdatastream-connection-profiledatastream-private-connection
Eine Beispielabfrage könnte etwa so aussehen:
type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"
Preise
Für das Speichern technischer Datastream-Metadaten in Knowledge Catalog fallen keine Gebühren an. Für API-Aufrufe und zusätzliche Anreicherungen von Geschäftsmetadaten gelten die Standardpreise für Knowledge Catalog. Weitere Informationen finden Sie auf der Preisseite für Knowledge Catalog.