Puoi cercare e gestire le tue risorse Datastream utilizzando Knowledge Catalog, una piattaforma per archiviare, gestire e accedere ai tuoi metadati. Utilizza Knowledge Catalog per:
- Scoprire, analizzare e comprendere i metadati di Datastream.
- Sfogliare le risorse Datastream, come stream, profili di connessione e configurazioni di connettività.
- Migliorare la visibilità operativa per la risoluzione dei problemi e la gestione delle pipeline di dati.
- Stabilire meccanismi sia quasi in tempo reale che periodici per un'importazione coerente dei metadati con sincronizzazione in tempo reale e in batch. Per saperne di più, consulta Modalità di sincronizzazione.
Modellazione di Knowledge Catalog
Le risorse Datastream sono modellate in Knowledge Catalog in un gruppo di voci riservato di proprietà di Knowledge Catalog e in tipi di voci specifici.
| Entità Knowledge Catalog | Identificatore di risorse |
|---|---|
| Gruppo di voci | @datastream |
| Tipo di voce | datastream-stream |
| Tipo di voce | datastream-connection-profile |
| Tipo di voce | datastream-private-connection |
Tipi di rilevamento dei metadati
Il rilevamento dei metadati di Knowledge Catalog è un processo automatizzato che analizza le origini dati connesse, come Datastream, per identificare gli asset di dati ed estrarre i relativi metadati tecnici in Knowledge Catalog.
Questo processo utilizza la sincronizzazione sia in tempo reale sia periodica per mantenere il catalogo coerente con il sistema di origine. Per Datastream, i metadati di tutti gli stream, i profili di connessione e le configurazioni di connettività privata vengono rilevati per impostazione predefinita:
| Tipo di risorsa | Metadati recuperati |
|---|---|
| Flussi |
|
| Profili di connessione |
|
| Configurazioni di connettività privata |
|
Modalità di sincronizzazione
Datastream utilizza le seguenti modalità di sincronizzazione per mantenere il Knowledge Catalog coerente con il sistema di origine.
- Sincronizzazione in tempo reale: in questa modalità, Datastream pubblica gli eventi negli argomenti Pub/Sub quando si verificano modifiche ai metadati. In questo modo, Knowledge Catalog riceve aggiornamenti quasi in tempo reale iscrivendosi a questi argomenti.
- Sincronizzazione batch: in questa modalità, Datastream pubblica periodicamente esportazioni complete dei metadati (checkpoint) nei bucket Cloud Storage designati, da cui Knowledge Catalog importa i dati.
Ricerca per parole chiave e in linguaggio naturale
Knowledge Catalog supporta le ricerche per parole chiave e in linguaggio naturale.
- La ricerca per parole chiave consente di trovare le risorse utilizzando parole chiave specifiche, filtri e una sintassi definita. Ad esempio, puoi inserire
system=Datastream AND type=Streamper visualizzare tutti gli stream Datastream. - La ricerca in linguaggio naturale utilizza l'AI per comprendere le query semantiche. Ti consente di trovare le risorse utilizzando un linguaggio naturale, eliminando la necessità di una sintassi complessa. Ad esempio, puoi inserire query come
List all Datastream streams with BigQuery destination.
Per saperne di più, consulta Sintassi di ricerca per Knowledge Catalog.
Prima di iniziare
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Abilita l'API Dataplex per il progetto.
- Verifica di disporre delle autorizzazioni necessarie.
Ruoli IAM richiesti
Questa sezione descrive i ruoli e le autorizzazioni necessari per cercare le risorse e accedere ai risultati di ricerca.
Ruoli richiesti per accedere ai risultati di ricerca
Per cercare e visualizzare i metadati di Datastream in Knowledge Catalog, le entità devono disporre delle autorizzazioni per visualizzare le risorse Datastream, inclusa l'autorizzazione dataplex.projects.search.
Per concedere queste autorizzazioni alle entità, ad esempio utenti, gruppi o service account, assegna loro il ruolo IAM Datastream Viewer (roles/datastream.viewer) nel progetto che contiene le risorse Datastream.
| Operazione di Knowledge Catalog | Risorsa Datastream | Ruoli o autorizzazioni richiesti |
|---|---|---|
| Cerca risorse Datastream | Flussi | datastream.streams.get |
| Profili di connessione | datastream.connectionProfiles.get |
|
| Configurazioni di connettività privata | datastream.privateConnections.get |
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso. Per saperne di più sui ruoli IAM di Datastream, consulta Ruoli e autorizzazioni IAM per Datastream.
Ruoli obbligatori per la ricerca di voci
Per cercare le voci, devi avere almeno uno dei seguenti ruoli IAM all'interno del progetto usato per la ricerca:
- Dataplex Catalog Admin
(
roles/dataplex.catalogAdmin) - Dataplex Catalog Editor
(
roles/dataplex.catalogEditor) - Dataplex Catalog Viewer
(
roles/dataplex.catalogViewer)
Le autorizzazioni sui risultati di ricerca vengono controllate indipendentemente dal progetto selezionato. Per saperne di più, consulta Cerca asset di dati con Knowledge Catalog.
Cerca asset Datastream
Utilizza la pagina di ricerca di Knowledge Catalog nella console Google Cloud per cercare gli asset Datastream.
Vai alla pagina Ricerca di Knowledge Catalog.
In Scegli la piattaforma di ricerca, seleziona Knowledge Catalog.
Nel riquadro Filtri, fai clic su Sistemi e poi seleziona Datastream.
Facoltativo. In Alias di tipo, puoi filtrare i risultati di ricerca in base a un tipo specifico di asset Datastream selezionando uno o più dei seguenti alias di tipo:
- Stream di dati: per cercare gli stream Datastream.
- Profilo di connessione: per cercare i profili di connessione Datastream.
- Connessione: per cercare le configurazioni di connettività privata di Datastream.
Utilizza le query per eseguire la ricerca per parola chiave
Puoi utilizzare il campo di ricerca in Knowledge Catalog per eseguire query di ricerca per parole chiave. Ad esempio, puoi inserire system=Datastream AND type=Stream per visualizzare tutti gli stream Datastream.
Per saperne di più, consulta Sintassi di ricerca per Knowledge Catalog.
Per visualizzare tutti gli asset Datastream, inserisci system=Datastream.
Poi puoi inserire parole chiave specifiche. Ad esempio, per visualizzare tutti gli stream Datastream:
system=Datastream AND type=Stream
Per visualizzare tutti i profili di connessione, inserisci la seguente query:
system=Datastream AND type=ConnectionProfile
Puoi anche utilizzare le parentesi e gli operatori logici AND e OR per
espressioni complesse. Per scoprire di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta Sintassi di ricerca per Knowledge Catalog.
Puoi inserire direttamente le query di ricerca per asset Datastream specifici nel campo di ricerca. Il formato della stringa di query è il seguente:
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
Sostituisci quanto segue:
QUERY_STRING: utilizza il seguente elenco per identificare una stringa di query in base al tipo di asset Datastream su cui vuoi eseguire una query:datastream-streamdatastream-connection-profiledatastream-private-connection
Una query di esempio potrebbe essere simile alla seguente:
type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"
Prezzi
Non sono previsti costi per l'archiviazione dei metadati tecnici di Datastream in Knowledge Catalog. I prezzi standard di Knowledge Catalog si applicano alle chiamate API e all'arricchimento aggiuntivo dei metadati aziendali. Per saperne di più, consulta la pagina dei prezzi di Knowledge Catalog.
Passaggi successivi
- Scopri di più sulla gestione dei metadati in Knowledge Catalog.
- Scopri di più sui ruoli di Identity and Access Management di Knowledge Catalog.