(Deprecato) Concetti relativi alla mesh di dati

Prima di passare alla guida dettagliata sul deployment di mesh di dati con Google Cloud Cortex Framework, questa pagina fornisce una base su come i concetti pertinenti di mesh di dati vengono generalmente implementati all'interno di un prodotto Google Cloud e in particolare con il contesto di Cortex Framework. Dopo aver compreso i concetti di mesh di dati, consulta la guida dell'utente di mesh di dati per Cortex Framework Data Foundation.

Knowledge Catalog

La tabella seguente definisce i concetti di mesh di dati all'interno di Knowledge Catalog:

Concetto Descrizione Contesto di Cortex Framework
Lake Unità di primo livello per l'organizzazione dei dati all'interno di un mesh di dati. Gestisci Knowledge Catalog - Lake. Un'origine dati, ad esempio SAP ECC, Salesforce, Google Ads.
Zona Unità di secondo livello per l'organizzazione dei dati all'interno di un lake. Livelli di elaborazione specifici all'interno di un'origine dati, ad esempio dati non elaborati rispetto a CDC.
Asset di Knowledge Catalog Riferimento ai dati archiviati in Cloud Storage o BigQuery associati a una zona. Si tratta di un riferimento all'asset di dati e non ai dati stessi. Riferimento ai set di dati BigQuery registrati nelle zone.
Etichetta Coppie chiave-valore arbitrarie che possono essere applicate a lake o zone. Etichetta interi lake o zone (anziché tabelle o colonne) con metadati che possono essere visualizzati in Knowledge Catalog o utilizzati per applicazioni personalizzate.
Data Catalog Metadati aziendali tecnici che possono essere utilizzati per facilitare il rilevamento, la comprensione o la gestione degli asset di dati all'interno di un warehouse. Annota tabelle o colonne (anziché lake o zone) con tag di metadati avanzati che possono essere utilizzati nella ricerca di Knowledge Catalog o in applicazioni personalizzate.
Modelli di tag di catalogo Un modello che definisce i campi disponibili e i relativi tipi in un tag. Gestisci Knowledge Catalog - Modelli di tag Definisci un insieme di modelli per usi come il tagging degli asset di dati con linee di business.
Tag catalogo Un insieme di campi e i relativi valori che contengono metadati applicabili a una tabella o a una colonna. Un'istanza di un modello di tag. Annota una tabella o una colonna con valori di metadati pertinenti per l'asset, ad esempio una determinata linea di business.
Glossario del catalogo Un dizionario di termini che possono essere definiti e associati alle colonne BigQuery. Gestire Knowledge Catalog - Glossari. Definisci i termini o gli acronimi utilizzati negli asset BigQuery. Tieni presente che questa funzionalità è prevista per il futuro e non è supportata.
Data Lineage Un grafico che rappresenta le dipendenze degli asset BigQuery. Questi non sono definiti dal mesh di dati Cortex, ma sono uno strumento pertinente di Knowledge Catalog per aiutare gli utenti a scoprire le origini dati degli asset BigQuery.
Evento di derivazione Un momento nel tempo in cui si è verificata un'operazione per spostare i dati tra gli asset BigQuery. Contiene un elenco di link. Creato automaticamente per le operazioni BigQuery e Composer supportate.
Link di derivazione Un arco che rappresenta i dati che fluiscono da un asset di origine a un asset di destinazione nell'ambito di un evento di derivazione. Può essere analizzato per supportare casi d'uso oltre ai grafici di visualizzazione della derivazione presentati nella console.

BigQuery

La tabella seguente definisce i concetti di mesh di dati all'interno di BigQuery:

Concetto Descrizione Contesto di Cortex Framework
Tassonomia delle norme Una gerarchia di tag di policy. Gestisci BigQuery - Tag di policy. Organizza i tag di policy correlati che possono essere utilizzati per controllo dell'accesso in una gerarchia con autorizzazioni ereditate.
Tag di policy Un tag applicato a colonne specifiche all'interno di una tabella o di una vista BigQuery. È possibile applicare i tag di policy a qualsiasi livello della gerarchia. A una determinata colonna può essere applicato un solo tag di criteri. Annota le colonne con i tag utilizzati per controllo dell'accesso a livello di colonna. Le entità nel tag di criteri definiscono i lettori "granulari" o "non mascherati" che possono visualizzare i dati delle colonne non elaborati.
Policy relative ai dati Policy applicate a un tag di policy che definiscono come e chi può visualizzare i dati della colonna mascherati. Le entità nella policy dei dati definiscono i "lettori mascherati" che possono visualizzare i dati delle colonne mascherate. Chiunque non disponga dei privilegi di lettura con o senza mascheramento non potrà eseguire query sulla colonna.
Regola di mascheramento Regole applicate a una policy sui dati che definiscono il modo in cui i dati vengono mascherati, ad esempio hashing, visualizzazione di un valore predefinito, ultimi quattro caratteri e altri. Applicata in base alla situazione alle colonne sensibili.
Policy di accesso alle righe Istruzioni SQL che definiscono quali gruppi possono eseguire query sulle righe all'interno delle tabelle in base a valori di colonna specifici. Utilizzato per controllo dell'accesso a livello di riga quando il controllo a livello di asset e colonna non è sufficiente.

Concetto di Cortex mesh di dati

La tabella seguente definisce concetti specifici di mesh di dati all'interno di Cortex Framework:

Concetto Descrizione Contesto di Cortex Framework
Risorsa dei metadati Entità di metadati che possono essere riutilizzate in più asset BigQuery. Esempi: Lake, modelli di tag del catalogo e tassonomie delle policy. Si tratta in particolare dei metadati e non dei dati in BigQuery. Definisce le risorse riutilizzabili per consentire una gestione coerente del mesh di dati Cortex.
Asset BigQuery Tabella o vista BigQuery. Oggetti BigQuery Cortex esistenti gestiti con il mesh di dati.
Annotazione degli asset BigQuery Metadati applicati a una tabella o vista BigQuery specifica. Sono incluse descrizioni, policy di accesso e mappature alle risorse dei metadati. Associa i metadati agli asset BigQuery per abilitare il rilevamento e controllo dell'accesso.
Specifica della risorsa (spec) Un file YAML che definisce una risorsa di metadati o un'annotazione degli asset BigQuery. Il set completo di specifiche delle risorse codifica la configurazione del mesh di dati di cui eseguire il deployment.