(Eingestellt) Data-Mesh-Konzepte

Warnung: Die Data Mesh-Funktion im Google Cloud Cortex Framework wurde eingestellt und deaktiviert. Diese Änderung ist auf die Weiterentwicklung der Datenverwaltungsdienste von Google Cloudzurückzuführen. Die Data Mesh-Lösung wurde mit Data Catalog für die Metadatenverwaltung erstellt, das jetzt durch den fortschrittlicheren Knowledge Catalog ersetzt wird. Knowledge Catalog bietet eine einheitliche API, erweiterte Metadatenfunktionen und neue Features für eine umfassendere Data Governance.

Bevor Sie sich mit der detaillierten Anleitung zur Bereitstellung von Data Mesh mit dem Google Cloud Cortex Framework befassen, finden Sie auf dieser Seite eine Grundlage dafür, wie relevante Data Mesh-Konzepte im Allgemeinen in einem Google Cloud -Produkt und insbesondere im Kontext des Cortex Framework implementiert werden. Nachdem Sie die Data Mesh-Konzepte verstanden haben, lesen Sie das Data Mesh-Nutzerhandbuch für die Cortex Framework Data Foundation.

Hinweis: Weitere Informationen zu allgemeinen Data Mesh-Konzepten finden Sie unter Modernes, verteiltes Data Mesh mit Google Cloud erstellen.

Knowledge Catalog

In der folgenden Tabelle werden Data Mesh-Konzepte in Knowledge Catalog definiert:

Konzept	Beschreibung	Cortex Framework-Kontext
See	Oberste Einheit zum Organisieren von Daten in einem Data Mesh. Knowledge Catalog – Lakes verwalten.	Eine Datenquelle, z. B. SAP ECC, Salesforce, Google Ads.
Zone	Einheit der zweiten Ebene zum Organisieren von Daten in einem Lake.	Spezifische Verarbeitungsebenen innerhalb einer Datenquelle, z. B. Rohdaten im Vergleich zu CDC.
Knowledge Catalog-Asset	Verweis auf Daten, die in Cloud Storage oder BigQuery gespeichert sind und einer Zone zugeordnet sind. Dies ist ein Verweis auf das Daten-Asset und nicht auf die Daten selbst.	Verweis auf BigQuery-Datasets, die in Zonen registriert sind.
Label	Beliebige Schlüssel/Wert-Paare, die auf Lakes oder Zonen angewendet werden können.	Labeln Sie ganze Lakes oder Zonen (anstatt Tabellen oder Spalten) mit Metadaten, die in Knowledge Catalog angezeigt oder für benutzerdefinierte Anwendungen verwendet werden können.
Data Catalog	Technische Geschäftsmetadaten, die zum Erkennen, Verstehen oder Verwalten von Daten-Assets in einem Warehouse verwendet werden können.	Tabellen oder Spalten (anstatt Lakes oder Zonen) mit umfangreichen Metadaten-Tags annotieren, die in der Knowledge Catalog-Suche oder in benutzerdefinierten Anwendungen verwendet werden können.
Katalog-Tag-Vorlagen	Eine Vorlage, die die verfügbaren Felder und ihre Typen in einem Tag definiert. Knowledge Catalog – Tag-Vorlagen verwalten	Definieren Sie eine Reihe von Vorlagen für Verwendungszwecke wie das Taggen von Daten-Assets mit Lines of Business.
Katalog-Tag	Eine Reihe von Feldern und deren Werte, die Metadaten enthalten, die für eine Tabelle oder Spalte gelten. Eine Instanz einer Tag-Vorlage.	Annotieren Sie eine Tabelle oder Spalte mit Metadatenwerten, die für dieses Asset relevant sind, z. B. eine bestimmte Line of Business.
Katalogglossar	Ein Wörterbuch mit Begriffen, die definiert und mit BigQuery-Spalten verknüpft werden können. Knowledge Catalog – Glossare verwalten.	Definieren Sie Begriffe oder Akronyme, die in BigQuery-Assets verwendet werden. Diese Funktion ist für die Zukunft geplant und wird derzeit nicht unterstützt.
Datenherkunft	Ein Diagramm, das BigQuery-Asset-Abhängigkeiten darstellt.	Diese werden nicht von Cortex Data Mesh definiert, es ist jedoch ein relevantes Knowledge Catalog-Tool, mit dem Nutzer BigQuery-Asset-Datenquellen finden können.
Herkunftsereignis	Ein Zeitpunkt, zu dem ein Vorgang zum Verschieben von Daten zwischen BigQuery-Assets stattgefunden hat. Enthält eine Liste von Links.	Wird automatisch für unterstützte BigQuery- und Composer-Vorgänge erstellt.
Lineage-Link	Eine Edge, die Daten darstellt, die im Rahmen eines Herkunftsereignisses von einem Quell- zu einem Ziel-Asset fließen.	Sie kann analysiert werden, um Anwendungsfälle zu unterstützen, die über die in der Console dargestellten Lineage-Visualisierungsdiagramme hinausgehen.

BigQuery

In der folgenden Tabelle werden Data Mesh-Konzepte in BigQuery definiert:

Konzept	Beschreibung	Cortex Framework-Kontext
Richtlinientaxonomie	Eine Hierarchie von Richtlinien-Tags. BigQuery-Richtlinien-Tags verwalten.	Organisieren Sie zusammengehörige Richtlinien-Tags, die für die Zugriffssteuerung verwendet werden können, in einer Hierarchie mit übernommenen Berechtigungen.
Richtlinien-Tag	Ein Tag, das auf bestimmte Spalten in einer BigQuery-Tabelle oder -Ansicht angewendet wird. Richtlinien-Tags können auf jeder Ebene der Hierarchie angewendet werden. Auf eine bestimmte Spalte kann nur ein Richtlinien-Tag angewendet werden.	Spalten mit Tags versehen, die für die Zugriffssteuerung auf Spaltenebene verwendet werden. Hauptkonten im Richtlinien-Tag definieren „detaillierte“ oder „nicht maskierte“ Leser, die die Rohdaten der Spalte sehen können.
Datenrichtlinie	Richtlinien, die auf ein Richtlinien-Tag angewendet werden und festlegen, wie und wer die maskierten Spaltendaten sehen kann.	Hauptkonten in der Datenrichtlinie definieren die „maskierten Leser“, die die maskierten Spaltendaten sehen können. Nutzer, die keine Leseberechtigungen für maskierte oder unmaskierte Daten haben, können die Spalte nicht abfragen.
Maskierungsregel	Regeln, die auf eine Datenrichtlinie angewendet werden und definieren, wie die Daten maskiert werden, z. B. durch Hashing, Anzeige eines Standardwerts, der letzten vier Zeichen und anderer Werte.	Wird situationsbedingt auf sensible Spalten angewendet.
Zeilenzugriffsrichtlinie	SQL-Anweisungen, die definieren, welche Gruppen Zeilen in Tabellen basierend auf bestimmten Spaltenwerten abfragen können.	Wird für die Zugriffssteuerung auf Zeilenebene verwendet, wenn die Steuerung auf Asset- und Spaltenebene nicht ausreicht.

Cortex Data Mesh-Konzept

In der folgenden Tabelle werden spezifische Data Mesh-Konzepte im Cortex Framework definiert:

Konzept	Beschreibung	Cortex Framework-Kontext
Metadatenressource	Metadatenentitäten, die in mehreren BigQuery-Assets wiederverwendet werden können. Beispiele sind Lakes, Katalog-Tag-Vorlagen und Richtlinientaxonomien. Dies sind die Metadaten und nicht die Daten in BigQuery selbst.	Definiert wiederverwendbare Ressourcen, um eine konsistente Verwaltung des Cortex Data Mesh zu ermöglichen.
BigQuery-Asset	BigQuery-Tabelle oder -Ansicht.	Vorhandene Cortex BigQuery-Objekte, die mit dem Data Mesh verwaltet werden.
BigQuery-Asset-Annotation	Metadaten, die auf eine bestimmte BigQuery-Tabelle oder -Ansicht angewendet werden. Dazu gehören Beschreibungen, Zugriffsrichtlinien und Zuordnungen zu Metadatenressourcen.	Verknüpfen Sie Metadaten mit BigQuery-Assets, um die Erkennung und Zugriffssteuerung zu ermöglichen.
Ressourcenspezifikation (Spezifikation)	Eine YAML-Datei, die eine Metadatenressource oder eine BigQuery-Asset-Annotation definiert.	Der vollständige Satz von Ressourcenspezifikationen codiert die bereitzustellende Data Mesh-Konfiguration.