Unternehmensdatenumgebungen enthalten oft Hunderte von Datasets, Tabellen und Datenmodellen in mehreren Speichersystemen. Um herauszufinden, wer der Inhaber der einzelnen Datasets ist, ob sie sensible Informationen wie personenidentifizierbare Informationen enthalten oder ob sie Qualitätsstandards erfüllen, müssen Sie in der Regel Datenquellen manuell untersuchen oder verstreute Dokumentationen aufspüren.
Aspekte und Aspekttypen in Knowledge Catalog (ehemals Dataplex Universal Catalog) lösen dieses Problem, indem sie eine standardisierte, erweiterbare Möglichkeit bieten, strukturierten Geschäftskontext, Governance-Richtlinien und operative Attribute direkt an Daten-Assets anzuhängen.
In diesem Dokument werden die Architekturkonzepte, Bereichsregeln und Governance-Grenzen für Aspekttypen und Aspekte in Knowledge Catalog beschrieben. Informationen zum Anhängen von Aspekten an vorhandene Einträge oder zum Erstellen benutzerdefinierter Aspekttypen finden Sie unter Aspekte verwalten und Metadaten anreichern.
Aspekttypen
Ein Aspekttyp (AspectType) ist eine wiederverwendbare Schemavorlage, die die Metadatenfelder, Datentypen und Validierungsregeln für einen Aspekt definiert. Bevor Sie einen Aspekt erstellen oder anhängen können, benötigen Sie einen Aspekttyp, der das Schema definiert.
Wenn Sie einen benutzerdefinierten Aspekttyp erstellen, müssen Sie eine ID angeben, die den Richtlinien für die Benennung von Knowledge Catalog-Ressourcen entspricht.
Kategorien von Aspekttypen
Aspekttypen werden basierend auf Inhaberschaft und Umfang in zwei Kategorien unterteilt: benutzerdefinierte Aspekttypen und Systemaspekttypen.
Benutzerdefinierte Aspekttypen
Benutzerdefinierte Aspekttypen sind Schemavorlagen, die von Ihrer Organisation erstellt und verwaltet werden. Sie verwenden sie, um domänenspezifische Metadaten wie Geschäftsinhaberschaft, SLA-Stufen, Richtlinien zur Datenaufbewahrung oder Compliance-Klassifizierungen zu erfassen.
Benutzerdefinierte Aspekttypen gelten für Einträge und Spalten, aber nicht für Eintragslinks. Sie können also benutzerdefinierte Aspekttypen verwenden, um eine eigene organisationsspezifische Taxonomie für Daten-Assets und einzelne Schemafelder zu definieren. Da benutzerdefinierte Aspekttypen nicht für Eintragslinks gelten, können Sie sie nicht verwenden, um benutzerdefinierte Beziehungsmetadaten zwischen Einträgen zu definieren. Eintragslinks unterstützen nur bestimmte Systemaspekttypen. Sie können einen benutzerdefinierten Aspekttyp an einem bestimmten regionalen Standort oder als global-Ressource definieren:
- Globale Aspekttypen: Werden in allen Google Cloud -Regionen repliziert und können an Einträge in jeder Region angehängt werden. Wenn Sie einen globalen Aspekttyp definieren, können Sie ein einzelnes standardisiertes Schema für Ihre gesamte verteilte Umgebung erzwingen, ohne Duplikate verwalten zu müssen. Da Schemadefinitionen jedoch global repliziert werden, sollten Sie einen regionalen Aspekttyp auswählen, wenn die Compliance- oder Datenstandortrichtlinien Ihrer Organisation erfordern, dass Metadatendefinitionen strikt auf eine bestimmte geografische Grenze beschränkt bleiben.
- Regionale Aspekttypen: Werden in einer bestimmten Region wie
us-central1odereurope-west1gespeichert und können nur an Einträge angehängt werden, die sich in derselben Region befinden. Wählen Sie einen regionalen Aspekttyp aus, um die Anforderungen an die Datenhoheit zu erfüllen oder wenn Metadatenstrukturen für eine regionale Arbeitslast eindeutig sind. Wenn Sie dieselbe Metadatenstruktur in mehreren isolierten Regionen benötigen, müssen Sie in jeder Zielregion separate Aspekttypdefinitionen erstellen und verwalten.
Weitere Informationen zur Ressourceneingrenzung finden Sie unter Projekt- und Standorteinschränkungen.
Systemaspekttypen
Systemaspekttypen sind vordefinierte Vorlagen, die von Google Cloud bereitgestellt und verwaltet werden. Systemaspekttypen sind immer global und werden in einem von Google verwalteten Projekt mit der Projektnummer 655216118709 und dem Alias dataplex-types gespeichert. Beispiel:
projects/655216118709/locations/global/aspectTypes/schema
Systemaspekttypen lassen sich in zwei Funktionsgruppen unterteilen:
- Wiederverwendbare Systemaspekttypen: Vorlagen von Google, die Sie an Einträge oder Spalten anhängen können, um standardisierte Metadaten wie Schemadefinitionen, automatisierte Datenprofilerstellung oder Scorecards für die Datenqualität aufzuzeichnen.
- Eingeschränkte Systemaspekttypen: Werden automatisch von Google Cloud -Diensten verwaltet, um zugrunde liegende Infrastrukturattribute wie BigQuery-Tabellenlayouts oder Cloud Storage-Bucket-Konfigurationen darzustellen. Sie können Aspekte unter zugriffsbeschränkten Typen ansehen, aber nicht manuell erstellen, ändern oder löschen.
Jeder Systemaspekttyp hat eigene IAM-Berechtigungen. Weitere Informationen finden Sie unter IAM-Berechtigungen für Systemaspekttypen, Eintragstypen und Eintragsverknüpfungstypen.
In der folgenden Tabelle sind die von Knowledge Catalog bereitgestellten Systemaspekttypen aufgeführt:
| Kategorie | Beschreibung | Von Knowledge Catalog bereitgestellte Aspekttypen |
|---|---|---|
| Wiederverwendbarer Systemaspekttyp | Vordefinierte Vorlagen, die Sie an Einträge, Spalten oder Eintragslinks anhängen können. |
|
| Eingeschränkter Systemaspekttyp | Infrastrukturvorlagen, die automatisch von Google Cloud -Diensten verwaltet werden. Aspekte haben Lesezugriff. |
Hierzu gehören unter anderem:
|
Benutzerdefinierte Aspekttypen und Gemini in BigQuery
Gemini in BigQuery basiert die SQL-Generierung und Datenanalyse auf Standard-Schemadefinitionen, Tabelleneinschränkungen und nativen Tabellen- oder Spaltenbeschreibungsfeldern. Benutzerdefinierte Aspekttypen in Knowledge Catalog werden für Governance, Suche und API-Abruf auf der Katalogebene gespeichert, aber nicht dynamisch in die Pipeline für den kontextbezogenen Prompt-Abruf von Gemini eingefügt.
Für Ihren Workflow bedeutet das, dass generative KI-Funktionen in BigQuery beim Generieren von SQL-Abfragen oder beim Beantworten von Fragen zu Ihren Daten nicht automatisch Metadaten lesen können, die in benutzerdefinierten Aspektfeldern gespeichert sind.
Empfohlene Best Practice
Damit generative KI-Modelle in BigQuery den Geschäftskontext in generierte Abfragen einbeziehen, sollten Sie neben benutzerdefinierten Katalogaspekten auch native Tabellen- und Spaltenbeschreibungen in BigQuery einfügen. Dieser duale Ansatz sorgt dafür, dass operative KI-Assistenten den Tabellenkontext interaktiv abrufen, während die Governance-Pipelines des Katalogs die Metadatenrichtlinien des Unternehmens durchsetzen.
Aspekte
Ein Aspekt (Aspect) ist eine konkrete Instanz eines Aspekttyps, die an einen bestimmten Eintrag, eine bestimmte Spalte oder eine bestimmte Beziehung angehängt ist und die tatsächlichen Metadatenwerte enthält. Aspekte werden direkt in ihren übergeordneten Ressourcen gekapselt. So können Sie atomare Lese- und Schreibvorgänge zusammen mit Eintragsaktualisierungen ausführen. Das bedeutet, dass Sie einen Eintrag und alle zugehörigen Metadaten in einem einzigen API-Aufruf abrufen oder aktualisieren können. So werden Konsistenzprobleme vermieden, die bei mehreren Aufrufen auftreten können.
Aspektplatzierung und Zielstufen
Sie können Aspekte auf drei verschiedenen Zielebenen in Knowledge Catalog anhängen:
- Aspekte auf Eintragsebene: Beschreiben das Daten-Asset als Ganzes. Verwenden Sie Aspekte auf Eintragsebene für die Asset-Eigentümerschaft (
contacts), Kurzfassungen (overview), Messwerte zur Dataset-Nutzung (usage) und aggregierte Qualitätsbewertungen (data-quality-scorecard). - Aspekte auf Spaltenebene (Schemapfade): Beschreiben einzelne Spalten oder verschachtelte Felder in einer strukturierten Tabelle. Wenn Sie auf eine Spalte verweisen, hängen Sie den Aspekt mit der Schemapfadnotation
@Schema.<column_name>an (z. B.@Schema.email_addressoder@Schema.billing_address.postal_code). Verwenden Sie Aspekte auf Spaltenebene für die Klassifizierung von personenidentifizierbaren Informationen, Datenqualitätsregeln auf Spaltenebene und semantische Tags. - Aspekte auf Linkebene: Beschreiben die Beziehung zwischen zwei verknüpften Einträgen. Sie können Aspekte an gerichtete oder ungerichtete Eintragslinks (außer
schema-join-Links) anhängen, um Beziehungsmetadaten aufzuzeichnen. Verwenden Sie Aspekte auf Linkebene für Konfidenzwerte für Zusammenführungen, Transformationsregeln oder Hinweise zur Zuordnung der Herkunft.
In der folgenden Tabelle wird die unterstützte Platzierung von Aspekten zusammengefasst:
| Zielebene | Zielressource | Syntax der Schlüssel-ID | Gängige Aspekttypen |
|---|---|---|---|
| Einstiegsniveau | Daten-Asset (Tabelle, Modell, Dateisatz) | <aspect_type_id> |
contacts, overview, data-profile, benutzerdefinierte SLAs |
| Spaltenebene | Feld oder Spalte in einem Eintragsschema | <aspect_type_id>@Schema.<column_name> |
Klassifizierung personenidentifizierbarer Informationen, Spaltenmaskierungsregeln, Feldvalidierungswerte |
| Einstiegslink-Ebene | Semantische Beziehung zwischen Einträgen | <aspect_type_id> |
Beziehungskonfidenz, Join-Kriterien, Zuordnungsherkunft |
Aspektkategorien
Je nach geltender EntryType werden die an einen Eintrag angehängten Aspekte als erforderlich oder optional klassifiziert:
- Erforderliche Aspekte: Werden vom
EntryTypedes Eintrags als obligatorisch definiert. Erforderliche Aspekte müssen beim Erstellen des Eintrags ausgefüllt werden und können nicht gelöscht werden, solange der Eintrag existiert. Bei Systemeinträgen (z. B. BigQuery-Tabellen) werden erforderliche Aspekte wieSchemaautomatisch von Google Cloudausgefüllt und synchronisiert. - Optionale Aspekte: Zusätzliche Metadaten, die von Data Stewards, automatisierten Pipelines oder KI-Agenten angehängt werden, um einen Eintrag über die Anforderungen der Basisvorlage hinaus zu erweitern. Optionale Aspekte können jederzeit hinzugefügt, aktualisiert oder entfernt werden, ohne dass sich dies auf den Lebenszyklus des Eintrags auswirkt.
Spezialisierte Systemaspekttypen
Knowledge Catalog bietet spezielle wiederverwendbare Systemaspekttypen, die Ergebnisse zur Datenprofilerstellung, Datenqualität und Beziehungsextraktion aufzeichnen:
- Datenqualitäts-Scorecard (
data-quality-scorecard): Zeichnet die Gesamtwerte für die Datenqualität, den Bewertungsstatus und die Dimensionswerte pro Spalte auf, die von Dataplex-Datenqualitätsscans generiert werden. - Datenregeln (
data-rules) und Regelvorlagen (data-quality-rule-template): Speichern und verwalten Sie wiederverwendbare Datenvalidierungsregeln und ‑vorlagen, die auf mehrere Datasets angewendet werden können. - Datenprofil (
data-profile): Speichert statistische Messwerte zu Tabellendaten, z. B. Null-Prozentsätze, eindeutige Werte und Verteilungshäufigkeiten. - Grafikprofil (
graph-profile): Erfasst KI-extrahierte Entitäten, Beziehungskanten und Wissensgraphen, die aus unstrukturierten Dokumenten extrahiert wurden.
Einschränkungen für den Projekt- und Standortbereich
Um die Grenzen der Data Governance einzuhalten und versehentliche regionenübergreifende Metadatenabhängigkeiten zu verhindern, erzwingt Knowledge Catalog die folgenden Bereichseinschränkungen:
| Ressource | Standortregel | Projektregel |
|---|---|---|
| Einträge | Der Standort des Eintrags muss mit dem Standort des EntryType übereinstimmen oder der EntryType muss global sein. |
Kann auf globale Eintragstypen oder Eintragstypen im selben Projekt verweisen. |
| Aspekte für Einträge | Der AspectType des Aspekts muss sich am selben Standort wie der Eintrag befinden oder der AspectType muss global sein. |
Kann auf globale Systemaspekttypen oder benutzerdefinierte Aspekttypen im selben Projekt verweisen. |
| Eintragslinks | Der Speicherort des Eintragslinks muss mit seinem EntryLinkType übereinstimmen oder der EntryLinkType muss global sein. |
Kann Einträge verknüpfen, die sich in verschiedenen Projekten innerhalb derselben Organisation befinden. |
| Eintragstypen | Besteht aus Aspekttypen, die am selben Ort wie der Eintragstyp gespeichert sind, oder aus Aspekttypen, die global sind. |
Wenn ein Eintragstyp auf benutzerdefinierte Aspekttypen verweist, müssen sich die Aspekttypen im selben Projekt und am selben Standort befinden. |
Nächste Schritte
Aspekte verwalten und Metadaten anreichern
Aspekte an Einträge, Spalten und Eintragslinks anhängen und benutzerdefinierte Aspekttypen über die Console, die gcloud CLI oder APIs verwalten.
Metadaten in Knowledge Catalog
Das einheitliche Metamodell kennenlernen, einschließlich Eintragsgruppen, Einträgen, Aspekttypen und aktiven Kontextgraphen.
Metadaten zu einer Tabelle hinzufügen
In dieser detaillierten Anleitung erfahren Sie, wie Sie Assets erkennen und benutzerdefinierte Aspektmetadaten an eine BigQuery-Tabelle anhängen.
Assets suchen und entdecken
Ressourcen in Google Cloud und benutzerdefinierten Quellen mithilfe von aspektbasierten Suchprädikaten finden.