Metadaten-Connectors

Da Datenlandschaften immer komplexer werden, können Metadaten auf verschiedenen Plattformen isoliert werden. Das erschwert es Teams, ihre Daten zu finden, ihnen zu vertrauen und sie zu verwalten. Knowledge Catalog-Connectors (früher Dataplex Universal Catalog) helfen Ihnen, dieses Problem zu lösen, indem Sie technische, operative, geschäftliche und semantische Metadaten aus Drittanbieter-Datenquellen automatisch direkt in Google Cloudimportieren können.

Über diese Connectors können Analysten externe Daten-Assets durchsuchen, ohne das Tool wechseln zu müssen. Data Stewards können eine zentrale Governance in einer Multi-Cloud-Umgebung erzwingen und die plattformübergreifende Datenqualität an einem Ort überwachen. Durch die Planung wiederkehrender Ausführungen können Sie Ihren Katalog mit Ihren Quellsystemen synchronisieren, sodass Ihre Teams eine genaue, aktuelle Ansicht Ihres Datenökosystems haben.

Unterstützte Datenquellen

Sie können Metadaten aus den folgenden Quellen mit Knowledge Catalog-Connectors importieren:

  • Databricks Unity Catalog
  • dbt Core und Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

Integrationen mit Data-Governance-Partnern

Sie können Knowledge Catalog auch in andere Plattformen für Data Catalog und Governance einbinden. Anstatt Daten aus Rohdatenquellen abzurufen, können diese Integrationen Informationen zwischen parallelen Katalogtools austauschen. Sie können Metadaten in Knowledge Catalog anreichern oder Knowledge Catalog-Metadaten exportieren, um sie in diesen Drittanbietertools anzusehen.

Die folgenden Partner bieten Integrationen für Knowledge Catalog an:

Im Folgenden wird beschrieben, wie Sie Metadaten über Connectors importieren. Weitere Informationen zu Partnerintegrationen finden Sie auf den verlinkten Partnerseiten.

Funktionsweise

Knowledge Catalog-Connectors verwenden vordefinierte Integrationen, um eine Verbindung zu Ihren Datenquellen herzustellen und Metadaten automatisch zu extrahieren. Der BigQuery Data Transfer Service verwaltet diese Übertragungen und ordnet die extrahierten Metadaten einer von Ihnen ausgewählten Knowledge Catalog-Eintragsgruppe zu.

Die Connectors extrahieren die folgenden Metadatentypen:

  • Technische Metadaten: Schema-, Datentyp- und Spaltennamendefinitionen.
  • Betriebsmetadaten: Zeitstempel für Erstellung und Änderung, Herkunft, Nutzungsstatistiken und Ergebnisse zur Datenqualität.
  • Geschäftliche Metadaten: Tags, Inhaber und Annotationen.
  • Semantische Metadaten: Dimensionen, Measures, Messwerte, Golden Queries und Beziehungen.

Nachdem Sie einen Connector konfiguriert haben, plant Knowledge Catalog Metadatenimportläufe gemäß dem von Ihnen angegebenen Zeitplan. So wird sichergestellt, dass der Katalog mit dem Quellsystem synchronisiert bleibt. Bei jedem Metadatenimport werden die Einträge in der von dieser Konfiguration verwalteten Zieleintragsgruppe vollständig überschrieben. Metadatenobjekte, die nicht mehr in der Quelle vorhanden sind, werden aus der Eintraggruppe entfernt und neue Objekte werden hinzugefügt. Objekte in der Eintraggruppe, die nicht von der Connector-Konfiguration importiert werden, sind davon nicht betroffen.

Terminologie

In dieser Dokumentation werden die folgenden Begriffe verwendet:

  • Konfiguration für den Metadatenimport: Die Einstellungen für eine geplante oder On-Demand-Aufgabe, die BigQuery Data Transfer Service verwendet, um Metadaten aus einer Quelle zu extrahieren und in Knowledge Catalog zu laden.
  • Ausführung: Eine einzelne Ausführungsinstanz einer Metadatenimport-Konfiguration.
  • Eintragsgruppe: Eine Ressource in Knowledge Catalog, die Metadateneinträge enthält. Wenn Sie einen Connector konfigurieren, legen Sie eine Eintraggruppe als Ziel für die importierten Metadaten fest.
  • Eintrag: Eine Ressource in Knowledge Catalog, die ein Daten-Asset wie eine Tabelle oder Ansicht darstellt.

Preise

Für den Import von Metadaten über Connectors fallen keine zusätzlichen Gebühren von Knowledge Catalog oder BigQuery Data Transfer Service an.

Für die sonstige Nutzung von Knowledge Catalog (z. B. Metadatenspeicherung) fallen die Standardgebühren an. Weitere Informationen finden Sie unter Knowledge Catalog – Preise.

Beschränkungen

  • Es werden nur Metadaten importiert, nicht die zugrunde liegenden Daten aus den Quelltabellen oder -ansichten. Zum Übertragen der zugrunde liegenden Daten können Sie den BigQuery Data Transfer Service verwenden.
  • Bei jeder Ausführung werden die vom Connector verwalteten Einträge in der Zieleintragsgruppe vollständig überschrieben. Inkrementelle Metadatenaktualisierungen werden nicht unterstützt.
  • Der Ausführungsverlauf wird 90 Tage lang aufbewahrt.

Nächste Schritte