Verwaltete Verbindungen – Übersicht

Über Pipelines für verwaltete Verbindungen werden Metadaten aus Drittanbieterquellen in Knowledge Catalog (früher Dataplex Universal Catalog) importiert. Mit diesen Pipelines können Sie Metadaten im großen Maßstab in Knowledge Catalog importieren, um Daten aus Ihren Quellen zu extrahieren. Bei Bedarf werden mit den Pipelines auch Knowledge Catalog-Eintragsgruppen in IhremGoogle Cloud -Projekt erstellt. Mit diesem Ansatz können Sie Workflows orchestrieren und Importjobs nach Bedarf planen.

Sie erstellen benutzerdefinierte Connectors, um Metadaten aus verschiedenen Drittanbieterquellen zu extrahieren, darunter MySQL, SQL Server, Oracle, Snowflake und Databricks. Alternativ können Sie benutzerdefinierte Connectors verwenden, die von der Community erstellt wurden und für eine größere Auswahl an Quellen verfügbar sind.

So funktionieren verwaltete Verbindungen

Das folgende Diagramm zeigt eine Pipeline für verwaltete Verbindungen.

Eine Pipeline für verwaltete Verbindungen.

So funktionieren verwaltete Verbindungen:

  1. Sie erstellen einen Connector für Ihre Datenquelle.

    Der Connector muss ein Artifact Registry-Image sein, das auf Managed Service for Apache Spark ausgeführt werden kann.

  2. Sie führen die Pipeline für verwaltete Verbindungen auf der Orchestrierungsplattform Workflows aus.

  3. Die Pipeline für verwaltete Verbindungen führt die folgenden Aktionen aus:

    1. Sie erstellt anhand Ihrer Konfiguration eine Zieleintragsgruppe, sofern diese noch nicht vorhanden ist.
    2. Sie führt den Connector aus. Der Connector extrahiert die Metadaten aus Ihrer Datenquelle und generiert eine Metadaten-Importdatei, die in Knowledge Catalog importiert werden kann.
    3. Sie überwacht den Fortschritt der Metadatenextraktion.
    4. Sie führt einen Metadatenimportjob aus, um die Metadaten in Knowledge Catalog zu importieren.
    5. Sie überwacht den Fortschritt des Metadatenimportjobs.

Die Pipeline für verwaltete Verbindungen nutzt Managed Service for Apache Spark, um den Connector auszuführen, und die API-Methoden von Knowledge Catalog für den Metadatenimport, um den Metadatenimportjob auszuführen.

Die Metadaten, die Sie importieren, bestehen aus Knowledge Catalog-Einträgen und ihren Aspekten. Weitere Informationen zu Knowledge Catalog-Metadaten finden Sie unter Metadatenverwaltung in Knowledge Catalog.

Von der Community erstellte benutzerdefinierte Connectors

Zum Importieren von Metadaten aus Drittanbieterquellen können Sie benutzerdefinierte Connectors verwenden, die von der Community erstellt wurden. Eine Einrichtungsanleitung und weitere Informationen zum Connector finden Sie in der README-Datei des jeweiligen Connectors.

Datenquelle Repository
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
Snowflake snowflake-connector
SQL Server sql-server-connector

Nächste Schritte