Plug-ins – Übersicht

Mit Cloud Data Fusion-Plug-ins können Sie Daten verschieben und verwalten, während sie in einer Datenpipeline von der Quelle zur Senke fließen. Jede Phase, auch Knoten genannt, besteht aus einem anpassbaren Modul, das die Funktionen Ihres Workflows erweitert. In der Weboberfläche von Cloud Data Fusion können Sie auf der Seite Studio auf Standard-Plug-ins zugreifen, im Hub nach zusätzlichen Integrationen suchen oder alle Cloud Data Fusion-Plug-ins ansehen.

Plug-ins in der Weboberfläche.

Plug-in-Typen

Plug-ins sind in die folgenden Kategorien unterteilt:

  • Quellen
  • Transformationen
  • Analysen
  • Senken
  • Bedingungen und Aktionen
  • Fehlerbehandlung und Benachrichtigungen

Quellen

Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, aus denen Ihre Pipeline Daten liest. Sie richten Quellen für Ihre Datenpipeline über die Weboberfläche ein, sodass Sie sich nicht um die Programmierung von Verbindungen auf niedriger Ebene kümmern müssen.

Transformationen

Transformations-Plug-ins ändern Daten, nachdem sie aus einer Quelle aufgenommen wurden. Sie können beispielsweise einen Datensatz klonen, das Dateiformat in JSON ändern oder das JavaScript-Plug-in verwenden, um eine benutzerdefinierte Transformation zu erstellen.

Analysen

Analyse-Plug-ins führen Aggregationen aus, z. B. das Verknüpfen von Daten aus verschiedenen Quellen und das Ausführen von Analyse- und Machine-Learning-Vorgängen.

Senken

Senken-Plug-ins schreiben Daten in Ressourcen wie Cloud Storage, BigQuery, Spanner, relationale Datenbanken, Dateisysteme und Mainframes. Sie können die Daten, die in die Senke geschrieben werden, über die Weboberfläche oder die REST API von Cloud Data Fusion abfragen.

Bedingungen und Aktionen

Mit Bedingungs- und Aktions-Plug-ins können Sie Aktionen planen, die während eines Workflows ausgeführt werden, ohne die Daten im Workflow direkt zu bearbeiten. Beispiel:

  • Mit dem Datenbank-Plug-in können Sie einen Datenbankbefehl planen, der am Ende Ihrer Pipeline ausgeführt wird.
  • Mit dem Plug-in „Datei verschieben“ können Sie eine Aktion auslösen, mit der Dateien in Cloud Storage verschoben werden.

Fehlerbehandlung und Benachrichtigungen

Wenn in Phasen Nullwerte, Logikfehler oder andere Fehlerquellen auftreten, können Sie ein Fehlerbehandlungs-Plug-in verwenden, um Fehler abzufangen. Mit diesen Plug-ins können Sie Fehler in der Ausgabe nach einem Transformations- oder Analyse-Plug-in finden. Sie können die Fehler zur Analyse in eine Datenbank schreiben.

Nächste Schritte