Job-Builder-UI – Übersicht

Der Job-Builder ist eine visuelle Benutzeroberfläche zum Erstellen und Ausführen von Dataflow Pipelines in der Google Cloud Console, ohne Code schreiben zu müssen.

Die folgende Abbildung zeigt einen Ausschnitt der Job-Builder-UI. In diesem Beispiel erstellt der Nutzer eine Pipeline zum Lesen von Pub/Sub zu BigQuery:

Ein Screenshot der Job-Builder-Benutzeroberfläche

Übersicht

Der Job-Builder unterstützt das Lesen und Schreiben der folgenden Datentypen:

  • Pub/Sub-Nachrichten
  • BigQuery-Tabellendaten
  • CSV-, JSON- und Textdateien in Cloud Storage
  • PostgreSQL-, MySQL-, Oracle- und SQL Server-Tabellendaten
  • Apache Iceberg-Tabellendaten
  • Delta Lake-Tabellendaten

Er unterstützt Pipeline-Transformationen wie Filter, Map, SQL, Group-by, Join und Explode (Array-Flattening).

Mit dem Job-Builder können Sie Folgendes tun:

  • Mit Transformationen und aggregierter Fensterung von Pub/Sub zu BigQuery streamen
  • Daten aus Cloud Storage in BigQuery schreiben
  • Fehlerbehandlung verwenden, um fehlerhafte Daten zu filtern (Dead-Letter-Warteschlange)
  • Daten mit der SQL-Transformation mithilfe von SQL bearbeiten oder aggregieren
  • Mit Zuordnungstransformationen Felder aus Daten hinzufügen, ändern oder entfernen
  • Wiederkehrende Batchjobs planen

Der Job-Builder kann auch Pipelines als Apache Beam YAML Dateien speichern und Pipeline-Definitionen aus Beam-YAML-Dateien laden. Mit dieser Funktion können Sie Ihre Pipeline im Job-Builder entwerfen und die YAML-Datei dann zur Wiederverwendung in Cloud Storage oder einem Quellcodeverwaltungssystem speichern. YAML-Jobdefinitionen können auch verwendet werden, um Jobs mit der gcloud CLI zu starten.

Betrachten Sie den Job-Builder für folgende Anwendungsfälle:

  • Sie möchten schnell eine Pipeline erstellen, ohne Code schreiben zu müssen.
  • Sie möchten eine Pipeline zur Wiederverwendung in YAML speichern.
  • Ihre Pipeline kann mit den unterstützten Quellen, Senken und Transformationen ausgedrückt werden.
  • Es gibt keine von Google bereitgestellte Vorlage die zu Ihrem Anwendungsfall passt.

Beispieljob ausführen

Das Beispiel „Word Count“ ist eine Batch-Pipeline, die Text aus Cloud Storage liest, die Textzeilen durch Tokenisierung in ihre einzelnen Wörter zerlegt und für jedes Wort eine Häufigkeitszählung durchführt.

Wenn sich der Cloud Storage-Bucket außerhalb des Dienstperimeters befindet, erstellen Sie eine Regel für ausgehenden Traffic, die Zugriff auf den Bucket ermöglicht.

So führen Sie die Word Count-Pipeline aus:

  1. Rufen Sie in der Google Cloud Console die Seite Jobs auf.

    Zu „Jobs“

  2. Klicken Sie auf Job aus Vorlage erstellen.

  3. Klicken Sie im Seitenbereich auf Job-Builder.

  4. Klicken Sie auf Blaupausen laden.

  5. Klicken Sie auf Word Count. Der Job-Builder wird mit einer grafischen Darstellung der Pipeline gefüllt.

    Für jeden Pipelineschritt zeigt der Job-Builder eine Karte mit den Konfigurationsparametern für diesen Schritt an. Im ersten Schritt werden beispielsweise Textdateien aus Cloud Storage gelesen. Der Speicherort der Quelldaten ist im Feld Textspeicherort bereits eingetragen.

Screenshot des Job-Builders

  1. Suchen Sie die Karte mit dem Titel Neue Senke. Möglicherweise müssen Sie scrollen.

  2. Geben Sie im Feld Textspeicherort das Präfix des Cloud Storage-Speicherortpfads für die Ausgabedateien ein.

  3. Klicken Sie auf Job ausführen. Der Job-Builder erstellt einen Dataflow-Job und ruft dann das Jobdiagramm auf. Wenn der Job gestartet wird, zeigt das Jobdiagramm eine grafische Darstellung der Pipeline. Diese grafische Darstellung ähnelt der im Job-Builder. Bei der Ausführung der einzelnen Schritte der Pipeline wird der Status im Jobdiagramm aktualisiert.

Im Bereich Jobinformationen wird der Gesamtstatus des Jobs angezeigt. Wenn der Job erfolgreich abgeschlossen wurde, wird das Feld Jobstatus auf Succeeded aktualisiert.

Nächste Schritte