Pipelines erstellen

Sie können Pipelines in BigQuery erstellen, mit denen Sie Workflows wie das Planen von SQL-Abfragen, Notebooks und Datenvorbereitungsaufgaben orchestrieren und automatisieren können, damit sie nacheinander ausgeführt werden.

Hinweis

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, Dataform, and Vertex AI APIs, if any are not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the APIs

Anforderungen von VPC Service Controls

Wenn Sie VPC Service Controls zum Schutz Ihrer Pipelines verwenden, sollten Sie beachten, dass Pipelineausführungen von Dataform unterstützt werden. Wenn Sie VPC Service Controls für geplante Ausführungen konfigurieren, müssen die folgenden Anforderungen erfüllt sein:

• Sie müssen den Organisationsrichtliniendienst dataform.restrictGitRemotes festlegen.
• Dataform und BigQuery müssen durch denselben VPC Service Controls-Dienstperimeter eingeschränkt sein.
• Damit sich Nutzer beim Planen oder manuellen Auslösen von Ausführungen mit den Nutzeranmeldedaten für ihr Google-Konto authentifizieren können, müssen Sie ihre Nutzeridentitäten Ihren Regeln für eingehenden Traffic hinzufügen. Weitere Informationen finden Sie unter Richtlinien für ein- und ausgehenden Traffic für einen Dienstperimeter aktualisieren und Referenz zu Regeln für eingehenden Traffic.

Detaillierte Konfigurationsschritte und Sicherheitsaspekte finden Sie unter VPC Service Controls für Dataform konfigurieren.

Erforderliche Rollen für Pipelines

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen von Pipelines benötigen:

• Zum Erstellen von Pipelines: Code Creator (roles/dataform.codeCreator) für das Projekt
• So bearbeiten und führen Sie Pipelines aus: Dataform-Bearbeiter (roles/dataform.editor) für das Projekt
• So erstellen Sie Pipelines in Nutzerordnern:
  • Code Creator (roles/dataform.codeCreator) für das Projekt
  • Code-Inhaber (roles/dataform.codeOwner) für den Ordner
  • Code-Editor (roles/dataform.codeEditor) für den Ordner
• So erstellen Sie Pipelines in Teamordnern:
  • Team Folder Contributor (roles/dataform.teamFolderContributor) für den Teamordner
  • Team Folder Owner (roles/dataform.teamFolderOwner) für den Teamordner
• Zum Verbinden eines Git-Repositorys für Git-Ordner: Developer Connect OAuth User (roles/developerconnect.oauthUser) für das Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriff mit IAM steuern.

Weitere Informationen zu Rollen für Ordner finden Sie unter Ordner erstellen und verwalten.

Weitere Informationen zu Rollen für Git-Repositories finden Sie unter Code mit BigQuery Studio-Git-Repositories verwalten.

Hinweis: Wenn Sie eine Pipeline erstellen, wird Ihnen in BigQuery die Rolle „Dataform Admin“ (roles/dataform.admin) für diese Pipeline zugewiesen. Alle Nutzer, denen die Rolle „Dataform-Administrator“ für das Projekt von Google Cloud gewährt wurde, haben Inhaberzugriff auf alle im Projekt erstellten Pipelines. Informationen zum Überschreiben dieses Verhaltens finden Sie unter Bestimmte Rolle beim Erstellen einer Ressource zuweisen.

Erforderliche Rollen für Notebook-Optionen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Auswählen einer Laufzeitvorlage in den Notebook-Optionen benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie diese Rolle nicht haben, können Sie die Standard-Notebook-Laufzeitspezifikation auswählen.

Sicherheitsaspekte für Pipelines

Da Code-Assets in BigQuery auf Dataform basieren, sollten Sie die folgenden Sicherheitsaspekte für Nutzer mit Zugriff auf diese Assets berücksichtigen:

• Die Sichtbarkeit von Code-Assets unterliegt Dataform-Berechtigungen auf Projektebene. Nutzer mit der Berechtigung dataform.repositories.list, die in BigQuery-Standardrollen wie BigQuery Job User, BigQuery Studio User und BigQuery User enthalten ist, können alle Code-Assets im Bereich Explorer des Projekts Google Cloud sehen, unabhängig davon, ob sie diese Assets erstellt haben oder ob diese Assets für sie freigegeben wurden. Wenn Sie die Sichtbarkeit einschränken möchten, können Sie benutzerdefinierte Rollen erstellen, die die Berechtigung dataform.repositories.list ausschließen.
• Nutzer, die diese Assets bearbeiten können, können potenziell auf alle Secrets zugreifen, die für den Dataform-Dienst-Agent freigegeben wurden. Um Ihre Anmeldedaten zu schützen, sollten Sie den Zugriff zum Erstellen und Bearbeiten auf vertrauenswürdige Nutzer beschränken und die Secrets, auf die der Dataform-Dienst-Agent zugreifen kann, einschränken. Weitere Informationen finden Sie unter Zugriff auf Secrets während der Paketinstallation.

Weitere Informationen finden Sie unter Sicherheitsaspekte für Dataform-Berechtigungen.

Standardregion für Code-Assets festlegen

Alle neuen Code-Assets in Ihrem Google Cloud -Projekt verwenden eine Standardregion. Nachdem das Asset erstellt wurde, können Sie seine Region nicht mehr ändern.

Wichtig: Wenn Sie die Region beim Erstellen eines Code-Assets ändern, wird diese Region zur Standardregion für alle nachfolgenden Code-Assets. Vorhandene Code-Assets sind davon nicht betroffen.

So legen Sie die Standardregion für neue Code-Assets fest:

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen:

   

3. Klicken Sie neben dem Projektnamen auf Aktionen im Dateibereich ansehen > Coderegion wechseln.

4. Wählen Sie die Coderegion aus, die Sie als Standard verwenden möchten.

5. Klicken Sie auf Speichern.

Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.

Pipeline erstellen

Pipelines können folgendermaßen erstellt und gespeichert werden:

• In Ordnern: Organisieren Sie Pipelines in persönlichen Ordnern oder Teamordnern im Bereich Dateien von BigQuery Studio.
• In BigQuery Studio Git-Ordnern (Vorabversion): Sie können mehrere unabhängige Pipelines oder Pipelines auf Stammebene in einem Ordner mit einem Git-Repository hosten, die Versionsverwaltung nutzen und verwalten, das über Developer Connect verbunden ist.
• Über die Tableiste des Editors: Erstellen Sie eine Pipeline über das Menü + im Abfrageeditor.
• Über die Seite „Pipelines und Verbindungen“ (Vorabversion): Erstellen Sie eine Pipeline mit einem optimierten, BigQuery-spezifischen Workflow.

Pipeline in einem Ordner erstellen

Sie können Pipelines direkt in Ihren persönlichen Nutzerordnern oder freigegebenen Teamordnern in BigQuery Studio erstellen und organisieren. Weitere Informationen zu Ordnern finden Sie unter Code-Assets mit Ordnern organisieren.

So erstellen Sie eine Pipeline in einem Ordner:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen.

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.

3. Führen Sie einen der folgenden Schritte aus, um eine Pipeline zu erstellen:

   • Wählen Sie den Nutzer- oder Teamordner aus, in dem Sie die Pipeline platzieren möchten, klicken Sie in der Symbolleiste auf den Button + (Erstellen) und wählen Sie Pipeline aus.
   • Klicken Sie im Dateibaum neben einem Ordnernamen auf Aktionen ansehen und wählen Sie Erstellen > Pipeline aus.
   • Öffnen Sie einen Ordner, um seinen Inhalt im Hauptbereich anzusehen, und klicken Sie auf Pipeline erstellen.

4. Geben Sie im Dialogfeld zum Erstellen einen Namen für die Pipeline ein.

5. Klicken Sie auf Erstellen. Im Dateibaum wird ein neuer Pipeline-Ordner mit dem Symbol Pipeline angezeigt.

6. Klicken Sie auf den Pipeline-Ordner, um den Pipeline-Viewer zu öffnen, und konfigurieren Sie dann die Pipeline-Einstellungen.

Pipeline in einem Git-Repository erstellen

Vorschau

Dieses Produkt oder diese Funktion unterliegt den „Pre-GA-Angebotsbedingungen“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Produkte und -Features sind "im Ist-Zustand" verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Hinweis: Wenn Sie Feedback geben oder Support für dieses Feature anfordern möchten, senden Sie eine E-Mail an [e-mail].

Sie können Pipelines direkt in Git-integrierten Ordnern in BigQuery Studio erstellen und verwalten. Ein Git-Ordner stellt ein Remote-GitHub- oder GitLab-Repository dar, das über Developer Connect mit BigQuery Studio verbunden ist. Sie können mehrere unabhängige Pipelines in einem einzigen Git-Repository hosten und organisieren. Git-Repository-Pipelines unterstützen Dataform-Bereitstellungen für die Planung, Release-Konfigurationen und die Orchestrierung mehrerer Umgebungen.

So erstellen Sie eine Pipeline in einem Git-Ordner:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Wenn Sie Ihr Git-Repository noch nicht verbunden haben, erstellen und verbinden Sie ein BigQuery Studio-Git-Repository.

3. Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen.

4. Suchen Sie in der Dateistruktur nach dem Ordner Ihres verbundenen Git-Repositorys oder einem darin verschachtelten Verzeichnis.

5. Klicken Sie neben dem Ordnernamen auf Aktionen ansehen und wählen Sie Erstellen > Pipeline aus.

6. Geben Sie im Dialogfeld den Namen der Pipeline ein und klicken Sie auf Speichern.

   Ein neues Pipelineverzeichnis wird erstellt und mit den Standarddateien initialisiert:

   • workflow_settings.yaml: Pipelinekonfiguration.
   • definitions/actions.yaml: Leere Aufgabendefinitionen.

7. Klicken Sie im Dateibrowser auf das Pipelineverzeichnis, um den Pipeline-Viewer zu öffnen.

Hinweis: Wenn Ihr Remote-Git-Repository die Pipeline-Konfiguration (workflow_settings.yaml) im Stammverzeichnis des Repositorys enthält, erkennt BigQuery Studio das Repository automatisch als Pipeline auf Stammebene.Der Git-Repository-Ordner selbst zeigt das Symbol Pipeline an. Wenn Sie auf den Git-Repository-Ordner klicken, wird der Pipeline-Viewer geöffnet und der kompilierte DAG für das gesamte Repository angezeigt. Sie müssen kein verschachteltes Pipelineverzeichnis erstellen.

Pipeline über die Tableiste des Editors erstellen

So erstellen Sie eine Pipeline über die Tableiste des Editors:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie in der Tableiste des Editorbereichs auf den -Pfeil neben dem +-Zeichen und dann auf Pipeline.

3. Optional: Wenn Sie die Pipeline umbenennen möchten, klicken Sie auf den Namen der Pipeline und geben Sie dann einen neuen Namen ein.

4. Konfigurieren Sie die Pipeline-Einstellungen.

Pipeline auf der Seite „Pipelines und Verbindungen“ erstellen

Auf der BigQuery-Seite Pipelines und Verbindungen in der Google Cloud -Konsole können Sie eine Dataform-Pipeline erstellen, die einen optimierten, BigQuery-spezifischen Workflow verwendet. Dieses Feature befindet sich im Vorschaumodus.

Eine Anleitung zum Erstellen einer Pipeline auf der BigQuery-Seite Pipelines und Verbindungen finden Sie unter Datenintegrations-Asset erstellen.

Pipeline-Einstellungen konfigurieren

Wenn Sie die Einstellungen für Ihre Pipeline konfigurieren möchten, öffnen Sie die Pipeline im Pipeline-Viewer, klicken Sie auf den Tab Einstellungen und konfigurieren Sie die folgenden Abschnitte:

1. Wählen Sie im Abschnitt Authentifizierung aus, ob die Pipeline mit den Nutzeranmeldedaten für Ihr Google-Konto oder ein Dienstkonto autorisiert werden soll.

   • Wenn Sie die Nutzeranmeldedaten für Ihr Google-Konto verwenden möchten, wählen Sie Mit meinen Nutzeranmeldedaten ausführen aus.

     Optional: Wählen Sie im Abschnitt Erweiterte Zugriffsoptionen die zusätzlichen Dienste aus, die Ihre Pipeline benötigt:

     • Knowledge Catalog: Ermöglicht Aktualisierungen von Metadaten in Google Cloud Knowledge Catalog.
     • Google Drive: Gewährt Lesezugriff auf Google Drive-Dateien.

     • Bigtable: Ermöglicht Lesezugriff auf Google Bigtable-Daten.

       Hinweis: Die Authentifizierung von API-basierten Ausführungen mit Nutzeranmeldedaten wird nicht unterstützt. Wenn Sie alle Aufgaben in einer Pipeline mit der Dataform API ausführen möchten, müssen Sie die Pipeline so konfigurieren, dass sie ein Dienstkonto verwendet.

   • Wenn Sie ein Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen und dann ein Dienstkonto aus. Wenn Sie ein Dienstkonto erstellen müssen, klicken Sie auf Neues Dienstkonto.

2. Wählen Sie im Abschnitt Verarbeitungsort einen Verarbeitungsort für die Pipeline aus.

   • Wenn Sie die automatische Auswahl eines Standorts aktivieren möchten, wählen Sie Automatische Standortauswahl aus. Mit dieser Option wird ein Standort anhand der Datasets ausgewählt, auf die in der Anfrage verwiesen wird. Der Auswahlprozess läuft folgendermaßen ab:

     • Wenn Ihre Abfrage auf Datasets am selben Standort verweist, verwendet BigQuery diesen Standort.
     • Wenn Ihre Abfrage auf Datasets von zwei oder mehr verschiedenen Standorten verweist, tritt ein Fehler auf. Weitere Informationen zu dieser Einschränkung finden Sie unter Regionenübergreifende Dataset-Replikation.
     • Wenn Ihre Abfrage keine Datasets referenziert, verwendet BigQuery standardmäßig die Multiregion US.

   • Wenn Sie eine bestimmte Region auswählen möchten, wählen Sie Region und dann im Menü Region eine Region aus. Alternativ können Sie die Systemvariable @@location in Ihrer Abfrage verwenden. Weitere Informationen finden Sie unter Standorte angeben.

   • Wenn Sie einen multiregionalen Standort auswählen möchten, wählen Sie Multiregional und dann im Menü Multiregional einen Standort aus.

   Der Speicherort für die Pipelineverarbeitung muss nicht mit dem Standardspeicherort für Code-Assets übereinstimmen.

SQLX-Optionen

So konfigurieren Sie die SQLX-Einstellungen für Ihre Pipeline im Abschnitt SQLX-Optionen:

1. Geben Sie im Feld Standardprojekt den Namen eines vorhandenenGoogle Cloud -Projekts ein. Dieser Wert wird für defaultProject in der Datei workflow_settings.yaml und für defaultDatabase in der Datei dataform.json verwendet. Das Standardprojekt wird von Pipelineaufgaben während ihrer Ausführung verwendet.

   Hinweis: Der Projektname wird nicht validiert. Sie können also einen beliebigen nicht leeren String eingeben. Wenn das Projekt jedoch nicht vorhanden ist, schlägt die Pipelineausführung fehl.

2. Optional: Suchen Sie im Feld Standard-Dataset nach einem vorhandenen Dataset und wählen Sie es aus. Die Liste der verfügbaren Datasets wird anhand des ausgewählten Projekts und Verarbeitungsstandorts gefiltert. Dieser Wert wird für defaultDataset in der Datei workflow_settings.yaml verwendet. Das Standard-Dataset wird von Pipeline-Aufgaben während ihrer Ausführung verwendet.

   Hinweis: Wenn Sie das Standard-Dataset festlegen und dann die Region der Pipeline ändern, wird die Dataset-Auswahl ungültig. Wenn Sie das Projekt ändern, kann auch die Dataset-Auswahl ungültig werden. Wenn ein bestimmtes Dataset im ausgewählten Projekt nicht vorhanden ist, wird es erstellt.

Notebookoptionen

So fügen Sie Ihrer Pipeline ein Notebook hinzu: Gehen Sie im Abschnitt Notebook-Optionen so vor:

1. Übernehmen Sie im Feld Laufzeitvorlage entweder die Standard-Notebook-Laufzeit oder suchen Sie nach einer vorhandenen Laufzeit und wählen Sie sie aus.

   • Klicken Sie auf den Pfeil daneben, um die Spezifikationen für die Standardlaufzeit aufzurufen.
   • Informationen zum Erstellen einer neuen Laufzeit finden Sie unter Laufzeitvorlage erstellen.
   Hinweis: Eine Notebook-Laufzeitvorlage muss sich in derselben Region wie die Pipeline befinden, in der sie angegeben ist.
   Hinweis: Wenn Sie die Standardlaufzeit für ein Notebook in einer BigQuery-Pipeline verwenden, können Sie das Netzwerk der Gemini Enterprise Agent Platform-Laufzeitinstanz nicht ändern. Die Laufzeit ist auf das Standardnetzwerk beschränkt. Die Auswahl eines anderen Netzwerks wird nicht unterstützt. Wenn Sie eine benutzerdefinierte Laufzeitvorlage verwenden, verwendet die Laufzeit das in der Vorlage konfigurierte Netzwerk und Subnetzwerk. Wenn in Ihrem Projekt die Organisationsrichtlinie compute.requireShieldedVm erzwungen wird, muss Secure Boot in Ihrer benutzerdefinierten Laufzeitvorlage aktiviert sein, um Fehler beim Erstellen von VMs zu vermeiden.

2. Klicken Sie im Feld Cloud Storage-Bucket auf Durchsuchen und wählen Sie einen Cloud Storage-Bucket zum Speichern der Ausgabe von Notebooks in Ihrer Pipeline aus oder erstellen Sie einen.

3. Folgen Sie der Anleitung unter Richtlinie auf Bucket-Ebene ein Hauptkonto hinzufügen, um Ihrem benutzerdefinierten Dataform-Dienstkonto ein Hauptkonto für den Cloud Storage-Bucket hinzuzufügen, den Sie zum Speichern der Ausgabe geplanter Pipelineausführungen verwenden möchten, und diesem Hauptkonto die Rolle Storage-Administrator (roles/storage.admin) zuzuweisen.

   Dem ausgewählten benutzerdefinierten Dataform-Dienstkonto muss die IAM-Rolle „Storage Admin“ für den ausgewählten Bucket zugewiesen sein.

Pipeline-Aufgabe hinzufügen

Sie können einer Pipeline mehrere Aufgaben hinzufügen, die Code-Assets in einer bestimmten Reihenfolge ausführen.

Zu den unterstützten Code-Assets in Pipelines gehören:

• SQL-Abfragen
• Notebooks
• Datenvorbereitungen
• Tabellen und Ansichten (SQLX-Aufgaben)

Namenskonventionen für Aufgaben

Beachten Sie beim Benennen einer Pipelineaufgabe die folgenden Namenskonventionen:

• Aufgabennamen dürfen nur Buchstaben (a–z, A–Z), Ziffern (0–9), Unterstriche (_) und Bindestriche (-) enthalten.
• Aufgabennamen müssen mit einem Buchstaben, einer Ziffer oder einem Unterstrich beginnen.
• Punkte (.) sind in Aufgabennamen nicht zulässig. Wenn Sie eine Aufgabe benennen oder umbenennen, geben Sie keine Dateiendungen wie .sql oder .py an. Wenn ein Aufgabenname einen Punkt enthält, ist die Schaltfläche Ausführen deaktiviert.
• Aufgabennamen können Zeichen mit insgesamt bis zu 1.024 UTF-8-Byte enthalten.
• Aufgabennamen müssen innerhalb des Pipeline-Containers eindeutig sein.
• Bei Aufgabennamen wird zwischen Groß- und Kleinschreibung unterschieden.

Aufgabe hinzufügen

So fügen Sie einer Pipeline eine Aufgabe hinzu:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Wählen Sie eine der folgenden Optionen aus, um ein Code-Asset hinzuzufügen:

SQL-Abfrage

Sie können entweder eine neue Abfrage erstellen oder eine vorhandene importieren.

1. Führen Sie einen der folgenden Schritte aus:

   • Klicken Sie auf Aufgabe hinzufügen und wählen Sie Abfrage aus. Sie können entweder eine neue Abfrage erstellen oder eine vorhandene importieren.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Bereich Dateien mit der rechten Maustaste auf den Pipeline-Ordner und wählen Sie Abfrage erstellen aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Pipeline-Viewer auf den Button Aufgabe hinzufügen.

2. Optional: Wählen Sie im Bereich Abfrageaufgaben – Details im Menü Nach eine Aufgabe aus, die vor Ihrer Abfrage ausgeführt werden soll.

Neue Abfrage erstellen

1. Klicken Sie auf das Pfeilmenü  neben Abfrage bearbeiten und wählen Sie entweder Im Kontext oder In neuem Tab aus.

2. Nach einer vorhandenen Abfrage suchen.

3. Wählen Sie einen Abfragenamen aus und drücken Sie die Eingabetaste.

4. Klicken Sie auf Speichern.

5. Optional: Wenn Sie die Abfrage umbenennen möchten, klicken Sie im Pipelinebereich auf den Namen der Abfrage, dann auf Abfrage bearbeiten, dann oben auf dem Bildschirm auf den vorhandenen Abfragenamen und geben Sie einen neuen Namen ein.

Vorhandene Abfrage importieren

1. Klicken Sie auf das Pfeilmenü neben Abfrage bearbeiten und dann auf Kopie importieren.

2. Suchen Sie nach einer vorhandenen Abfrage, die Sie importieren möchten, oder wählen Sie im Suchbereich eine vorhandene Abfrage aus. Wenn Sie eine Abfrage importieren, bleibt das Original unverändert, da die Quelldatei der Abfrage in die Pipeline kopiert wird.

3. Klicken Sie auf Bearbeiten, um die importierte Abfrage zu öffnen.

4. Klicken Sie auf Speichern.

Notebook

Sie können entweder ein neues Notebook erstellen oder ein vorhandenes importieren. Informationen zum Ändern der Einstellungen für Notebook-Laufzeitvorlagen finden Sie unter Notebook-Optionen.

1. Führen Sie einen der folgenden Schritte aus:

   • Klicken Sie auf Aufgabe hinzufügen und wählen Sie Notizbuch aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Bereich Dateien mit der rechten Maustaste auf den Pipeline-Ordner und wählen Sie Notebook erstellen aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Pipeline-Viewer auf den Button Aufgabe hinzufügen.

   1. Optional: Wählen Sie im Bereich Notebook-Aufgabendetails im Menü Nach eine Aufgabe aus, die vor dem Notebook ausgeführt werden soll.

   Neues Notebook erstellen

2. Klicken Sie auf das Pfeilmenü neben Notebook bearbeiten und wählen Sie entweder Im Kontext oder In neuem Tab aus.

3. Suchen Sie nach einem vorhandenen Notebook.

4. Wählen Sie einen Notebook-Namen aus und drücken Sie die Eingabetaste.

5. Klicken Sie auf Speichern.

6. Optional: Wenn Sie das Notebook umbenennen möchten, klicken Sie im Pipelinebereich auf den Namen des Notebooks, dann auf Notebook bearbeiten und anschließend oben auf dem Bildschirm auf den vorhandenen Notebooknamen. Geben Sie dann einen neuen Namen ein.

Vorhandenes Notebook importieren

1. Klicken Sie neben Notebook bearbeiten auf das Pfeilmenü  und dann auf Kopie importieren.

2. Suchen Sie nach einem vorhandenen Notebook, das Sie importieren möchten, oder wählen Sie im Suchbereich ein vorhandenes Notebook aus. Wenn Sie ein Notebook importieren, bleibt das Original unverändert, da die Quelldatei des Notebooks in die Pipeline kopiert wird.

3. Klicken Sie auf Bearbeiten, um das importierte Notebook zu öffnen.

4. Klicken Sie auf Speichern.

Datenvorbereitung

Sie können entweder eine neue Datenvorbereitung erstellen oder eine vorhandene importieren.

1. Führen Sie einen der folgenden Schritte aus:

   • Klicken Sie auf Aufgabe hinzufügen und wählen Sie Datenvorbereitung aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Bereich Dateien mit der rechten Maustaste auf den Pipeline-Ordner und wählen Sie Datenvorbereitung erstellen aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Pipeline-Viewer auf den Button Aufgabe hinzufügen.

2. Optional: Wählen Sie im Bereich Details zur Datenvorbereitungsaufgabe im Menü Nach eine Aufgabe aus, die vor der Datenvorbereitung ausgeführt werden soll.

Neue Datenvorbereitung erstellen

1. Klicken Sie neben Datenvorbereitung bearbeiten auf das Pfeilmenü  und wählen Sie entweder Im Kontext oder In neuem Tab aus.

2. Suchen Sie nach einer vorhandenen Datenvorbereitung.

3. Wählen Sie einen Namen für die Datenvorbereitung aus und drücken Sie die Eingabetaste.

4. Klicken Sie auf Speichern.

5. Optional: Wenn Sie die Datenvorbereitung umbenennen möchten, klicken Sie im Pipelinebereich auf den Namen der Datenvorbereitung, dann auf Datenvorbereitung bearbeiten, dann oben auf dem Bildschirm auf den Namen und geben Sie einen neuen Namen ein.

Vorhandene Datenvorbereitung importieren

1. Klicken Sie auf den Drop-down-Pfeil  neben Datenvorbereitung bearbeiten und dann auf Kopie importieren.

2. Suchen Sie nach einer vorhandenen Datenvorbereitung, die Sie importieren möchten, oder wählen Sie im Suchbereich eine vorhandene Datenvorbereitung aus. Wenn Sie eine Datenvorbereitung importieren, bleibt das Original unverändert, da die Quelldatei der Datenvorbereitung in die Pipeline kopiert wird.

3. Klicken Sie auf Bearbeiten, um die importierte Datenvorbereitung zu öffnen.

4. Klicken Sie auf Speichern.

Tabelle

1. Führen Sie einen der folgenden Schritte aus:

• Klicken Sie auf Aufgabe hinzufügen und wählen Sie Tabelle aus.

• Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Bereich Dateien mit der rechten Maustaste auf den Pipeline-Ordner und wählen Sie Tabelle erstellen aus.

• Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Pipeline-Viewer auf den Button Aufgabe hinzufügen.

1. Wählen Sie im Bereich Neu erstellen die Option Tabelle oder Inkrementelle Tabelle aus.

2. Prüfen Sie das Standardprojekt für die Tabelle oder wählen Sie ein neues Projekt aus.

3. Prüfen Sie das Standard-Dataset für die Tabelle oder wählen Sie ein neues Dataset aus.

4. Geben Sie einen Namen für die Tabelle ein.

5. Klicken Sie im Detailbereich der Tabellenaufgabe auf Öffnen, um die Aufgabe zu öffnen.

6. Konfigurieren Sie die Aufgabe mit den Einstellungen unter Details > Konfiguration oder im Block config des Code-Editors für die Tabelle.

Verwenden Sie für Metadatenänderungen den Tab Konfiguration. Auf diesem Tab können Sie einen bestimmten Wert im config-Block im Code-Editor bearbeiten, z. B. einen String oder ein Array, das wie ein JavaScript-Objekt formatiert ist. Mit diesem Tab können Sie Syntaxfehler vermeiden und prüfen, ob Ihre Einstellungen korrekt sind.

Optional: Wählen Sie im Menü Nach eine Aufgabe aus, die vor der Tabelle ausgeführt werden soll.

Sie können die Metadaten für Ihre Pipelineaufgabe auch im Block config im Editor definieren. Weitere Informationen finden Sie unter Tabellen erstellen.

Der Editor validiert Ihren Code und zeigt den Validierungsstatus an.

Hinweis: Wenn Sie JavaScript-Funktionen als Werte im Block config verwenden, können Sie die JavaScript-Funktionen nicht auf dem Tab Konfiguration bearbeiten.

1. Verwenden Sie den Schlüssel metadata, um Informationen für Knowledge Catalog anzugeben. Dieser Anreicherungsprozess unterstützt die folgenden Metadatenkonstrukte:

• Übersicht: Dokumentation und Zusammenfassungstext für den Eintrag.
• Generische Aspekte: semantische Details wie Tabellensystem und Typinformationen.

Die folgende Beispielkonfiguration zeigt, wie Sie einer Tabellenkonfiguration für Knowledge Catalog eine Übersicht und generische Metadatenaspekte hinzufügen:

       ```javascript
       config {
       type: "table",
       metadata: {
          overview: "This table provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "fact table"
             }
             }
       }
       }
       ```

1. Sehen Sie sich unter Details > Kompilierte Abfragen die SQL-Abfrage an, die aus dem SQLX-Code kompiliert wurde.

2. Klicken Sie auf Ausführen, um den SQL-Code in Ihrer Pipeline auszuführen.

3. Sehen Sie sich unter Abfrageergebnisse die Datenvorschau an.

Ansehen

1. Führen Sie einen der folgenden Schritte aus:

   • Klicken Sie auf Aufgabe hinzufügen und wählen Sie Ansicht aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, rechtsklicken Sie im Bereich Dateien auf den Pipeline-Ordner und wählen Sie Ansicht erstellen aus.

   • Wenn Sie mit Pipelines in Ordnern oder Git-Ordnern arbeiten, klicken Sie im Pipeline-Viewer auf den Button Aufgabe hinzufügen.

2. Wählen Sie im Bereich Neu erstellen die Option Ansicht oder Materialisierte Ansicht aus.

3. Prüfen Sie das Standardprojekt für die Ansicht oder wählen Sie ein neues Projekt aus.

4. Prüfen Sie das Standard-Dataset für die Ansicht oder wählen Sie ein neues Dataset aus.

5. Geben Sie einen Namen für die Ansicht ein.

6. Klicken Sie im Bereich „Aufgabendetails ansehen“ auf Öffnen, um die Aufgabe zu öffnen.

7. Konfigurieren Sie die Aufgabe mit den Einstellungen unter Details > Konfiguration oder im Block config des Code-Editors für die Ansicht.

Verwenden Sie für Metadatenänderungen den Tab Konfiguration. Auf diesem Tab können Sie einen bestimmten Wert im config-Block im Code-Editor bearbeiten, z. B. einen String oder ein Array, das wie ein JavaScript-Objekt formatiert ist. Mit diesem Tab können Sie Syntaxfehler vermeiden und prüfen, ob Ihre Einstellungen korrekt sind.

Optional: Wählen Sie im Menü Nach eine Aufgabe aus, die vor der Ansicht ausgeführt werden soll.

Sie können die Metadaten für Ihre Pipelineaufgabe auch im Block config im Editor definieren. Weitere Informationen finden Sie unter Ansicht mit Dataform Core erstellen.

Der Editor validiert Ihren Code und zeigt den Validierungsstatus an.

Hinweis: Wenn Sie JavaScript-Funktionen als Werte im Block config verwenden, können Sie die JavaScript-Funktionen nicht auf dem Tab Konfiguration bearbeiten.

1. Verwenden Sie den Schlüssel metadata, um Informationen für Knowledge Catalog anzugeben. Dieser Anreicherungsprozess unterstützt die folgenden Metadatenkonstrukte:

• Übersicht: Dokumentation und Zusammenfassungstext für den Eintrag.
• Generische Aspekte: semantische Details wie Tabellensystem und Typinformationen.

Die folgende Beispielkonfiguration zeigt, wie Sie einer Tabellenkonfiguration für Knowledge Catalog eine Übersicht und generische Metadatenaspekte hinzufügen:

       ```javascript
       config {
       type: "view",
       metadata: {
          overview: "This view provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "view"
             }
             }
       }
       }
       ```

1. Sehen Sie sich unter Details > Kompilierte Abfragen die SQL-Abfrage an, die aus dem SQLX-Code kompiliert wurde.

2. Klicken Sie auf Ausführen, um den SQL-Code in Ihrer Pipeline auszuführen.

3. Sehen Sie sich unter Abfrageergebnisse die Datenvorschau an.

Quelle deklarieren

1. Klicken Sie auf Aufgabe hinzufügen und wählen Sie Quelle deklarieren aus.

2. Prüfen Sie im Bereich Quelle deklarieren das Standardprojekt für die Datenquelle oder wählen Sie ein neues Projekt aus.

3. Prüfen Sie das Standard-Dataset für die Datenquelle oder wählen Sie ein neues Dataset aus.

4. Wählen Sie im Feld Tabelle/Ansicht die Tabelle oder Ansicht aus, die Sie als Datenquelle verwenden möchten.

5. Klicken Sie auf Erstellen.

6. Klicken Sie im Detailbereich der Aufgabe „Quelle deklarieren“ auf Öffnen, um die Aufgabe zu öffnen.

7. Konfigurieren Sie die Datenquelle mit den Einstellungen unter Details > Konfiguration oder im Block config des Code-Editors.

   Weitere Informationen zum Konfigurieren einer Datenquelle finden Sie unter Datenquelle deklarieren.

   Der Editor validiert Ihren Code und zeigt den Validierungsstatus an.

Assertion-Datentest

1. Klicken Sie auf Aufgabe hinzufügen und wählen Sie Datenqualitätstest aus.

2. Prüfen Sie im Bereich Neu erstellen das Standardprojekt für den Datenqualitätstest oder wählen Sie ein neues Projekt aus.

3. Prüfen Sie das Standard-Dataset für den Datenqualitätstest oder wählen Sie ein neues Dataset aus.

4. Geben Sie im Feld Tabelle einen Namen für den Datenqualitätstest ein.

5. Klicken Sie auf Erstellen.

6. Klicken Sie im Detailbereich der Aufgabe für den Datenqualitätstest auf Öffnen, um die Aufgabe zu öffnen.

7. Konfigurieren Sie Assertions für den Test mit den Einstellungen unter Details > Konfiguration oder im Block config des Code-Editors.

   Weitere Informationen zum Konfigurieren von Assertions finden Sie unter Datenqualität testen.

   Optional: Wählen Sie im Menü Nach eine Aufgabe aus, die in der Pipeline-Sequenz vor dem Datenqualitätstest ausgeführt werden soll.

   Der Editor validiert Ihren Code und zeigt den Validierungsstatus an.

8. Klicken Sie auf Ausführen, um den Datenqualitätstest als Teil Ihrer Pipelinesequenz auszuführen.

Unittest

1. Klicken Sie auf Aufgabe hinzufügen und wählen Sie Unit-Test aus.

2. Wählen Sie im Feld Zu testende Aktion die Tabelle oder Ansicht aus, die Sie testen möchten.

3. Geben Sie im Feld BigQuery-Unittest einen Namen für den Unittest ein.

4. Klicken Sie auf Erstellen.

5. Klicken Sie im Bereich „Aufgabendetails“ auf Öffnen, um den Unittest zu öffnen.

6. Konfigurieren Sie die Eingaben und die erwarteten Ausgabezeilen für den Unit-Test.

   Weitere Informationen zum Konfigurieren von Unit-Tests finden Sie unter Datenqualität testen.

7. Optional: Wenn Sie prüfen möchten, ob die Ein- und Ausgaben Ihren Erwartungen entsprechen, klicken Sie auf Aufgabe ausführen und wählen Sie erwartete oder tatsächliche Anweisungen aus.

8. Klicken Sie auf Ausführen, um den Datenqualitätstest als Teil Ihrer Pipelinesequenz auszuführen.

Pipeline-Aufgabe bearbeiten

So bearbeiten Sie eine Pipeline-Aufgabe:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf die ausgewählte Aufgabe.

5. Wenn Sie die vorherige Aufgabe ändern möchten, wählen Sie im Menü Nach eine Aufgabe aus, die vor Ihrer Aufgabe ausgeführt werden soll.

6. Klicken Sie auf Bearbeiten, um den Inhalt der ausgewählten Aufgabe zu bearbeiten.

7. Bearbeiten Sie auf dem geöffneten neuen Tab den Aufgabeninhalt und speichern Sie die Änderungen an der Aufgabe.

Pipelineaufgabe löschen

So löschen Sie eine Aufgabe aus einer Pipeline:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf die ausgewählte Aufgabe.

5. Klicken Sie im Bereich Aufgabendetails auf Löschen Löschen.

Pipeline freigeben

Wichtig: Wenn Sie die Sicherheit erhöhen, indem Sie das Feld enable_private_workspace (Vorabversion) in der Dataform API-Methode projects.locations.updateConfig auf true setzen, kann nur der Ersteller der Pipeline Code in dieser Pipeline lesen und schreiben. Weitere Informationen finden Sie unter Private Arbeitsbereiche aktivieren.

Hinweis: Sie können eine Pipeline freigeben, aber keine Aufgabe innerhalb der Pipeline.

So geben Sie eine Pipeline frei:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf Freigeben und wählen Sie dann Berechtigungen verwalten aus.

5. Klicken Sie auf Nutzer/Gruppe hinzufügen.

6. Geben Sie im Feld Neue Hauptkonten den Namen mindestens eines Nutzers oder einer Gruppe ein.

7. Wählen Sie unter Rollen zuweisen eine Rolle aus.

8. Klicken Sie auf Speichern.

Link zu einer Pipeline freigeben

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf Teilen und wählen Sie dann Link teilen aus. Die URL für Ihre Pipeline wird in die Zwischenablage Ihres Computers kopiert.

Pipeline ausführen

Wenn Sie eine Pipeline ausführen, können Sie alle Aufgaben in der Pipeline ausführen, bestimmte Aufgaben manuell auswählen, Aufgaben mit ausgewählten Tags ausführen oder Unittests ausführen.

Alle Aufgaben in einer Pipeline ausführen

Wählen Sie eine der folgenden Optionen aus, um die aktuelle Version einer Pipeline manuell auszuführen:

Console

So führen Sie alle Aufgaben in einer Pipeline aus:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf  Ausführen > Alle Aufgaben ausführen. Wenn Sie für die Authentifizierung die Option Mit meinen Nutzeranmeldedaten ausführen ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren.

5. Optional: Wenn Sie die Ausführung prüfen möchten, rufen Sie die letzten manuellen Ausführungen auf.

API

Hinweis: Die Dataform API unterstützt keine Nutzeranmeldedaten für Pipelineausführungen. Sie müssen im Abschnitt Authentifizierung Ihrer Pipeline-Einstellungen ein Dienstkonto auswählen, um die API zu verwenden.

Wenn Sie eine Pipeline manuell ausführen möchten, kompilieren Sie den Standardarbeitsbereich und verwenden Sie das Kompilierungsergebnis, um einen Workflowaufruf zu erstellen.

1. Verwenden Sie die Methode projects.locations.repositories.compilationResults.create, um ein Kompilierungsergebnis für den Standardarbeitsbereich zu erstellen.

   Führen Sie die API-Anfrage mit den folgenden Informationen aus:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      -d '{
         "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/default"
      }' \
      "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"
   

   Ersetzen Sie Folgendes:

   • LOCATION: Die Google Cloud -Region für Ihr Repository, z. B. us-central1. Sie finden den Speicherort des Repositorys in der Google Cloud Console, indem Sie zum Bereich Explorer gehen, die Pipeline auswählen, den Tab Einstellungen öffnen und auf Pipeline in Dataform öffnen klicken. Der Standort ist in der URL im Format /locations/LOCATION/ enthalten.
   • PROJECT_ID: die eindeutige Kennung IhresGoogle Cloud -Projekts.
   • REPOSITORY_ID: die eindeutige Kennung für Ihr Dataform-Repository, z. B. my-secure-repo. Sie finden die Repository-ID in der Google Cloud Console, indem Sie zum Bereich Explorer gehen, die Pipeline auswählen, den Tab Einstellungen öffnen und das Feld Dataform-Repository-ID aufrufen.

2. Suchen Sie im Antworttext nach dem Feld name und kopieren Sie den Wert, z. B. projects/my-project/locations/us-central1/repositories/my-repo/compilationResults/12345-67890.

3. Lösen Sie die Pipelineausführung mit der Methode projects.locations.repositories.workflowInvocations.create aus.

   Führen Sie die API-Anfrage mit den folgenden Informationen aus:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      -d '{
         "compilationResult": "COMPILATION_RESULT"
      }' \
      "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
   

   Ersetzen Sie Folgendes:

   • COMPILATION_RESULT: der vollständige Ressourcenname des Kompilierungsergebnisses, das Sie im vorherigen Schritt kopiert haben.
   • LOCATION: Die Google Cloud -Region für Ihr Repository, z. B. us-central1.
   • PROJECT_ID: die eindeutige Kennung IhresGoogle Cloud -Projekts.
   • REPOSITORY_ID: die eindeutige Kennung für Ihr Dataform-Repository, z. B. my-secure-repo.

Ausgewählte Aufgaben in einer Pipeline ausführen

So führen Sie ausgewählte Aufgaben in einer Pipeline aus:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf  Ausführen > Aufgaben zum Ausführen auswählen.

5. Autorisieren Sie im Bereich Ausführen im Abschnitt Authentifizierung die Ausführung mit den Nutzeranmeldedaten für Ihr Google-Konto oder ein Dienstkonto.

   • Wenn Sie die Nutzeranmeldedaten für Ihr Google-Konto verwenden möchten, wählen Sie Mit Nutzeranmeldedaten ausführen aus.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • Wenn Sie ein benutzerdefiniertes Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen und dann ein benutzerdefiniertes Dienstkonto aus.

     Hinweis: Damit Dienstkonten im Menü angezeigt werden, benötigen Sie die Berechtigung iam.serviceAccounts.list auf Projektebene, die in der Rolle „Dienstkonten ansehen“ (roles/iam.serviceAccountViewer) verfügbar ist. Wenn Sie diese Berechtigung nicht haben, können Sie das Dienstkonto auswählen, indem Sie auf Manuell eingeben klicken und die Dienstkonto-ID eingeben.

     Wenn Sie ein Dienstkonto erstellen müssen, klicken Sie auf Neues Dienstkonto.

6. Achten Sie darauf, dass Aufgabenauswahl ausgewählt ist.

7. Suchen Sie im Menü Tasks zum Ausführen auswählen nach bestimmten Tasks und wählen Sie die Tasks aus, die Sie ausführen möchten.

   In der Tabelle Aufgaben sind die von Ihnen ausgewählten Aufgaben aufgeführt. Klicken Sie auf einen Aufgabennamen, um ihn direkt im SQL-Editor zu öffnen.

8. Optional: Konfigurieren Sie die folgenden Ausführungsoptionen:

   • Abhängigkeiten einbeziehen: Wählen Sie diese Option aus, um die ausgewählten Aufgaben und ihre Abhängigkeiten auszuführen.
   • Abhängige Elemente einschließen: Wählen Sie diese Option aus, um die ausgewählten Aufgaben und ihre transitiven Downstream-Abhängigkeiten auszuführen.
   • Mit vollständiger Aktualisierung ausführen: Wählen Sie diese Option aus, um alle Tabellen von Grund auf neu zu erstellen.
   • Als interaktiven Job mit hoher Priorität ausführen (Standardeinstellung): Wählen Sie diese Option aus, um die Priorität des BigQuery-Abfragejobs festzulegen. Standardmäßig führt BigQuery Abfragen als interaktive Abfragejobs aus, die so schnell wie möglich gestartet werden sollen. Wenn Sie diese Option deaktivieren, werden die Abfragen als Batchabfragejobs mit niedrigerer Priorität ausgeführt.

9. Klicken Sie auf Ausführen. Wenn Sie als Authentifizierungsmethode Mit Nutzeranmeldedaten ausführen ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorabversion).

10. Optional: Wenn Sie die Ausführung prüfen möchten, rufen Sie die letzten manuellen Ausführungen auf.

Aufgaben mit ausgewählten Tags in einer Pipeline ausführen

So führen Sie Aufgaben mit ausgewählten Tags in einer Pipeline aus:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf  Ausführen > Nach Tag ausführen und führen Sie einen der folgenden Schritte aus:

   • Klicken Sie auf ein Tag, das Sie ausführen möchten.
   • Klicken Sie auf  Auszuführende Tags auswählen.

5. Autorisieren Sie im Bereich Ausführen im Abschnitt Authentifizierung die Ausführung mit den Nutzeranmeldedaten für Ihr Google-Konto oder ein Dienstkonto.

   • Wenn Sie die Nutzeranmeldedaten für Ihr Google-Konto verwenden möchten, wählen Sie Mit Nutzeranmeldedaten ausführen aus.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • Wenn Sie ein benutzerdefiniertes Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen und dann ein benutzerdefiniertes Dienstkonto aus.

     Hinweis: Damit Dienstkonten im Menü angezeigt werden, benötigen Sie die Berechtigung iam.serviceAccounts.list auf Projektebene, die in der Rolle „Dienstkonten ansehen“ (roles/iam.serviceAccountViewer) verfügbar ist. Wenn Sie diese Berechtigung nicht haben, können Sie das Dienstkonto auswählen, indem Sie auf Manuell eingeben klicken und die Dienstkonto-ID eingeben.

     Wenn Sie ein Dienstkonto erstellen müssen, klicken Sie auf Neues Dienstkonto.

6. Achten Sie darauf, dass Auswahl von Tags ausgewählt ist.

7. Suchen Sie im Menü Tags zum Ausführen auswählen nach bestimmten Tags und wählen Sie die Tags aus, die Sie ausführen möchten.

   In der Tabelle Aufgaben sind die von Ihnen ausgewählten Aufgaben aufgeführt. Klicken Sie auf einen Aufgabennamen, um ihn direkt im SQL-Editor zu öffnen.

8. Optional: Konfigurieren Sie die folgenden Ausführungsoptionen:

   • Abhängigkeiten einbeziehen: Wählen Sie diese Option aus, um die ausgewählten Aufgaben und ihre Abhängigkeiten auszuführen.
   • Abhängige Elemente einschließen: Wählen Sie diese Option aus, um die ausgewählten Aufgaben und ihre transitiven Downstream-Abhängigkeiten auszuführen.
   • Mit vollständiger Aktualisierung ausführen: Wählen Sie diese Option aus, um alle Tabellen von Grund auf neu zu erstellen.
   • Als interaktiven Job mit hoher Priorität ausführen (Standardeinstellung): Wählen Sie diese Option aus, um die Priorität des BigQuery-Abfragejobs festzulegen. Standardmäßig führt BigQuery Abfragen als interaktive Abfragejobs aus, die so schnell wie möglich gestartet werden sollen. Wenn Sie diese Option deaktivieren, werden die Abfragen als Batchabfragejobs mit niedrigerer Priorität ausgeführt.

9. Klicken Sie auf Ausführen. Wenn Sie als Authentifizierungsmethode Mit Nutzeranmeldedaten ausführen ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorabversion).

10. Optional: Wenn Sie die Ausführung prüfen möchten, rufen Sie die letzten manuellen Ausführungen auf.

Unittests in einer Pipeline ausführen

Sie definieren Unit-Tests in Dataform, indem Sie .sqlx-Testdateien im Verzeichnis definitions/ Ihres Repositorys erstellen. Nachdem Sie Unit-Tests in Dataform erstellt haben, können Sie sie direkt in Ihrer BigQuery-Pipeline ausführen, um Ihre SQL-Transformationslogik mit simulierten Datasets zu validieren.

So führen Sie Unittests in einer Pipeline aus:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

4. Klicken Sie auf  Ausführen.

5. Autorisieren Sie im Bereich Ausführen im Abschnitt Authentifizierung die Ausführung mit den Nutzeranmeldedaten für Ihr Google-Konto oder ein Dienstkonto:

   • Wenn Sie die Nutzeranmeldedaten für Ihr Google-Konto verwenden möchten (Vorabversion), wählen Sie Mit Nutzeranmeldedaten ausführen aus.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • Wenn Sie ein benutzerdefiniertes Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen und dann ein benutzerdefiniertes Dienstkonto aus.

     Damit Dienstkonten im Menü angezeigt werden, benötigen Sie die Berechtigung iam.serviceAccounts.list auf Projektebene, die in der Rolle „Dienstkonten ansehen“ (roles/iam.serviceAccountViewer) verfügbar ist. Wenn Sie diese Berechtigung nicht haben, können Sie das Dienstkonto auswählen, indem Sie auf Manuell eingeben klicken und die Dienstkonto-ID eingeben.

     Wenn Sie ein Dienstkonto erstellen müssen, klicken Sie auf Neues Dienstkonto.

6. Wählen Sie im Bereich Ausführungsmodus die Option Unittests aus.

7. Wählen Sie eine der folgenden Optionen für den Ausführungsbereich aus:

   • Unittests auswählen: Suchen Sie nach bestimmten Unittests in Ihrer Pipeline und wählen Sie sie aus.
   • Unittest-Tags auswählen: Filtern Sie Unittests, denen bestimmte Tags zugewiesen sind, und führen Sie sie aus.
   • Alle Unittests: Alle in der Pipeline definierten Unittests werden ausgeführt.

8. Optional: Wählen Sie im Abschnitt Ausführungsoptionen das Kästchen Als interaktiven Job mit hoher Priorität ausführen aus, um Unit-Tests sofort auszuführen und die Ausführungsgeschwindigkeit zu priorisieren.

   Wenn Sie das Kästchen Als interaktiven Job mit hoher Priorität ausführen nicht aktivieren, führt Dataform Unittests standardmäßig mit Batch-Ressourcen aus, wobei die Einsparung von Rechenkosten priorisiert wird.

9. Klicken Sie auf Ausführen. Wenn Sie als Authentifizierungsmethode Mit Nutzeranmeldedaten ausführen ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorabversion).

10. Optional: Wenn Sie die Ausführung prüfen möchten, rufen Sie die letzten manuellen Ausführungen auf.

Google-Konto autorisieren

Wenn Sie die Ressource mit den Nutzeranmeldedaten Ihres Google-Kontos authentifizieren möchten, müssen Sie BigQuery-Pipelines manuell die Berechtigung erteilen, das Zugriffstoken für Ihr Google-Konto abzurufen und in Ihrem Namen auf die Quelldaten zuzugreifen. Sie können die manuelle Genehmigung über die OAuth-Dialogoberfläche erteilen. Wenn Sie Erweiterte Zugriffsoptionen auswählen, müssen Sie Zugriff auf diese Dienste gewähren, z. B. Google Drive oder Knowledge Catalog.

Hinweis: Richtlinien für den kontextsensitiven Zugriff (Context-Aware Access, CAA) – einschließlich IP-basierter, standortbasierter und Geräte-Compliance-Richtlinien – werden nicht unterstützt, wenn BigQuery-Pipelines mit Nutzeranmeldedaten für ein Google-Konto ausgeführt oder geplant werden, da die Tokenanfragen von der Google-Infrastruktur stammen. Diese Ausführungen werden durch CAA-Richtlinien blockiert, es sei denn, die Dataform-OAuth-Client-ID ist von den Richtlinien ausgenommen.

Sie müssen BigQuery-Pipelines nur einmal die Berechtigung erteilen.

So heben Sie die erteilte Berechtigung auf:

1. Rufen Sie Ihre Google-Kontoseite auf.
2. Klicken Sie auf BigQuery-Pipelines.
3. Klicken Sie auf Zugriff entfernen.

Warnung: Wenn Sie Zugriffsberechtigungen widerrufen, werden alle zukünftigen Pipelineausführungen verhindert, die diesem Google-Konto in allen Regionen gehören.

Wenn Ihre Pipeline ein Notebook enthält, müssen Sie Colab Enterprise außerdem manuell die Berechtigung erteilen, das Zugriffstoken für Ihr Google-Konto abzurufen und in Ihrem Namen auf die Quelldaten zuzugreifen. Sie müssen die Berechtigung nur einmal erteilen. Sie können diese Berechtigung auf der Google-Kontoseite widerrufen.

Nächste Schritte

• Weitere Informationen zu BigQuery-Pipelines
• Pipelines verwalten
• Pipelines planen
• Code mit BigQuery Studio-Git-Repositories verwalten
• Code-Assets mit Ordnern organisieren
• Datenqualität mit Unittests testen