BigQuery-Datenvorbereitung – Übersicht
Mit der KI-gestützten Datenvorbereitung in BigQuery können Sie den Zeit- und Arbeitsaufwand für manuelle Datenaufgaben erheblich reduzieren. Bei der Datenvorbereitung wird Gemini in BigQuery verwendet, um Ihre Daten zu analysieren und intelligente Vorschläge zum Bereinigen, Transformieren und Anreichern zu machen. Dataform plant diese Datenvorbereitungen.
Vorteile
- Mit kontextsensitiven, von Gemini generierten Transformationsvorschlägen können Sie die Entwicklungszeit für Datenpipelines verkürzen.
- Sie können die generierten Ergebnisse in einer Vorschau validieren und Vorschläge zur Bereinigung und Anreicherung der Datenqualität mit automatischer Schemazuordnung erhalten.
- Mit Dataform können Sie einen CI/CD-Prozess (Continuous Integration, Continuous Development) verwenden, der die teamübergreifende Zusammenarbeit für Code Reviews und Versionsverwaltung unterstützt.
Einstiegspunkte für die Datenvorbereitung
Sie können Datenvorbereitungen auf der Seite BigQuery Studio erstellen und verwalten (siehe Datenvorbereitungssitzung starten).
Wenn Sie eine Tabelle in der BigQuery-Datenvorbereitung öffnen, wird ein BigQuery-Job mit Ihren Anmeldedaten ausgeführt. Bei der Ausführung werden Beispielzeilen aus der ausgewählten Tabelle erstellt und die Ergebnisse in eine temporäre Tabelle im selben Projekt geschrieben. Gemini verwendet die Beispieldaten und das Schema, um Vorschläge für die Datenvorbereitung zu generieren, die im Editor für die Datenvorbereitung angezeigt werden.
Ansichten im Editor für die Datenvorbereitung
Datenvorbereitungen werden auf der Seite BigQuery als Tabs angezeigt. Jeder Tab enthält eine Reihe von Untertabs oder Ansichten für die Datenvorbereitung, in denen Sie Ihre Datenvorbereitungen entwickeln und verwalten.
Datenansicht
Wenn Sie eine neue Datenvorbereitung erstellen, wird ein Tab mit dem Datenvorbereitungseditor geöffnet. Dort wird die Datenansicht mit einer repräsentativen Stichprobe der Tabelle angezeigt. Bei vorhandenen Datenvorbereitungen können Sie die Datenansicht aufrufen, indem Sie in der Diagrammansicht Ihrer Datenvorbereitungspipeline auf einen Knoten klicken.
In der Datenansicht haben Sie folgende Möglichkeiten:
- Interagieren Sie mit Ihren Daten, um Schritte zur Datenvorbereitung zu erstellen.
- Vorschläge von Gemini anwenden.
- Sie können die Qualität der Gemini-Vorschläge verbessern, indem Sie Beispielwerte in die Zellen eingeben.
Über jeder Spalte in der Tabelle wird ein statistisches Profil (ein Histogramm) angezeigt, das die Anzahl der wichtigsten Werte jeder Spalte in den Vorschauzeilen enthält.
Diagrammansicht
Die Diagrammansicht ist eine visuelle Übersicht über Ihre Datenvorbereitung. Sie wird als Tab auf der Seite BigQuery in der Console angezeigt, wenn Sie eine Datenvorbereitung öffnen. Die Grafik enthält Knoten für alle Schritte in Ihrer Datenvorbereitungspipeline. Sie können einen Knoten im Diagramm auswählen, um die von ihm dargestellten Datenvorbereitungsschritte zu konfigurieren.
Schemaansicht
In der Schemaansicht für die Datenvorbereitung wird das aktuelle Schema des aktiven Datenvorbereitungsschritts angezeigt. Das angezeigte Schema entspricht den Spalten in der Datenansicht.
In der Schemaansicht können Sie dedizierte Schemavorgänge ausführen, z. B. Spalten entfernen. Dadurch werden auch Schritte in der Liste Angewendete Schritte erstellt.
Vorschläge von Gemini
Gemini bietet kontextbezogene Vorschläge, die Sie bei den folgenden Aufgaben zur Datenvorbereitung unterstützen:
- Transformationen und Regeln für die Datenqualität anwenden
- Daten standardisieren und anreichern
- Schemazuordnung automatisieren
Jeder Vorschlag wird auf einer Karte in der Vorschlagsliste des Editors für die Datenvorbereitung angezeigt. Die Karte enthält die folgenden Informationen:
- Die übergeordnete Kategorie des Schritts, z. B. Zeilen beibehalten oder Transformation
- Eine Beschreibung des Schritts, z. B. Keep rows if
COLUMN_NAMEis notNULL - Der entsprechende SQL-Ausdruck, der zum Ausführen des Schritts verwendet wird
Sie können sich eine Vorschau der Vorschlagskarte ansehen, sie bearbeiten oder anwenden oder den Vorschlag optimieren. Du kannst Schritte auch manuell hinzufügen. Weitere Informationen finden Sie unter Daten mit Gemini vorbereiten.
Wenn Sie die Vorschläge von Gemini optimieren möchten, geben Sie ein Beispiel dafür an, was in einer Spalte geändert werden soll.
Stichprobenerhebung
BigQuery verwendet Stichprobenerhebung, um eine Vorschau Ihrer Datenvorbereitung bereitzustellen. Sie können sich die Stichprobe in der Datenansicht für jeden Knoten ansehen.
Wenn Sie BigQuery-Standardtabellen als Quelle hinzufügen, werden die Daten mit der BigQuery-Funktion TABLESAMPLE vorbereitet. Diese Funktion erstellt eine Stichprobe mit 10.000 Datensätzen.
Wenn Sie eine Ansicht oder eine externe Tabelle als Quelle hinzufügen, liest das System die ersten 1 Million Datensätze. Aus diesen Datensätzen wählt das System eine repräsentative Stichprobe von 10.000 Datensätzen aus.
Die Daten in der Stichprobe werden nicht automatisch aktualisiert. Beispieltabellen werden als im Cache gespeicherte Abfrageergebnisse gespeichert und laufen nach etwa 24 Stunden ab. Informationen zum manuellen Aktualisieren der Beispieltabelle finden Sie unter Beispiele für die Datenvorbereitung aktualisieren.
Schreibmodus
Um Kosten und Verarbeitungszeit zu optimieren, können Sie die Einstellungen für den Schreibmodus ändern, um neue Daten aus der Quelle inkrementell zu verarbeiten. Wenn Sie beispielsweise eine Tabelle in BigQuery haben, in die täglich Datensätze eingefügt werden, und ein Looker-Dashboard, das die geänderten Daten widerspiegeln muss, können Sie die BigQuery-Datenvorbereitung so planen, dass die neuen Datensätze inkrementell aus der Quelltabelle gelesen und in die Zieltabelle übertragen werden.
Informationen zum Konfigurieren der Art und Weise, wie Ihre Datenvorbereitung in eine Zieltabelle geschrieben wird, finden Sie unter Datenvorbereitung durch inkrementelle Verarbeitung von Daten optimieren.
Die folgenden Schreibmodi werden unterstützt:
| Option für den Schreibmodus | Beschreibung |
|---|---|
| Vollständige Aktualisierung | Führt die Datenvorbereitungsschritte für alle Quelldaten aus und erstellt dann die Zieltabelle vollständig neu. Die Tabelle wird neu erstellt und nicht gekürzt. Die vollständige Aktualisierung ist der Standardmodus beim Schreiben in eine Zieltabelle. |
| Anhängen | Fügt alle Daten aus der Datenvorbereitung als zusätzliche Zeilen in die Zieltabelle ein. |
| Inkrementell | Fügt nur die neuen oder, je nach Auswahl der inkrementellen Spalte, geänderten Daten in die Zieltabelle ein. Basierend auf Ihrer Auswahl der inkrementellen Spalte wird bei der Datenvorbereitung der optimale Mechanismus zur Erkennung von Änderungsdatensätzen ausgewählt. Es werden Höchstwerte für numerische und Datetime-Datentypen und eindeutige Werte für kategoriale Daten ausgewählt. Mit „Maximum“ werden nur Datensätze eingefügt, bei denen der angegebene Spaltenwert größer als der Höchstwert für dieselbe Spalte in der Zieltabelle ist. Bei „Eindeutig“ werden nur Datensätze eingefügt, deren angegebene Spaltenwerte nicht in den vorhandenen Werten für dieselbe Spalte in der Zieltabelle vorhanden sind. |
| Upsert | Führt Zeilen mithilfe der angegebenen Zusammenführungsschlüssel zusammen. Wenn eine vorhandene Zeile in der Zieltabelle mit den angegebenen Zusammenführungsschlüsseln für einen Eingabeeintrag übereinstimmt, werden die Werte in dieser Zeile in der Zieltabelle aktualisiert. Andernfalls wird eine neue Zeile in die Zieltabelle eingefügt. |
Unterstützte Schritte zur Datenvorbereitung
BigQuery unterstützt die folgenden Arten von Datenvorbereitungsschritten:
| Schritttyp | Beschreibung |
|---|---|
| Quelle | Fügt eine Quelle hinzu, wenn Sie eine BigQuery-Tabelle zum Lesen auswählen oder einen Join-Schritt hinzufügen. |
| Transformation | Bereinigt und transformiert Daten mithilfe eines SQL-Ausdrucks. Sie erhalten Vorschlagskarten für die folgenden Ausdrücke:
Sie können auch beliebige gültige BigQuery-SQL-Ausdrücke in manuellen Transformationsschritten verwenden. Beispiel:
Weitere Informationen finden Sie unter Transformation hinzufügen. |
| Filter | Entfernt Zeilen über die Syntax der WHERE-Klausel. Wenn Sie einen Filterschritt hinzufügen, können Sie ihn in einen Validierungsschritt umwandeln.
Weitere Informationen finden Sie unter Zeilen filtern. |
| Deduplizieren | Entfernt doppelte Zeilen aus den Daten basierend auf ausgewählten Schlüsseln und der Reihenfolge.
Weitere Informationen finden Sie unter Daten deduplizieren. |
| Validierung | Sendet Zeilen, die die Kriterien der Validierungsregel nicht erfüllen, an eine Fehlertabelle. Wenn Daten die Validierungsregel nicht erfüllen und keine Fehlertabelle konfiguriert ist, schlägt die Datenvorbereitung während der Ausführung fehl.
Weitere Informationen finden Sie unter Fehlertabelle konfigurieren und Validierungsregel hinzufügen. |
| Beitreten | Führt Werte aus zwei Quellen zusammen. Die Tabellen müssen sich am selben Standort befinden.
Join-Schlüsselspalten müssen denselben Datentyp haben. Datenvorbereitungen unterstützen die folgenden Join-Vorgänge:
Weitere Informationen finden Sie unter Join-Vorgang hinzufügen. |
| Ziel | Definiert ein Ziel für die Ausgabe von Datenvorbereitungsschritten. Wenn Sie eine nicht vorhandene Zieltabelle eingeben, wird bei der Datenvorbereitung eine neue Tabelle mit den aktuellen Schemainformationen erstellt. Weitere Informationen finden Sie unter Zieltabelle hinzufügen oder ändern. |
| Spalten löschen | Löscht Spalten aus dem Schema. Diesen Schritt führen Sie in der Schemaansicht aus.
Weitere Informationen finden Sie unter Spalte löschen. |
Ausführungen der Datenvorbereitung planen
Erstellen Sie einen Zeitplan, um die Schritte zur Datenvorbereitung auszuführen und die vorbereiteten Daten in die Zieltabelle zu laden. Sie können Datenvorbereitungen im Datenvorbereitungseditor planen und auf der BigQuery-Seite Planung verwalten. Weitere Informationen finden Sie unter Datenvorbereitungen planen.
Pipelines mit Datenvorbereitungsaufgaben erstellen
Sie können BigQuery-Pipelines erstellen, die aus Datenvorbereitungs-, SQL-Abfrage- und Notebook-Aufgaben bestehen. Diese Pipelines können Sie dann nach einem Zeitplan ausführen. Weitere Informationen finden Sie unter Einführung in BigQuery-Pipelines.
Zugriffssteuerung
Steuern Sie den Zugriff auf Datenvorbereitungen mithilfe von IAM-Rollen (Identity and Access Management), Verschlüsselung mit BigQuery- und Dataform-Cloud KMS-Schlüsseln und VPC Service Controls.
IAM-Rollen und -Berechtigungen
Nutzer, die die Daten vorbereiten, und die Dataform-Dienstkonten, die die Jobs ausführen, benötigen IAM-Berechtigungen. Weitere Informationen finden Sie unter Erforderliche Rollen und Gemini für BigQuery einrichten.
Verschlüsselung mit Cloud KMS-Schlüsseln
Daten auf Dataset- oder Projektebene mit den standardmäßigen vom Kunden verwalteten Cloud KMS-Schlüsseln in BigQuery verschlüsseln. Weitere Informationen finden Sie unter Dataset-Standardschlüssel festlegen und Projekt-Standardschlüssel festlegen.
Sie können Pipelinecode standardmäßig auf Projektebene mit einem Cloud KMS-Schlüssel für Dataform verschlüsseln.
VPC Service Controls-Perimeter
Wenn Sie VPC Service Controls verwenden, müssen Sie den Perimeter so konfigurieren, dass Dataform und BigQuery geschützt sind. Weitere Informationen finden Sie in den VPC Service Controls-Einschränkungen für BigQuery und Dataform.
Rolle, die beim Erstellen einer Datenvorbereitung gewährt wird
Wenn Sie eine Datenvorbereitung erstellen, wird Ihnen in BigQuery die Rolle „Dataform Admin“ (roles/dataform.admin) für diese Datenvorbereitung zugewiesen. Alle Nutzer, denen für das Projekt von Google Cloud die Rolle „Dataform-Administrator“ zugewiesen wurde, haben Inhaberzugriff auf alle im Projekt erstellten Datenvorbereitungen. Informationen zum Überschreiben dieses Verhaltens finden Sie unter Bestimmte Rolle beim Erstellen einer Ressource zuweisen.
Beschränkungen
Die Datenvorbereitung ist mit den folgenden Einschränkungen verfügbar:
- Alle BigQuery-Quell- und Ziel-Datasets einer bestimmten Datenvorbereitung müssen sich am selben Standort befinden. Weitere Informationen finden Sie unter Standorte.
- Während der Pipelinebearbeitung werden Daten und Interaktionen zur Verarbeitung an ein Gemini-Rechenzentrum gesendet. Weitere Informationen finden Sie unter Standorte.
- Gemini in BigQuery wird von Assured Workloads nicht unterstützt.
- BigQuery-Datenvorbereitungen unterstützen das Ansehen, Vergleichen oder Wiederherstellen von Datenvorbereitungsversionen nicht.
- Die Antworten von Gemini basieren auf einer Stichprobe des Datasets, das Sie bei der Entwicklung Ihrer Datenvorbereitungspipeline bereitstellen. Weitere Informationen finden Sie unter So verwendet Gemini für Google Cloud Ihre Daten und in den Nutzungsbedingungen für das Trusted Tester-Programm für Gemini für Google Cloud .
- Die BigQuery-Datenvorbereitung hat keine eigene API. Informationen zu den erforderlichen APIs finden Sie unter Gemini in BigQuery einrichten.
Standorte
Ihre Datenverarbeitungsjobs werden am Standort Ihrer Quelldatensätze ausgeführt und gespeichert. Wenn ein Repository-Standort angegeben ist, muss er mit dem Standort der Quell-Datasets übereinstimmen.
Die Speicherregion für den Code zur Datenvorbereitung kann sich von der Region für die Jobausführung unterscheiden.
Alle neuen Code-Assets in Ihrem Google Cloud -Projekt verwenden eine Standardregion. Nachdem das Asset erstellt wurde, können Sie seine Region nicht mehr ändern.
So legen Sie die Standardregion für neue Code-Assets fest:
Rufen Sie die Seite BigQuery auf.
Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen:
Klicken Sie neben dem Projektnamen auf Aktionen im Dateibereich ansehen > Coderegion wechseln.
Wählen Sie die Coderegion aus, die Sie als Standard verwenden möchten.
Klicken Sie auf Speichern.
Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.
Die BigQuery-Datenverarbeitung während der Entwicklungs- und Ausführungszeit erfolgt immer am Standort Ihrer Quell-Datasets. Informationen dazu, wo Gemini in BigQuery Ihre Daten verarbeitet, finden Sie unter Wo Gemini in BigQuery Ihre Daten verarbeitet.
Preise
Für die Ausführung von Datenvorbereitungen und die Erstellung von Datenvorschau-Stichproben werden BigQuery-Ressourcen verwendet, die zu den unter BigQuery-Preise angegebenen Tarifen abgerechnet werden.
Die Datenvorbereitung ist in den Preisen für Gemini in BigQuery enthalten. Weitere Informationen finden Sie unter Gemini in BigQuery einrichten.