Einführung in den Datenexport

Mit BigQuery können Sie Daten exportieren, um sie in anderen Tools, Speichersystemen und Anwendungen zu verwenden. Sie können Abfrageergebnisse in einer Datei speichern, Tabellen nach Cloud Storage exportieren oder Reverse-ETL-Workflows (RETL) für Dienste wie Bigtable und Spanner einrichten.

Weitere Informationen zu Datenintegrationen finden Sie unter Einführung in das Laden, Transformieren und Exportieren von Daten.

Abfrageergebnisse exportieren

Sie können Abfrageergebnisse in eine lokale Datei (entweder als CSV- oder JSON-Datei), in Google Drive oder in Google Sheets exportieren. Weitere Informationen finden Sie unter Abfrageergebnisse in eine Datei exportieren.

Tabellen exportieren

Sie können Ihre BigQuery-Tabellen in den folgenden Datenformaten exportieren:

Datenformat Unterstützte Komprimierungstypen Unterstützte Exportmethoden
CSV GZIP Nach Cloud Storage exportieren
JSON GZIP Nach Cloud Storage exportieren
Mit Dataflow aus BigQuery lesen
Avro DEFLATE, SNAPPY Nach Cloud Storage exportieren
Mit Dataflow aus BigQuery lesen
Parquet GZIP, SNAPPY, ZSTD Nach Cloud Storage exportieren

Sie können Ihre BigQuery-Tabellen auch als Protobuf-Spalten exportieren, wenn Sie mit verschachtelten Datenstrukturen arbeiten, die Objekttypsicherheit erfordern, oder wenn Sie eine breitere Sprachunterstützung benötigen.

Überlegungen zum Export großer Tabellen

Beachten Sie beim Exportieren großer Datenmengen aus BigQuery Folgendes:

  • Datenvolumen und ‑format:
    • Berechnen Sie das Volumen der zu exportierenden Daten. Exporte können je nach Datengröße, Format, Methode und geografischem Standort erhebliche Kosten verursachen. Einige Ressourcen werden pro GiB abgerechnet, andere pro TiB.
    • Wählen Sie ein Format aus, das mit den Analysetools und der Struktur Ihrer Daten kompatibel ist. CSV-Dateien unterstützen beispielsweise keine verschachtelten oder wiederkehrenden Felder. Prüfen Sie die Kompatibilität der Datentypen.
    • Ziehen Sie Komprimierungsformate in Betracht, um die Größe und die Kosten zu reduzieren.
  • Exportkosten:
    • Einige Exportmethoden sind bis zu einem bestimmten Limit kostenlos, während andere immer Kosten verursachen. Weitere Informationen finden Sie unter Preise für die Datenextraktion.
    • Es können Kosten anfallen, wenn sich Ihre BigQuery-Tabelle und das Ziel, z. B. ein Cloud Storage-Bucket, an unterschiedlichen Standorten befinden.
  • Kontingente: Für einige Exportmethoden gelten Tageslimits. Weitere Informationen finden Sie unter Extraktionsjobs.
  • Mehrere Dateien: Große Exporte werden in mehrere Dateien aufgeteilt. Überlegen Sie, wie Sie diese Dateien nachgelagert verwalten.
  • Automatisierung: Verwenden Sie für wiederkehrende Exporte geplante BigQuery-Abfragen oder Dataflow.
  • Aufbewahrungsrichtlinien: Legen Sie Aufbewahrungszeiträume in Ihrem Ziel-Dataset fest und implementieren Sie Lebenszyklusregeln, um die Speicherkosten zu optimieren.
  • Sicherheit und Zugriffssteuerung: Implementieren Sie geeignete IAM-Berechtigungen und Verschlüsselung.

Wir empfehlen, einen Testexport für eine Teilmenge der Daten durchzuführen, um Kosten, Dateigrößen, Anzahl und Zeit zu bewerten. Sie können in Ihrer EXPORT DATA-SQL-Anweisung eine WHERE-Klausel verwenden, um den Testexport einzuschränken.

BigQuery-Code-Assets exportieren

Sie können BigQuery Studio-Code-Assets wie gespeicherte Abfragen oder Notebooks herunterladen, um eine lokale Kopie Ihrer Assets zu speichern. Weitere Informationen zum Herunterladen Ihrer BigQuery-Code-Assets finden Sie hier:

Mit Reverse ETL exportieren

Sie können Reverse-ETL-Workflows einrichten, um Daten aus BigQuery in die folgenden Datenbanken zu verschieben:

Nächste Schritte