Pengantar ekspor data

BigQuery memungkinkan Anda mengekspor data sehingga Anda dapat menggunakannya di alat, sistem penyimpanan, dan aplikasi lain. Anda dapat menyimpan hasil kueri ke file, mengekspor tabel ke Cloud Storage, atau menyiapkan alur kerja ETL terbalik (RETL) ke layanan seperti Bigtable dan Spanner.

Untuk informasi selengkapnya tentang integrasi data, lihat Pengantar pemuatan, transformasi, dan ekspor data.

Mengekspor hasil kueri

Anda dapat mengekspor hasil kueri ke file lokal (sebagai file CSV atau JSON), Google Drive, atau Google Spreadsheet. Untuk mengetahui informasi selengkapnya, lihat Mengekspor hasil kueri ke file.

Mengekspor tabel

Anda dapat mengekspor tabel BigQuery dalam format data berikut:

Format data Jenis kompresi yang didukung Metode ekspor yang didukung
CSV GZIP Mengekspor ke Cloud Storage
JSON GZIP Mengekspor ke Cloud Storage
Membaca dari BigQuery menggunakan Dataflow
Avro DEFLATE, SNAPPY Mengekspor ke Cloud Storage
Membaca dari BigQuery menggunakan Dataflow
Parquet GZIP, SNAPPY, ZSTD Mengekspor ke Cloud Storage

Anda juga dapat mengekspor tabel BigQuery sebagai kolom Protobuf saat menggunakan struktur data bertingkat yang memerlukan keamanan jenis objek, atau jika Anda memerlukan dukungan bahasa yang lebih luas.

Pertimbangan ekspor tabel besar

Saat mengekspor data dalam jumlah besar dari BigQuery, pertimbangkan hal berikut:

  • Volume dan format data:
    • Hitung volume data yang akan diekspor. Ekspor dapat menimbulkan biaya yang besar berdasarkan ukuran, format, metode, dan lokasi geografis data. Beberapa resource dikenai biaya per GiB, sementara yang lain dikenai biaya per TiB.
    • Pilih format yang kompatibel dengan alat analisis dan struktur data Anda. Misalnya, CSV tidak menangani kolom bertingkat atau berulang. Periksa kompatibilitas jenis data.
    • Pertimbangkan format kompresi untuk mengurangi ukuran dan biaya.
  • Biaya ekspor:
    • Beberapa metode ekspor gratis hingga batas tertentu, sementara metode lainnya selalu dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat Harga ekstraksi data.
    • Biaya dapat berlaku jika tabel BigQuery dan tujuan Anda, seperti bucket Cloud Storage, berada di lokasi yang berbeda.
  • Kuota: beberapa metode ekspor memiliki batas harian. Untuk mengetahui informasi selengkapnya, lihat Tugas ekstrak.
  • Beberapa file: ekspor besar yang dibagi menjadi beberapa file. Pertimbangkan cara Anda akan mengelola file ini di downstream.
  • Automation: untuk ekspor berulang, gunakan kueri terjadwal BigQuery atau Dataflow.
  • Kebijakan retensi: tentukan periode retensi di set data tujuan Anda dan terapkan aturan siklus proses untuk mengoptimalkan biaya penyimpanan.
  • Kontrol keamanan dan akses: menerapkan izin IAM dan enkripsi yang sesuai.

Saat Anda mempertimbangkan faktor-faktor ini, sebaiknya lakukan uji ekspor pada subset data untuk menilai biaya, ukuran file, jumlah, dan waktu. Anda dapat menggunakan klausa WHERE dalam pernyataan SQL EXPORT DATA untuk membatasi ekspor pengujian.

Mengekspor aset kode BigQuery

Anda dapat mendownload aset kode BigQuery Studio, seperti kueri tersimpan atau notebook untuk menyimpan salinan lokal aset Anda. Untuk mengetahui informasi selengkapnya tentang cara mendownload aset kode BigQuery, lihat berikut ini:

Mengekspor menggunakan ETL terbalik

Anda dapat menyiapkan alur kerja ETL terbalik (RETL) untuk memindahkan data dari BigQuery ke database berikut:

Langkah berikutnya