Pengantar migrasi BigQuery

BigQuery Migration Service adalah solusi komprehensif yang memungkinkan Anda memigrasikan data warehouse ke BigQuery. Solusi ini menyediakan alat untuk setiap fase migrasi—termasuk penilaian dan perencanaan, terjemahan SQL untuk berbagai dialek SQL, dan transfer data untuk membantu Anda mentransisikan workload dengan upaya manual minimal.

Untuk mengakses BigQuery Migration Service, di konsol Google Cloud , buka halaman BigQuery, lalu pilih Migration > Services.

Kemampuan dan alat migrasi

Dengan BigQuery Migration Service, Anda dapat melakukan hal berikut:

  • Menilai: Rencanakan migrasi data warehouse Anda dengan menjalankan penilaian migrasi BigQuery.
  • Menerjemahkan SQL: Layanan terjemahan mengotomatiskan konversi kueri SQL Anda ke GoogleSQL, termasuk penyesuaian SQL yang ditingkatkan Gemini. Anda dapat menggunakan penerjemah SQL batch, penerjemah SQL interaktif, atau SQL Translation API untuk memigrasikan workload ke BigQuery.
  • Transfer data: Siapkan transfer data yang memuat data dari sumber data Anda ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Apa itu BigQuery Data Transfer Service?.
  • Mendaftarkan atau memigrasikan lakehouse terbuka: Migrasikan metadata dari katalog eksternal, seperti Apache Hive Metastore dan Apache Iceberg REST Catalog, ke tabel katalog REST Lakehouse untuk Apache Iceberg.

Anda juga dapat menggunakan alat open source berikut untuk membantu proses migrasi:

  • Alat migrasi data: Gunakan alat migrasi data untuk mengotomatiskan migrasi data warehouse Anda ke BigQuery. Alat ini menggunakan BigQuery Data Transfer Service, layanan terjemahan BigQuery, dan Data Validation Tool untuk mentransfer data, menerjemahkan, dan memvalidasi kueri DDL, DML, dan Kueri SQL.
  • Alat validasi data: Setelah memigrasikan data ke BigQuery, jalankan alat validasi data untuk memvalidasi bahwa tabel sumber dan tujuan Anda cocok.
  • Pemeta izin BigQuery: Gunakan pemeta izin untuk mengotomatiskan pembuatan dan pemeliharaan peta izin yang dapat diubah pengguna. Anda dapat menggunakan pemeta izin untuk menganalisis dan merekonsiliasi izin dan grup pengguna duplikat, sekaligus membuat laporan error. Alat ini menghasilkan skrip JSON dan Terraform untuk pembuatan grup, pengguna, dan binding BigQuery.
  • Template Managed Service untuk Apache Airflow: Gunakan template Managed Service untuk Apache Airflow untuk menyederhanakan pembuatan DAG Airflow baru atau migrasi tugas yang diorkestrasi yang ada dari infrastruktur lokal ke cloud.
  • Cloud Foundation Fabric: Lihat contoh dan modul Terraform untuk Google Cloud, termasuk blueprint zona landing di seluruh organisasi, blueprint referensi untuk pola jaringan dan fitur produk, serta library modul yang dapat disesuaikan.

Sumber migrasi

BigQuery Migration Service mendukung migrasi data warehouse berikut ke BigQuery:

Kuota

Kuota dan batas berlaku untuk jumlah tugas serta ukuran file. Untuk mengetahui informasi lebih lanjut tentang kuota dan batas layanan migrasi, lihat Kuota dan batas.

Harga

Penggunaan BigQuery Migration API tidak dikenai biaya. Namun, penyimpanan yang digunakan untuk file input dan output dikenakan biaya normal. Untuk mengetahui informasi selengkapnya, lihat Harga penyimpanan.

Selain itu, Anda dapat menggunakan fungsi estimasi biaya di Pusat Migrasi Google Cloud untuk membuat estimasi biaya dalam menjalankan penyiapan data warehouse yang Anda migrasikan ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Memulai estimasi biaya dan Menentukan persyaratan data warehousing.

Langkah berikutnya