Ringkasan sinkronisasi data

Sinkronisasi data memungkinkan Anda membuat salinan data analisis BigQuery yang dapat ditulis dan terkelola langsung di cluster AlloyDB untuk PostgreSQL. Fitur ini otomatis dan secara berkala memuat ulang data dari data warehouse ke database operasional Anda sesuai jadwal yang Anda tentukan.

Dengan menyinkronkan tabel langsung ke AlloyDB, Anda tidak perlu membuat, mengelola, dan memelihara pipeline data kustom yang kompleks untuk mentransfer data analisis dari BigQuery ke database operasional Anda.

Cara kerja sinkronisasi data

Sinkronisasi data menggunakan ekstensi alloydb_sync untuk mengotomatiskan replikasi data. Saat Anda membuat tabel yang disinkronkan, AlloyDB menyiapkan tabel hanya baca lokal dan menjadwalkan pekerja latar belakang untuk menarik data yang diperbarui secara berkala dari sumber di BigQuery.

Aplikasi klien Anda membuat kueri tabel yang disinkronkan secara lokal langsung di AlloyDB, sehingga mendapatkan manfaat dari latensi kueri yang rendah, mesin columnar AlloyDB, dan penskalaan horizontal di seluruh kumpulan baca tanpa mengirim kueri melalui jaringan ke BigQuery.

Kasus penggunaan

Sinkronkan tabel saat Anda perlu menyajikan data analitik dari BigQuery ke aplikasi yang memerlukan throughput tinggi, latensi rendah, dan performa interaktif database operasional.

Kasus penggunaan umum mencakup:

  • Penyajian aplikasi dengan konkurensi tinggi: menyajikan insight analitis kepada ribuan pengguna serentak. Dengan menyinkronkan data ke AlloyDB dan melakukan penskalaan dengan kumpulan baca, Anda dapat melewati batas kueri dan koneksi serentak BigQuery.
  • Akselerasi performa: memproses data menggunakan columnar engine AlloyDB dan cache buffer lokal untuk waktu respons kueri sub-detik.
  • Pencerminan data otomatis: mempertahankan refresh data analitis otomatis dan terjadwal dari BigQuery tanpa mengatur tugas ETL batch secara manual.
  • Mengaktifkan alur kerja operasional dan AI: mewujudkan data analitis ke dalam AlloyDB untuk membuat embedding vektor, menjalankan penelusuran kemiripan, dan mendukung alur kerja agentic menggunakan AlloyDB AI.

Arsitektur dan aliran data

Ekstensi alloydb_sync menggunakan pekerja latar belakang untuk secara berkala mengalirkan data dari BigQuery ke tabel lokal di cluster AlloyDB sesuai dengan jadwal yang Anda konfigurasi. Aplikasi kemudian mengkueri tabel lokal dengan latensi rendah.

Diagram berikut mengilustrasikan arsitektur sinkronisasi data.

Diagram alur yang menunjukkan cara data dipindahkan dari BigQuery ke AlloyDB melalui tugas sinkronisasi terjadwal.
Gambar 1. Arsitektur dan alur data untuk tabel yang disinkronkan

Pemetaan jenis data

Saat Anda menyinkronkan data dari BigQuery ke AlloyDB, AlloyDB memetakan jenis data BigQuery ke jenis data PostgreSQL yang sesuai.

Sebelum membuat tabel yang disinkronkan, pastikan kolom BigQuery sumber Anda menggunakan jenis data yang didukung. Untuk mengetahui daftar lengkap pemetaan dan jenis yang didukung, lihat Pemetaan jenis data yang didukung.

Harga

Saat Anda menggunakan sinkronisasi data, Google Cloud menagih Anda berdasarkan komponen berikut. Untuk mengetahui informasi selengkapnya, lihat Menyinkronkan data BigQuery ke AlloyDB.

  • AlloyDB: harga standar berlaku untuk instance AlloyDB Anda dan penyimpanan yang digunakan oleh tabel yang disinkronkan secara lokal.
  • BigQuery: kueri dan aliran data yang dijalankan selama tugas refresh alloydb_sync dikenai biaya analisis BigQuery standar dan biaya BigQuery Storage API.
  • Cloud Storage: saat Anda menyinkronkan data dari tabel Apache Iceberg di Cloud Storage, tarif pengambilan data dan penyimpanan standar berlaku.

Batasan

Sinkronisasi data memiliki batasan berikut:

  • Keaktualan data: data dalam tabel yang disinkronkan mencerminkan status tabel BigQuery sumber sejak refresh terakhir selesai.
  • Versi PostgreSQL: sinkronisasi data menggunakan ekstensi alloydb_sync didukung hanya untuk PostgreSQL versi 18.
  • Kompatibilitas jenis data: kolom sumber harus dipetakan ke jenis data PostgreSQL yang didukung. Jenis kompleks yang tidak didukung (seperti ARRAY, BYTES, VECTOR, dan GEOGRAPHY) mengharuskan Anda mengonversi atau melakukan transmisi kolom dalam tampilan BigQuery sebelum menyinkronkan.

Langkah berikutnya