Penyerapan pengambilan data perubahan

Ingesti pengambilan data perubahan (CDC) memungkinkan Anda menyinkronkan database sumber dengan tabel terkelola Apache Iceberg Lakehouse tanpa batas (sebelumnya tabel BigLake untuk Apache Iceberg di BigQuery) secara real time. Dengan mengambil perubahan inkremental—seperti penyisipan, pembaruan, dan penghapusan—CDC memastikan lakehouse Anda mencerminkan status data operasional Anda yang paling baru tanpa memerlukan pemuatan ulang tabel lengkap.

Tabel terkelola Apache Iceberg menggunakan konsep dan kemampuan BigQuery CDC untuk memproses perubahan ini secara efisien dan memungkinkan analisis latensi rendah pada data yang disimpan dalam format terbuka seperti Apache Iceberg. Pendekatan ini secara signifikan mengurangi overhead pengelolaan yang terkait dengan proses ETL standar.

Batasan

Tabel terkelola Apache Iceberg mendukung ingesti pengambilan data perubahan (CDC), dan memanfaatkan konsep serta kemampuan yang sama dengan ingesti BigQuery CDC standar. Namun, ada beberapa batasan tambahan yang perlu diketahui:

  • Penghapusan di luar urutan tidak didukung. Tidak seperti ingesti BigQuery CDC, jendela retensi penghapusan tidak dipertahankan untuk tabel terkelola Iceberg yang mendukung CDC. Jika peristiwa DELETE tiba sebelum data yang sesuai disisipkan, penghapusan akan dihapus oleh tugas penerapan latar belakang. Hal ini dapat menyebabkan data di luar urutan tetap berada di tabel Anda yang seharusnya dihapus.
  • Semua batasan dalam batasan tabel terkelola Apache Iceberg.
  • Semua batasan dalam batasan ingesti BigQuery CDC.

Langkah berikutnya

Untuk mengetahui informasi selengkapnya, lihat dokumentasi BigQuery berikut: