Streaming data dari sumber Spanner

Menggunakan database Spanner sebagai sumber di Datastream memungkinkan Anda mereplikasi data historis dan peristiwa aliran perubahan ke tujuan untuk analisis real-time.

Untuk menyiapkan sumber Spanner di Datastream, tinjau perilaku replikasi, edisi yang didukung, dan batasan umum.

Perilaku

Spanner adalah layanan database yang terkelola sepenuhnya, skalabel, dan dengan tingkat ketersediaan tinggi, yang dapat Anda gunakan sebagai sumber dengan Datastream. Datastream menggunakan aliran perubahan Spanner untuk melacak perubahan yang dibuat di database Spanner. Perubahan yang disertakan dalam aliran data perubahan kemudian direplikasi ke tujuan untuk mereproduksi peristiwa sumber.

Datastream tidak membuat atau mengubah aliran data perubahan, sehingga objek database yang tidak dilacak oleh aliran data perubahan Spanner yang disediakan tidak dapat disertakan dalam aliran data Datastream Anda.

Untuk mengetahui informasi selengkapnya tentang Spanner, lihat dokumentasi Spanner.

Versi

Datastream mendukung semua edisi Spanner yang tersedia:

  • Edisi standar
  • Edisi perusahaan
  • Edisi Enterprise Plus

Untuk ringkasan setiap versi, lihat Ringkasan edisi Spanner.

Paket Gratis

Datastream memungkinkan Anda melakukan streaming dari Spanner ke BigQuery menggunakan Paket Gratis, yang menyediakan hingga 100 GiB data change data capture gratis setiap bulan. Untuk mengetahui informasi selengkapnya, lihat Harga Datastream.

Batasan umum

Batasan umum untuk menggunakan database Spanner sebagai sumber meliputi:

  • Hanya aliran data perubahan yang menggunakan jenis pengambilan nilai NEW_ROW atau NEW_ROW_AND_OLD_VALUES yang didukung.
  • Datastream tidak mendukung kolom jenis data PROTO atau ENUM.
  • Datastream tidak mendukung array jenis data DATE atau TIMESTAMP.
  • Pengisian ulang untuk database berukuran lebih dari 3 tebibyte (TiB) dapat memerlukan waktu lebih dari 24 jam untuk diselesaikan.
  • Pengisian ulang membuat epoch snapshot, yaitu jenis cadangan yang dibuat untuk stempel waktu tertentu yang mempertahankan versi data untuk stempel waktu tersebut. Epoch snapshot menunda pemadatan utama hingga pengisian ulang selesai. Untuk mempelajari lebih lanjut pemadatan, lihat Ringkasan columnar engine Spanner.
  • Datastream mungkin mengalami masalah dalam mengikuti aliran data perubahan Spanner yang memiliki lebih dari 10.000 partisi. Artinya, peristiwa perubahan mungkin akan terlambat, atau aliran data mungkin akan gagal.
  • Datastream mungkin mengalami masalah dalam mengikuti aliran perubahan Spanner dengan lebih dari 60.000 update per detik. Artinya, peristiwa perubahan mungkin terlambat diterima, atau aliran data mungkin pada akhirnya gagal.
  • Datastream mungkin mengalami masalah dalam mengikuti aliran data perubahan Spanner dengan throughput lebih dari 60 mebibyte (MiB) per detik. Artinya, peristiwa perubahan mungkin terlambat, atau aliran data mungkin gagal.
  • Mereplikasi data yang dipartisi secara geografis tidak didukung karena aliran data perubahan Spanner tidak mendukung data yang dipartisi.

Langkah berikutnya