Mengonfigurasi tujuan Cloud Storage

Streaming data ke Cloud Storage di Datastream memungkinkan Anda menyimpan peristiwa perubahan sumber di Google Cloud di dalam container objek yang disebut bucket. Saat Anda mereplikasi data ke bucket Cloud Storage, Datastream mengatur file berdasarkan nama objek dan stempel waktu peristiwa untuk digunakan dengan Cloud Storage API.

Untuk mengonfigurasi tujuan, aktifkan Datastream API dan tentukan bucket target dan awalan file Anda. Jika bucket Anda berada dalam project yang berbeda, berikan juga izin akun layanan lintas project.

Mengaktifkan API

Mengaktifkan Datastream API sudah cukup jika bucket Cloud Storage tujuan berada dalam project yang sama dengan Datastream.

Jika Anda menulis ke bucket di project lain, Anda harus memberi akun layanan yang terkait dengan Datastream izin untuk mengakses bucket.

  1. Dapatkan alamat email yang digunakan untuk akun layanan. Untuk melakukannya, temukan Project number di halaman beranda konsol Google Cloud . Alamat email akun layanan akan menjadi service-[project_number]@gcp-sa-datastream..
  2. Berikan alamat email ini izin yang diperlukan untuk menulis ke bucket tujuan (biasanya izin roles/storage.objectViewer, roles/storage.objectCreator, dan roles/storage.legacyBucketReader).

Menentukan bucket dan awalan tujuan

Berikan nama project, nama bucket, dan imbuhan file opsional dalam konfigurasi aliran data untuk menentukan tempat data ditulis.

Perilaku penulisan

  • Data untuk aliran data tertentu ditulis ke bucket atau awalan file yang disediakan di: [bucket]/[prefix]/[object name]/yyyy/mm/dd/hh/mm/[filename(idempotent)].
  • Nama objek di jalur untuk sumber database adalah nama skema yang diikuti dengan nama tabel (dipisahkan dengan garis bawah '_').
  • Stempel waktu di jalur (hh/mm) adalah stempel waktu sumber dari metadata peristiwa.
    • Untuk peristiwa pengisian ulang, stempel waktu menunjukkan waktu saat data diambil dari sumber. Untuk sumber Salesforce, stempel waktu menunjukkan waktu saat data terakhir diubah.
    • Untuk peristiwa CDC, stempel waktu menunjukkan kapan data diubah di sumber.
  • File dirotasi setiap kali ukuran file maksimum atau waktu tunggu maksimum tercapai, mana saja yang terjadi lebih dulu. Anda dapat menyesuaikan ukuran file maksimum dan nilai waktu tunggu maksimum menggunakan Datastream API.
  • Selain itu, file dirotasi setiap kali perubahan skema sumber terdeteksi (Misalnya, kolom baru ditambahkan).
  • Mungkin ada beberapa file dalam jalur yang sama untuk menit yang sama.
  • Pemakaian data dapat dilakukan sesuai dengan Cloud Storage API.
  • Ukuran peristiwa maksimum saat Anda melakukan streaming data ke Cloud Storage adalah 100 MB.
  • Setiap karakter non-alfanumerik dalam nama kolom sumber diganti dengan garis bawah (_) dalam file tujuan.

Dalam beberapa kasus, yang paling umum adalah saat aliran data pertama kali mulai berjalan, terjadi tumpang-tindih antara pengisian ulang dan CDC, sehingga menghasilkan peristiwa duplikat. Hal ini terjadi saat Datastream mulai membaca dari file log database saat ini (yang dibuat sebelum aliran dimulai), dan file log ini menyertakan beberapa peristiwa yang juga dicatat oleh pengisian ulang. Hal ini adalah perilaku yang diperkirakan, dan peristiwa duplikat dapat dihilangkan menggunakan metadata peristiwa, jika perlu.

Langkah berikutnya