Membuat stream

Aliran data di Datastream memungkinkan Anda mereplikasi perubahan data dan skema dari sumber data ke BigQuery, tabel Apache Iceberg, atau bucket Cloud Storage. Di wizard konsol Google Cloud , Anda memilih profil koneksi dan memilih skema, tabel, atau objek yang akan direplikasi. Anda juga mengonfigurasi pengisian ulang historis bersama dengan replikasi yang sedang berlangsung.

Sebelum memulai replikasi, Anda dapat memvalidasi aliran data untuk memverifikasi setelan sumber, mengonfirmasi konektivitas jaringan ke tujuan, dan memeriksa konfigurasi menyeluruh.

Sebelum memulai

• Pastikan Anda telah menyiapkan database sumber untuk replikasi. Untuk mengetahui informasi tentang langkah-langkah yang diperlukan untuk setiap jenis sumber yang didukung, lihat Mengonfigurasi sumber.
• Cari tahu langkah-langkah yang mungkin diperlukan untuk menyiapkan tujuan yang Anda pilih. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi tujuan.

Menentukan setelan untuk aliran data

1. Buka halaman Streams di konsol Google Cloud .

   Buka halaman Streams

2. Klik CREATE STREAM.

3. Gunakan tabel berikut untuk mengisi kolom di bagian Define stream details pada halaman Create stream:

   Kolom	Deskripsi
   Nama aliran data	Masukkan nama tampilan aliran data.
   ID Aliran Data	Datastream mengisi kolom ini secara otomatis berdasarkan nama aliran data yang Anda masukkan. Anda dapat mempertahankan ID yang dibuat otomatis atau mengubahnya.
   Wilayah	Pilih region tempat aliran data disimpan. Seperti halnya semua resource, aliran data disimpan di suatu region. Pemilihan region tidak memengaruhi apakah aliran data Anda dapat terhubung ke database sumber atau tujuan, tetapi dapat memengaruhi ketersediaan jika region mengalami periode nonaktif. Sebaiknya simpan semua resource untuk aliran data di region yang sama dengan data sumber Anda untuk mengoptimalkan biaya dan performa.
   Jenis sumber	Pilih jenis profil yang Anda tentukan saat membuat profil koneksi untuk sumber Anda. Atau, jika Anda belum membuat profil koneksi untuk database sumber, Anda dapat membuatnya sekarang.
   Jenis tujuan	Pilih jenis profil yang Anda tentukan saat membuat profil koneksi untuk tujuan BigQuery atau Cloud Storage. Atau, jika Anda belum membuat profil koneksi untuk tujuan, Anda dapat membuatnya sekarang.
   Enkripsi	Secara default, data Anda dienkripsi dengan kunci yang dikelola oleh Google Cloud. Jika ingin mengelola enkripsi, Anda dapat menggunakan kunci enkripsi yang dikelola pelanggan (CMEK): Centang kotak Cloud KMS key. Dari menu drop-down Key type, pilih Cloud KMS, lalu pilih CMEK Anda. Jika Anda tidak melihat kunci, klik ENTER KEY RESOURCE NAME untuk memberikan nama resource kunci yang ingin Anda gunakan. Misalnya, Anda dapat memasukkan projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key di kolom Key resource name, lalu klik SAVE. Sebagai bagian dari pembuatan aliran data, Datastream akan memverifikasi bahwa CMEK ada, dan Datastream memiliki izin untuk menggunakan kunci tersebut. Untuk mengetahui informasi selengkapnya tentang cara membuat CMEK atau memberikan izin Datastream untuk kunci, lihat Menggunakan kunci enkripsi yang dikelola pelanggan (CMEK).

4. Secara opsional, gunakan label untuk mengatur resource Datastream Anda.

   1. Untuk membuat label, klik ADD LABEL, lalu masukkan pasangan nilai kunci untuk label tersebut.
   2. Untuk menghapus label, klik ikon tempat sampah di sebelah kanan baris yang berisi label.
   Catatan: Jika sumber Anda adalah SQL Server, Anda dapat mengonfigurasi aliran data untuk mereplikasi kolom yang ditambahkan ke skema sumber setelah aliran data dibuat dengan menambahkan label enable_ddl_support_for_ct. Untuk mengetahui informasi selengkapnya, lihat Cara Datastream menangani perubahan DDL pada skema sumber.

5. Jika perlu, tambahkan kebijakan pemberitahuan untuk aliran data Anda. Kebijakan pemberitahuan menentukan kapan dan bagaimana Anda ingin diberi tahu tentang kegagalan streaming.

   1. Untuk membuat kebijakan pemberitahuan, klik Add alerting policy.
   2. Halaman Create alerting policy akan muncul di Cloud Monitoring. Di halaman ini, Anda akan menentukan kebijakan pemberitahuan jika aliran data Anda gagal.

   Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan, lihat Mengelola kebijakan pemberitahuan berbasis metrik.

6. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan harus disiapkan untuk streaming. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkannya ke tujuan. Sebaiknya Anda menyelesaikan prasyarat tersebut pada langkah ini, tetapi Anda dapat menyelesaikannya kapan saja sebelum menguji atau memulai streaming. Untuk mengetahui informasi selengkapnya tentang prasyarat ini, lihat Sumber.

7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis database sumber Anda.

   Catatan: Jika jenis database sumber Anda adalah Oracle, nama panelnya adalah Define Oracle connection profile. Jika Anda memilih database sumber yang berbeda, nama database tersebut akan muncul di nama panel.

Menentukan informasi tentang profil koneksi sumber

1. Jika Anda telah membuat profil koneksi sumber, pilih profil tersebut dari daftar profil koneksi.

   Jika Anda belum membuat profil koneksi sumber, buat profil koneksi sumber dengan mengklik CREATE CONNECTION PROFILE di bagian bawah menu drop-down, lalu lakukan langkah yang sama seperti di Membuat profil koneksi.

2. Klik RUN TEST untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

   Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu tes ulang.

3. Klik LANJUTKAN. Panel Configure stream source di halaman Create stream akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

Mengonfigurasi database sumber PostgreSQL

1. Tentukan properti replikasi untuk database sumber PostgreSQL Anda. Di bagian Replication properties, tentukan properti berikut:
1. Di kolom Replication slot name, masukkan nama slot yang Anda buat khusus untuk aliran data ini. Server database menggunakan slot ini untuk mengirim peristiwa ke Datastream.
2. Di kolom Publication name, masukkan nama publikasi yang Anda buat di database. Publikasi adalah grup yang berisi semua tabel yang ingin Anda replikasi perubahannya menggunakan aliran data ini.
2. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
Menu gagal memuat daftar tabel dan skema jika database Anda memiliki lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih All tables from all schemas.
• Jika Anda ingin Datastream hanya mentransfer tabel dan skema tertentu, pilih Specific schemas and tables, lalu centang kotak untuk skema dan tabel yang ingin ditarik oleh Datastream.

Untuk setiap skema yang Anda pilih, ada kotak centang Future tables.

• Jika kotak centang ini dipilih, tabel apa pun untuk skema yang Anda tambahkan ke sumber setelah aliran data dibuat akan otomatis ditransfer ke tujuan.
• Jika kotak centang ini tidak dipilih, setelah aliran data dibuat, Datastream tidak akan mentransfer tabel baru untuk skema dari sumber ke tujuan.

Secara default, kotak centang Future tables dicentang untuk setiap skema.

Untuk setiap tabel skema yang Anda pilih, ada tombol SELECT COLUMNS. Klik tombol ini untuk memfilter kolom tabel mana pun yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Kolom apa pun yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom tabel dipilih.

• Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan skema dan tabel yang ingin Anda ambil oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Custom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.

  Masukkan skema dan tabel sebagai daftar yang dipisahkan koma, menggunakan format [schema].[table], dengan skema dan tabel dapat berupa karakter pengganti (tanda bintang). Anda tidak dapat menggunakan karakter pengganti parsial.

3. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel:
   1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokannya, klik Select columns.
   2. Untuk mengonfigurasi partisi, di bagian Partitioning, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Mempartisi menurut waktu penyerapan: saat Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia, yaitu per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Partitioning by field: saat memilih opsi ini, Anda harus memilih kolom sumber yang ingin digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Secara opsional, pilih opsi Partitioning filter. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

      Anda hanya dapat menggunakan filter partisi dalam mode tulis hanya-tambahkan.
   3. Untuk mengonfigurasi pengelompokan, di bagian Clustering, pilih kolom yang ingin Anda gunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery secara default.
   Pembuatan partisi dan pengelompokan hanya diterapkan ke tabel baru di BigQuery. Jika Anda ingin mengonfigurasi atau mengubah setelan partisi dan pengelompokan untuk tabel yang sudah ada, hapus tabel tersebut terlebih dahulu dari BigQuery, lalu konfigurasikan atau ubah setelannya di Datastream.
   4. Klik Simpan untuk menyimpan setelan.

   Untuk mengetahui informasi selengkapnya tentang pembuatan partisi dan pengelompokan, lihat Mengonfigurasi pembuatan partisi dan pengelompokan.

4. Jika perlu, luaskan node Select objects to exclude. Di kolom Objects to exclude, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan skema dan tabel ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan skema dan tabel yang ingin ditarik oleh Datastream.
5. Atau, luaskan node Pilih mode pengisian ulang untuk data historis, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber MySQL

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
Menu gagal memuat daftar tabel dan skema jika database Anda memiliki lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih All tables from all schemas.
• Jika Anda ingin Datastream hanya mentransfer tabel dan skema tertentu, pilih Specific schemas and tables, lalu centang kotak untuk skema dan tabel yang ingin ditarik oleh Datastream.

Untuk setiap skema yang Anda pilih, ada kotak centang Future tables.

• Jika kotak centang ini dipilih, tabel apa pun untuk skema yang Anda tambahkan ke sumber setelah aliran data dibuat akan otomatis ditransfer ke tujuan.
• Jika kotak centang ini tidak dipilih, setelah aliran data dibuat, Datastream tidak akan mentransfer tabel baru untuk skema dari sumber ke tujuan.

Secara default, kotak centang Future tables dicentang untuk setiap skema.

Untuk setiap tabel skema yang Anda pilih, ada tombol SELECT COLUMNS. Klik tombol ini untuk memfilter kolom tabel mana pun yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Kolom apa pun yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom tabel dipilih.

• Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan skema dan tabel yang ingin Anda ambil oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Custom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.

  Masukkan skema dan tabel sebagai daftar yang dipisahkan koma, menggunakan format [schema].[table], dengan skema dan tabel dapat berupa karakter pengganti (tanda bintang). Anda tidak dapat menggunakan karakter pengganti parsial.

2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel:
   1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokannya, klik Select columns.
   2. Untuk mengonfigurasi partisi, di bagian Partitioning, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Mempartisi menurut waktu penyerapan: saat Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia, yaitu per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Partitioning by field: saat memilih opsi ini, Anda harus memilih kolom sumber yang ingin Anda gunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Secara opsional, pilih opsi Partitioning filter. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

      Anda hanya dapat menggunakan filter partisi dalam mode tulis hanya-tambahkan.
   3. Untuk mengonfigurasi pengelompokan, di bagian Clustering, pilih kolom yang ingin Anda gunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery secara default.
   Pembuatan partisi dan pengelompokan hanya diterapkan ke tabel baru di BigQuery. Jika Anda ingin mengonfigurasi atau mengubah setelan partisi dan pengelompokan untuk tabel yang sudah ada, hapus tabel tersebut terlebih dahulu dari BigQuery, lalu konfigurasikan atau ubah setelannya di Datastream.
   4. Klik Simpan untuk menyimpan setelan.

   Untuk mengetahui informasi selengkapnya tentang pembuatan partisi dan pengelompokan, lihat Mengonfigurasi pembuatan partisi dan pengelompokan.

3. Jika perlu, luaskan node Select objects to exclude. Di kolom Objects to exclude, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan skema dan tabel ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan skema dan tabel yang ingin ditarik oleh Datastream.
4. Tentukan metode CDC untuk aliran data Anda:
• Replikasi berbasis GTID (ID Transaksi Global): pilih metode ini jika Anda ingin Datastream mendukung failover dan menyediakan replikasi yang lancar, terlepas dari perubahan pada cluster database Anda.
• Replikasi berbasis binlog: pilih metode ini untuk membaca dan mereplikasi perubahan langsung dari file log biner instance database yang dipilih. Anda tidak dapat mengalihkan streaming yang sedang berjalan ke instance sumber atau replika lain menggunakan metode CDC ini.
5. Atau, luaskan node Pilih mode pengisian ulang untuk data historis, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber Oracle

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
Menu gagal memuat daftar tabel dan skema jika database Anda memiliki lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih All tables from all schemas.
• Jika Anda ingin Datastream hanya mentransfer tabel dan skema tertentu, pilih Specific schemas and tables, lalu centang kotak untuk skema dan tabel yang ingin ditarik oleh Datastream.

Untuk setiap skema yang Anda pilih, ada kotak centang Future tables.

• Jika kotak centang ini dipilih, tabel apa pun untuk skema yang Anda tambahkan ke sumber setelah aliran data dibuat akan otomatis ditransfer ke tujuan.
• Jika kotak centang ini tidak dipilih, setelah aliran data dibuat, Datastream tidak akan mentransfer tabel baru untuk skema dari sumber ke tujuan.

Secara default, kotak centang Future tables dicentang untuk setiap skema.

Untuk setiap tabel skema yang Anda pilih, ada tombol SELECT COLUMNS. Klik tombol ini untuk memfilter kolom tabel mana pun yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Kolom apa pun yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom tabel dipilih.

• Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan skema dan tabel yang ingin Anda ambil oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Custom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.

  Masukkan skema dan tabel sebagai daftar yang dipisahkan koma, menggunakan format [schema].[table], dengan skema dan tabel dapat berupa karakter pengganti (tanda bintang). Anda tidak dapat menggunakan karakter pengganti parsial. Kecuali jika ditentukan secara eksplisit, skema dan tabel yang telah ditetapkan Oracle tidak akan ditarik ke tujuan.

2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel:
   1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokannya, klik Select columns.
   2. Untuk mengonfigurasi partisi, di bagian Partitioning, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Mempartisi menurut waktu penyerapan: saat Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia, yaitu per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Partitioning by field: saat memilih opsi ini, Anda harus memilih kolom sumber yang ingin Anda gunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Secara opsional, pilih opsi Partitioning filter. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

      Anda hanya dapat menggunakan filter partisi dalam mode tulis hanya-tambahkan.
   3. Untuk mengonfigurasi pengelompokan, di bagian Clustering, pilih kolom yang ingin Anda gunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery secara default.
   Pembuatan partisi dan pengelompokan hanya diterapkan ke tabel baru di BigQuery. Jika Anda ingin mengonfigurasi atau mengubah setelan partisi dan pengelompokan untuk tabel yang sudah ada, hapus tabel tersebut terlebih dahulu dari BigQuery, lalu konfigurasikan atau ubah setelannya di Datastream.
   4. Klik Simpan untuk menyimpan setelan.

   Untuk mengetahui informasi selengkapnya tentang pembuatan partisi dan pengelompokan, lihat Mengonfigurasi pembuatan partisi dan pengelompokan.

3. Jika perlu, luaskan node Select objects to exclude. Di kolom Objects to exclude, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan skema dan tabel ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan skema dan tabel yang ingin ditarik oleh Datastream.
4. Tentukan metode CDC untuk aliran data Anda:
• LogMiner: pilih metode ini untuk mengkueri redo log yang diarsipkan menggunakan LogMiner API. LogMiner mendukung sebagian besar opsi yang tersedia untuk Oracle, seperti opsi enkripsi dan kompresi.
• Pembaca biner (Pratinjau): pilih metode ini untuk mengekstrak perubahan langsung dari log Oracle. Hal ini memungkinkan replikasi database Oracle yang besar dengan lebih cepat serta mengurangi latensi dan overhead. Jika Anda memilih opsi ini, drop-down tambahan akan ditampilkan. Pilih cara yang Anda inginkan untuk mengakses file log Oracle:
• Automatic Storage Management (ASM): pilih opsi ini jika database Anda menggunakan ASM. Pastikan Anda mencentang kotak Enable ASM access for binary reader dan mengisi detail instance ASM di profil koneksi sumber.
• Database directories: pilih opsi ini jika Anda tidak menggunakan ASM untuk menyimpan file log. Jika memilih direktori database, Anda harus memberikan nama direktori redo log dan log yang diarsipkan.
5. Atau, luaskan node Pilih mode pengisian ulang untuk data historis, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber SQL Server

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
Menu gagal memuat daftar tabel dan skema jika database Anda memiliki lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih All tables from all schemas.
• Jika Anda ingin Datastream hanya mentransfer tabel dan skema tertentu, pilih Specific schemas and tables, lalu centang kotak untuk skema dan tabel yang ingin ditarik oleh Datastream.

Untuk setiap skema yang Anda pilih, ada kotak centang Future tables.

• Jika kotak centang ini dipilih, tabel apa pun untuk skema yang Anda tambahkan ke sumber setelah aliran data dibuat akan otomatis ditransfer ke tujuan.
• Jika kotak centang ini tidak dipilih, setelah aliran data dibuat, Datastream tidak akan mentransfer tabel baru untuk skema dari sumber ke tujuan.

Secara default, kotak centang Future tables dicentang untuk setiap skema.

Untuk setiap tabel skema yang Anda pilih, ada tombol SELECT COLUMNS. Klik tombol ini untuk memfilter kolom tabel mana pun yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Kolom apa pun yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom tabel dipilih.

• Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan skema dan tabel yang ingin Anda ambil oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Custom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.

  Masukkan skema dan tabel sebagai daftar yang dipisahkan koma, menggunakan format [schema].[table], dengan skema dan tabel dapat berupa karakter pengganti (tanda bintang). Anda tidak dapat menggunakan karakter pengganti parsial.

2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel:
   1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokannya, klik Select columns.
   2. Untuk mengonfigurasi partisi, di bagian Partitioning, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Mempartisi menurut waktu penyerapan: saat Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia, yaitu per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Partitioning by field: saat memilih opsi ini, Anda harus memilih kolom sumber yang ingin Anda gunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Secara opsional, pilih opsi Partitioning filter. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

      Anda hanya dapat menggunakan filter partisi dalam mode tulis hanya-tambahkan.
   3. Untuk mengonfigurasi pengelompokan, di bagian Clustering, pilih kolom yang ingin Anda gunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery secara default.
   Pembuatan partisi dan pengelompokan hanya diterapkan ke tabel baru di BigQuery. Jika Anda ingin mengonfigurasi atau mengubah setelan partisi dan pengelompokan untuk tabel yang sudah ada, hapus tabel tersebut terlebih dahulu dari BigQuery, lalu konfigurasikan atau ubah setelannya di Datastream.
   4. Klik Simpan untuk menyimpan setelan.

   Untuk mengetahui informasi selengkapnya tentang pembuatan partisi dan pengelompokan, lihat Mengonfigurasi pembuatan partisi dan pengelompokan.

3. Jika perlu, luaskan node Select objects to exclude. Di kolom Objects to exclude, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan skema dan tabel ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan skema dan tabel yang ingin ditarik oleh Datastream.
4. Tentukan metode CDC untuk aliran data Anda:
• Log transaksi: pilih metode ini untuk memproses perubahan langsung dari log database. Metode ini memberikan performa terbaik dan lebih efisien, tetapi memerlukan langkah-langkah konfigurasi tambahan.
• Tabel perubahan: pilih metode ini untuk memproses perubahan dari tabel perubahan khusus. Metode ini lebih mudah dikonfigurasi dan memiliki lebih sedikit batasan, tetapi mendukung throughput yang lebih rendah dan menghasilkan beban yang lebih tinggi pada database Anda daripada metode log transaksi.
5. Atau, luaskan node Pilih mode pengisian ulang untuk data historis, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi organisasi Salesforce sumber

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan objek dan kolom di organisasi yang ingin Anda transfer ke tujuan menggunakan Datastream.
Menu akan gagal memuat daftar jika ada lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua objek, pilih All objects.
• Jika Anda ingin Datastream hanya mentransfer objek tertentu, pilih Specific objects, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream.

Untuk setiap objek yang Anda pilih, ada tombol Select fields. Klik tombol ini untuk memfilter kolom objek yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Setiap kolom yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom objek dipilih.

• Untuk memberikan definisi tekstual objek yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan objek yang ingin Anda ambil oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma, menggunakan format [object].[field]. Jika database Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
2. Tentukan nilai interval polling dalam menit. Datastream menggunakan nilai ini untuk memeriksa perubahan data di organisasi Salesforce Anda. Makin tinggi nilainya, makin rendah biaya dan beban pada organisasi Anda. Makin rendah nilainya, makin baru data di tujuan.
3. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk objek:
   1. Untuk setiap objek yang ingin Anda tetapkan partisi atau pengelompokannya, klik Select fields.
   2. Untuk mengonfigurasi partisi, di bagian Partitioning, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke objek Anda.
      • Mempartisi menurut waktu penyerapan: saat Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia, yaitu per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Partitioning by field: saat memilih opsi ini, Anda harus memilih kolom sumber yang ingin digunakan untuk mempartisi objek, dan jenis partisi. Hanya kolom dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mempartisi dan mengelompokkan tabel BigQuery.

      Secara opsional, pilih opsi Partitioning filter. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk objek ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

      Anda hanya dapat menggunakan filter partisi dalam mode tulis hanya-tambahkan.
   3. Untuk mengonfigurasi pengelompokan, di bagian Clustering, pilih kolom yang ingin Anda gunakan untuk mengelompokkan objek. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk suatu objek, Datastream akan secara default menggunakan hingga empat kunci utama dari objek sumber sebagai kunci pengelompokan di BigQuery.
   Pembuatan partisi dan pengelompokan hanya diterapkan ke tabel baru di BigQuery. Jika Anda ingin mengonfigurasi atau mengubah setelan partisi dan pengelompokan untuk tabel yang sudah ada, hapus tabel tersebut terlebih dahulu dari BigQuery, lalu konfigurasikan atau ubah setelannya di Datastream.
   4. Klik Simpan untuk menyimpan setelan.

   Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mempartisi dan mengelompokkan tabel BigQuery.

4. Jika perlu, luaskan node Select objects to exclude. Di kolom Objects to exclude, masukkan objek dan kolom di organisasi sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan objek dan kolom ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan untuk menyertakan objek.
5. Atau, luaskan node Pilih mode pengisian ulang untuk data historis, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk mereplikasi semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan objek di organisasi sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk hanya mereplikasi perubahan pada data ke tujuan.
6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi instance Salesforce Marketing Cloud sumber (Pratinjau)

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan objek dalam instance yang ingin Anda transfer ke tujuan menggunakan Datastream.
Menu akan gagal memuat daftar jika ada lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua objek, pilih All objects.
• Jika Anda ingin Datastream hanya mentransfer objek tertentu, pilih Specific objects, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream.
• Jika Anda ingin memberikan definisi tekstual objek yang ingin ditransfer Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan objek yang ingin ditarik Datastream. Masukkan objek sebagai comma separated list. Jika database Anda memiliki banyak objek, sebaiknya gunakan opsi Custom karena beberapa objek mungkin tidak disertakan dalam daftar objek yang akan ditarik.
2. Tentukan nilai interval polling dalam menit. Datastream menggunakan nilai ini untuk memeriksa perubahan data pada instance Salesforce Marketing Cloud Anda untuk objek yang mendukung sinkronisasi inkremental. Anda dapat menggunakan nilai dalam rentang 5 hingga 1440.
3. Tentukan nilai interval polling refresh penuh dalam menit. Datastream menggunakan nilai ini untuk melakukan pemuatan ulang penuh secara berkala untuk objek yang tidak mendukung sinkronisasi inkremental, seperti ekstensi data. Anda dapat menggunakan nilai dalam rentang 60 hingga 1440.
4. Secara opsional, luaskan node Show advanced options.
5. Di kolom Objects to exclude, masukkan objek di instance sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan objek ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan objek yang ingin ditarik oleh Datastream.
6. Di bagian Choose backfill mode for historical data, pilih mode pengisian ulang untuk data historis:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan objek di database sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi instance ServiceNow sumber (Pratinjau)

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan tabel dan kolom di instance ServiceNow yang ingin Anda transfer ke tujuan menggunakan Datastream.
Menu akan gagal memuat daftar jika ada lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua tabel, pilih All objects.
• Jika Anda ingin Datastream hanya mentransfer tabel tertentu, pilih Specific objects, lalu centang kotak untuk tabel yang ingin ditarik oleh Datastream.

Untuk setiap tabel yang Anda pilih, ada tombol Pilih kolom. Klik tombol ini untuk memfilter kolom tabel yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Datastream mengecualikan kolom apa pun yang Anda hapus dari aliran data.

Secara default, Datastream mencentang kotak untuk semua kolom tabel.

• Jika Anda ingin memberikan definisi tekstual tabel yang ingin ditransfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan tabel yang ingin ditarik oleh Datastream. Masukkan tabel sebagai daftar yang dipisahkan koma, menggunakan format [table].[field].
2. Tentukan nilai interval polling dalam menit. Datastream menggunakan nilai ini untuk memeriksa perubahan data pada instance ServiceNow Anda. Makin tinggi nilainya, makin rendah biaya dan beban pada instance Anda. Makin rendah nilainya, makin baru data di tujuan.
3. Secara opsional, di kolom Objects to exclude, masukkan tabel dan kolom di instance sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, Datastream akan mengecualikan objek tersebut dari aliran data.
   Anda menentukan tabel dan kolom ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan untuk menyertakan tabel.
4. Jika perlu, di bagian Pilih mode pengisian ulang untuk data historis, buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk mereplikasi semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel di instance sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk hanya mereplikasi perubahan pada data ke tujuan.
5. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database MongoDB sumber

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan database dan koleksi yang ingin Anda transfer ke tujuan menggunakan Datastream.
Menu akan gagal memuat daftar jika ada lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua koleksi, pilih All databases and collections.
• Jika Anda ingin Datastream hanya mentransfer koleksi tertentu, pilih Specific databases and collections, lalu centang kotak untuk koleksi yang ingin ditarik oleh Datastream.

Untuk setiap koleksi yang Anda pilih, ada tombol Select fields. Klik tombol ini untuk memfilter kolom objek yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Setiap kolom yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom objek dipilih.

• Untuk memberikan definisi tekstual dari koleksi yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan koleksi yang ingin Anda tarik oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma, menggunakan format [collection].[field]. Jika database Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi untuk koleksi:
   1. Untuk setiap koleksi yang ingin Anda tetapkan partisinya, klik Select fields.
   2. Di bagian Partitioning, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke koleksi Anda.
      • Mempartisi menurut waktu penyerapan: saat Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia, yaitu per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.

      Secara opsional, pilih opsi Partitioning filter. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk koleksi ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

      Anda hanya dapat menggunakan filter partisi dalam mode tulis hanya-tambahkan.
   Pembuatan partisi hanya diterapkan ke tabel baru di BigQuery. Jika Anda ingin mengonfigurasi atau mengubah setelan partisi untuk tabel yang sudah ada, hapus tabel tersebut terlebih dahulu dari BigQuery, lalu konfigurasi atau ubah setelannya di Datastream.
   3. Klik Simpan untuk menyimpan setelan.

   Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mempartisi dan mengelompokkan tabel BigQuery.

3. Secara opsional, luaskan node Choose backfill mode for historical data, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk mereplikasi semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan objek di organisasi sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk hanya mereplikasi perubahan pada data ke tujuan.
4. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database Spanner sumber

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
Menu gagal memuat daftar tabel dan skema jika database Anda memiliki lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih All tables from all schemas.
• Jika Anda ingin Datastream hanya mentransfer tabel dan skema tertentu, pilih Specific schemas and tables, lalu centang kotak untuk skema dan tabel yang ingin ditarik oleh Datastream.

Untuk setiap skema yang Anda pilih, ada kotak centang Future tables.

• Jika kotak centang ini dipilih, tabel apa pun untuk skema yang Anda tambahkan ke sumber setelah aliran data dibuat akan otomatis ditransfer ke tujuan.
• Jika kotak centang ini tidak dipilih, setelah aliran data dibuat, Datastream tidak akan mentransfer tabel baru untuk skema dari sumber ke tujuan.

Secara default, kotak centang Future tables dicentang untuk setiap skema.

Untuk setiap tabel skema yang Anda pilih, ada tombol SELECT COLUMNS. Klik tombol ini untuk memfilter kolom tabel mana pun yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Kolom apa pun yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom tabel dipilih.

• Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan skema dan tabel yang ingin Anda ambil oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Custom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.

  Masukkan skema dan tabel sebagai daftar yang dipisahkan koma, menggunakan format [schema].[table], dengan skema dan tabel dapat berupa karakter pengganti (tanda bintang). Anda tidak dapat menggunakan karakter pengganti parsial.

2. Di kolom Change stream name, masukkan nama aliran data perubahan Spanner yang Anda buat. Datastream membaca aliran data perubahan ini untuk mereplikasi perubahan dari database sumber Anda.
3. Secara opsional, di kolom Objects to exclude, masukkan tabel dan skema dalam database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan skema dan tabel ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan skema dan tabel yang ingin ditarik oleh Datastream.
4. Di bagian Choose backfill mode for historical data, pilih mode pengisian ulang untuk data historis:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
5. Jika perlu, tentukan jumlah maksimum tugas CDC dan pengisian ulang serentak di kolom masing-masing.
   Menetapkan jumlah maksimum pembacaan serentak untuk kueri aliran data perubahan (batas konkurensi CDC) dapat meningkatkan latensi streaming. Hal ini karena aliran data perubahan dibagi menjadi beberapa partisi, dan membatasi konkurensi akan mencegah Datastream membaca beberapa partisi secara bersamaan. Sebaiknya tetapkan nilai ini hanya jika Anda mengamati penggunaan CPU yang signifikan.
6. Dari drop-down RPC priority, pilih remote procedure call priority untuk permintaan Spanner Anda:
   • Rendah
   • Sedang
   • Tinggi
7. Di kolom FGAC role, tentukan peran kontrol akses terperinci untuk permintaan Spanner Anda.
8. Centang kotak Backfill Data Boost enabled jika Anda ingin menggunakan Data Boost untuk tugas pengisian ulang. Untuk menggunakan opsi ini, Data Boost harus diaktifkan untuk database Anda. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Data Boost.
9. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi lingkungan Dataverse sumber (Pratinjau)

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan objek di lingkungan Dataverse yang dapat ditransfer Datastream ke tujuan.
Menu akan gagal memuat daftar jika ada lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua objek standar, pilih All objects.
• Jika Anda ingin Datastream hanya mentransfer objek standar tertentu, pilih Specific objects, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream.

Untuk setiap objek yang Anda pilih, ada kotak centang Future tables.

• Jika kotak centang ini dipilih, objek apa pun yang Anda tambahkan ke sumber setelah aliran data dibuat akan otomatis ditransfer ke tujuan.
• Jika kotak centang ini tidak dipilih, setelah aliran data dibuat, Datastream tidak akan mentransfer objek baru dari sumber ke tujuan.

Secara default, kotak centang Future tables dipilih untuk setiap objek.

Untuk setiap objek yang Anda pilih, ada tombol SELECT FIELDS. Klik tombol ini untuk memfilter kolom objek yang ingin Anda kecualikan agar tidak di-streaming dari sumber ke tujuan. Setiap kolom yang Anda hapus akan dikecualikan dari aliran data.

Secara default, kotak centang untuk semua kolom objek dipilih.

• Untuk memberikan definisi tekstual objek yang ingin Anda transfer oleh Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan objek yang ingin Anda ambil oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma, menggunakan format [OBJECT_NAME]. Karakter pengganti tidak didukung.
2. Di bagian Define polling interval, tentukan seberapa sering Anda ingin Datastream memeriksa perubahan data Dataverse. Pertimbangkan untuk menyeimbangkan kebutuhan data hampir real-time dengan penggunaan API yang efisien untuk meminimalkan biaya dan menghindari masalah performa. Nilai yang Anda masukkan harus dalam rentang 5 hingga 1440 menit.
3. Jika perlu, luaskan node Select objects to exclude. Di kolom Objects to exclude, masukkan objek di lingkungan Dataverse sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
4. Atau, luaskan node Pilih mode pengisian ulang untuk data historis, lalu buat salah satu pilihan berikut:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan tabel di lingkungan Dataverse sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
5. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi instance Workday sumber (Pratinjau)

1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan objek dalam instance yang ingin Anda transfer ke tujuan menggunakan Datastream.
Menu akan gagal memuat daftar jika ada lebih dari 5.000 objek.
• Jika Anda ingin Datastream mentransfer semua objek, pilih All objects.
• Jika Anda ingin Datastream hanya mentransfer objek tertentu, pilih Specific objects, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream. Jika Anda hanya ingin menyertakan kolom tertentu untuk objek, klik Konfigurasi setelan di samping objek. Kolom yang kotak centangnya Anda hapus akan dikecualikan dari aliran data.
• Jika Anda ingin memberikan definisi tekstual objek yang ingin ditransfer Datastream, pilih Custom, lalu di kolom Object matching criteria, masukkan objek yang ingin ditarik Datastream. Masukkan objek sebagai comma separated list. Jika instance Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa objek mungkin tidak disertakan dalam daftar objek yang akan ditarik.
2. Tentukan nilai interval polling dalam menit. Datastream menggunakan nilai ini untuk memeriksa perubahan data pada instance Workday Anda. Anda dapat menggunakan nilai dalam rentang 5 hingga 1440 .
3. Tentukan nilai interval polling refresh penuh dalam menit. Datastream menggunakan nilai ini untuk melakukan pemuatan ulang penuh secara berkala untuk objek yang tidak mendukung sinkronisasi inkremental, seperti ekstensi data. Anda dapat menggunakan nilai dalam rentang 60 hingga 1440 menit.
4. Secara opsional, luaskan node Show advanced options.
5. Di kolom Objects to exclude, masukkan objek di instance sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang akan dikecualikan lebih diprioritaskan daripada daftar Objek yang akan disertakan. Jika objek memenuhi kriteria dalam daftar penyertaan dan daftar pengecualian, objek tersebut akan dikecualikan dari aliran data.
   Anda menentukan objek ini dengan logika yang dipisahkan koma yang sama dengan yang Anda gunakan jika menentukan objek yang ingin ditarik oleh Datastream.
6. Di bagian Choose backfill mode for historical data, pilih mode pengisian ulang untuk data historis:
• Pilih opsi Automatic untuk melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objects excluded from automatic backfill, masukkan objek di instance sumber yang ingin Anda batasi agar Datastream tidak melakukan pengisian ulang ke tujuan.
• Pilih opsi Manual untuk melakukan streaming hanya perubahan pada data ke tujuan.
7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Pilih profil koneksi tujuan

1. Jika Anda telah membuat profil koneksi tujuan, pilih profil tersebut dari daftar profil koneksi.

   Jika Anda belum membuat profil koneksi tujuan, buat profil koneksi dengan mengklik CREATE CONNECTION PROFILE di bagian bawah menu drop-down, lalu lakukan langkah yang sama seperti di Membuat profil koneksi.

   Catatan: Untuk tujuan tabel Apache Iceberg, gunakan atau buat profil koneksi BigQuery.

2. Klik LANJUTKAN. Panel Configure stream destination di halaman Create stream akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

Bagian ini menjelaskan informasi yang perlu Anda berikan untuk mengonfigurasi tujuan BigQuery atau Cloud Storage.

Tujuan BigQuery

1. Di bagian Specify how Datastream should stream into a BigQuery dataset, pilih salah satu opsi berikut dari drop-down Schema grouping:

   • Set data untuk setiap skema: Datastream membuat set data BigQuery untuk setiap skema sumber, berdasarkan nama skema.

     Jika Anda memilih opsi ini, Datastream akan membuat set data di project yang berisi aliran data untuk setiap skema di database sumber.

     Selain itu, jika Anda memilih opsi Dataset for each schema, Anda harus memberikan hal berikut:

     1. Di bagian Location type, tentukan tempat Anda ingin menyimpan data di BigQuery. Pilih Region untuk menentukan satu lokasi geografis, atau Multi-region untuk menentukan area yang lebih besar yang berisi dua region atau lebih. Jika prioritas Anda adalah mengoptimalkan biaya dan performa, pilih Region, dan simpan set data Anda bersama dengan resource Google Cloud lain yang Anda kelola. Jika Anda ingin mencapai batas kuota yang lebih tinggi, pilih Multi-region agar BigQuery dapat menggunakan beberapa region dalam satu grup. Saat Anda memilih Region, kolom akan ditetapkan secara default ke region yang Anda pilih untuk aliran data.
     2. (Opsional) Di kolom Dataset prefix, tentukan awalan untuk set data yang dibuat oleh aliran data. String yang Anda tentukan akan ditambahkan ke nama skema sumber. Misalnya, jika skema diberi nama <mySchema>, dan Anda menentukan awalan set data sebagai <myPrefix>, Datastream akan membuat set data bernama <myPrefix><mySchema>.
     3. Luaskan bagian Show advanced encryption options.

     4. Tentukan cara Anda ingin data dienkripsi di BigQuery dengan memilih kunci enkripsi yang dikelola Google atau yang dikelola pelanggan.

        Catatan: Opsi Dataset for each schema tidak didukung untuk sumber Salesforce.

   • Set data tunggal untuk semua skema: Datastream membuat semua tabel di dalam set data BigQuery yang ada yang Anda tentukan. Setiap tabel yang dibuat Datastream diberi nama menggunakan kombinasi nama skema sumber dan nama tabel, yang dipisahkan dengan garis bawah (misalnya, <mySchemaName>_<myTableName>). Set data yang tersedia dikelompokkan menurut region. Anda juga dapat membuat set data baru.

2. Tentukan Stream write mode. Pilih mode penulisan untuk menentukan cara data ditulis dan diproses di BigQuery:

   • Gabungkan: pilih opsi ini jika Anda ingin data Anda disinkronkan dengan sumber.
   • Append-only: pilih opsi ini jika Anda ingin menyimpan semua data historis untuk peristiwa perubahan.

3. Tentukan batas keusangan data. Hanya tersedia jika mode Gabungkan dipilih pada langkah sebelumnya. Pilih batas untuk menyeimbangkan performa dan biaya kueri BigQuery dengan keaktualan data. BigQuery menerapkan perubahan di latar belakang secara berkelanjutan, atau pada waktu proses kueri, sesuai dengan batas keusangan. Keusangan yang lebih rendah (data yang lebih baru) dapat meningkatkan biaya pemrosesan BigQuery.

   Jika Anda memilih 0 minutes, BigQuery selalu menampilkan hasil kueri berdasarkan data terbaru. Hal ini menghasilkan biaya kueri tertinggi.

4. Klik LANJUTKAN. Panel Review stream details and create di halaman Create stream akan muncul.

Tujuan tabel Apache Iceberg

1. Di bagian Specify how Datastream should stream into a BigQuery dataset, pilih cara yang Anda inginkan untuk Datastream membuat skema dan tabel baru dari drop-down Schema grouping:

   • Set data untuk setiap skema: Datastream membuat set data BigQuery untuk setiap skema sumber, berdasarkan nama skema.

     Jika Anda memilih opsi ini, Datastream akan membuat set data di project yang berisi aliran data untuk setiap skema di database sumber.

     Selain itu, jika Anda memilih opsi Dataset for each schema, Anda harus memberikan hal berikut:

     1. Di bagian Location type, tentukan tempat Anda ingin menyimpan data di BigQuery. Pilih Region untuk menentukan satu lokasi geografis, atau Multi-region untuk menentukan area yang lebih besar yang berisi dua region atau lebih. Jika prioritas Anda adalah mengoptimalkan biaya dan performa, pilih Region, dan simpan set data Anda bersama dengan resource Google Cloud lain yang Anda kelola. Jika Anda ingin mencapai batas kuota yang lebih tinggi, pilih Multi-region agar BigQuery dapat menggunakan beberapa region dalam satu grup. Saat Anda memilih Region, kolom akan ditetapkan secara default ke region yang Anda pilih untuk aliran data.
     2. (Opsional) Di kolom Dataset prefix, tentukan awalan untuk set data yang dibuat oleh aliran data. String yang Anda tentukan akan ditambahkan ke nama skema sumber. Misalnya, jika skema diberi nama <mySchema>, dan Anda menentukan awalan set data sebagai <myPrefix>, Datastream akan membuat set data bernama <myPrefix><mySchema>.
     3. Luaskan bagian Show advanced encryption options.

     4. Tentukan cara Anda ingin data dienkripsi di BigQuery dengan memilih kunci enkripsi yang dikelola Google atau yang dikelola pelanggan.

        Catatan: Opsi Dataset for each schema tidak didukung untuk sumber Salesforce.

   • Set data tunggal untuk semua skema: Datastream membuat semua tabel di dalam set data BigQuery yang ada yang Anda tentukan. Setiap tabel yang dibuat Datastream diberi nama menggunakan kombinasi nama skema sumber dan nama tabel, yang dipisahkan dengan garis bawah (misalnya, <mySchemaName>_<myTableName>). Set data yang tersedia dikelompokkan menurut region. Anda juga dapat membuat set data baru.

2. Di bagian Define Datastream connection to Apache Iceberg tables, berikan informasi berikut:

   • Dari drop-down Connection ID, pilih ID koneksi BigQuery yang Anda buat dan ingin digunakan untuk aliran data Anda. Untuk mengetahui informasi tentang cara membuat koneksi resource Cloud di BigQuery, lihat Mengonfigurasi tabel Apache Iceberg di BigQuery.

     Catatan: Untuk mencegah kegagalan streaming, pastikan ID koneksi memiliki izin tulis ke bucket Cloud Storage yang mendasarinya.

   • Masukkan atau pilih alamat URI bucket yang Anda buat di Cloud Storage. Untuk mengetahui informasi tentang cara membuat bucket Cloud Storage, lihat Membuat bucket.

3. Tinjau format file dan Table format. Datastream mendukung format file Parquet dan format tabel Iceberg.

4. Tinjau Stream write mode. Datastream hanya mendukung mode tulis Hanya-tambahkan saat melakukan streaming ke tabel Apache Iceberg.

5. Klik LANJUTKAN. Panel Review stream details and create di halaman Create stream akan muncul.

Tujuan Cloud Storage

1. Secara opsional, di kolom Stream path prefix, masukkan folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database sumber.

   Misalnya, jika Anda ingin Datastream mentransfer data dari database sumber ke folder /root/example di bucket tujuan, masukkan /root/example di kolom Stream path prefix.

2. Di kolom Output format, pilih format file yang ditulis ke Cloud Storage.

   Datastream mendukung dua format output: Avro dan JSON.

3. Opsional. Jika Anda memilih format JSON, dua kotak centang akan muncul:

   1. Sertakan file skema Jenis Terpadu di jalur file: Jika Anda mencentang kotak ini, Datastream akan menulis dua file ke Cloud Storage: file data JSON dan file skema Avro. File skema memiliki nama yang sama dengan file data, dengan ekstensi .schema. Jika Anda tidak mencentang kotak ini, Datastream hanya akan menulis file data JSON ke Cloud Storage. Secara default, kotak ini tidak dicentang.
   2. Enable gzip compression: Jika Anda mencentang kotak ini, Datastream akan menggunakan utilitas gzip untuk mengompresi file yang ditulis Datastream ke Cloud Storage. Jika Anda tidak mencentang kotak ini, Datastream akan menulis file ke Cloud Storage tanpa mengompresinya. Secara default, kotak centang ini dipilih.

4. Klik LANJUTKAN. Panel Review stream details and create di halaman Create stream akan muncul.

Membuat aliran data

1. Verifikasi detail tentang aliran data serta profil koneksi sumber dan tujuan yang akan digunakan aliran data untuk mentransfer data dari database sumber ke tujuan.

2. Klik RUN VALIDATION untuk memvalidasi aliran data. Dengan memvalidasi aliran data, Datastream memeriksa apakah sumber dikonfigurasi dengan benar, memvalidasi bahwa aliran data dapat terhubung ke sumber dan tujuan, serta memverifikasi konfigurasi end-to-end aliran data.

   1. Jika database sumber Anda adalah Oracle, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Validitas daftar objek	Datastream memverifikasi bahwa daftar pengecualian tidak mencakup daftar penyertaan.
      Konektivitas tunnel SSH penerusan	Datastream memverifikasi bahwa ia dapat terhubung ke bastion host melalui tunnel SSH Terusan.
      Konektivitas ke database Oracle	Datastream akan memverifikasi bahwa ia dapat terhubung ke database Oracle sumber.
      Izin pengguna Oracle	Datastream memverifikasi bahwa pengguna yang digunakan untuk terhubung ke database sumber memiliki semua izin yang diperlukan untuk mengambil skema, tabel, dan data dari database, sehingga Datastream dapat melakukan streaming informasi ini ke tujuan.
      Konfigurasi mode logging	Datastream memverifikasi bahwa mode logging untuk database Oracle ditetapkan ke ARCHIVELOG.
      Konfigurasi logging tambahan	Datastream memverifikasi bahwa logging tambahan diaktifkan untuk tabel database yang di-streaming dari sumber ke tujuan.
      Konfigurasi CDC Oracle	Datastream memverifikasi bahwa metode CDC yang Anda pilih sesuai dengan konfigurasi database Anda.
      Konfigurasi file log arsip	Datastream memverifikasi bahwa logging arsip dikonfigurasi di sumber, dan file log arsip ada.
      Izin Cloud Storage (untuk tujuan Cloud Storage)	Datastream memverifikasi bahwa ia memiliki izin yang diperlukan untuk menulis ke bucket tujuan di Cloud Storage.

   2. Jika database sumber Anda adalah MySQL, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Izin replikasi	Datastream memverifikasi bahwa ia memiliki izin untuk mereplikasi database MySQL.
      Versi database	Datastream memverifikasi bahwa versi database MySQL didukung. Untuk mengetahui informasi tentang edisi yang didukung, lihat Versi.
      Konfigurasi format log biner	Datastream memverifikasi bahwa format log biner database MySQL ditetapkan ke ROW.
      Logging biner diaktifkan	Datastream memverifikasi bahwa file log biner dikonfigurasi dengan benar, dan ada file log.
      Konfigurasi image baris log biner	Datastream memverifikasi bahwa image baris binlog ditetapkan ke FULL.
      Kompresi binlog dinonaktifkan	Datastream memverifikasi bahwa kompresi binlog dinonaktifkan.
      Update replika log atau slave diaktifkan	Datastream memverifikasi bahwa update replika log atau slave diaktifkan.
      Konfigurasi mode GTID (applies only to GTID-based CDC)	Datastream memverifikasi bahwa mode GTID ditetapkan ke ON jika replikasi berbasis GTID digunakan.
      GtidSet tidak berisi GTID yang diberi tag (applies only to GTID-based CDC)	Datastream memverifikasi bahwa set GTID tidak berisi GTID yang diberi tag.
      Izin Cloud Storage (untuk tujuan Cloud Storage)	Datastream memverifikasi bahwa ia memiliki izin yang diperlukan untuk menulis ke bucket tujuan di Cloud Storage.

      Pemeriksaan peringatan	Deskripsi
      Konfigurasi Expire logs days atau Expire logs seconds atau Binlog retention hours	Datastream memverifikasi bahwa expire_logs_days, binlog_expire_logs_seconds, binlog retention hours dikonfigurasi ke nilai yang lebih besar dari 7, 604800, dan 168.
      Konfigurasi paket maksimum yang diizinkan	Datastream memverifikasi bahwa max_allowed_packet ditetapkan ke 1 GB.
      Terapkan konsistensi GTID atau mode ketat GTID (applies only to GTID-based CDC)	Datastream memverifikasi bahwa konsistensi GTID atau mode ketat GTID diaktifkan.

   3. Jika database sumber Anda adalah PostgreSQL, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Konektivitas ke database PostgreSQL	Datastream akan memverifikasi bahwa ia dapat terhubung ke database PostgreSQL sumber.
      Decoding logis diaktifkan	Datastream memverifikasi bahwa parameter wal_level database PostgreSQL ditetapkan ke logical.
      Konfigurasi slot replikasi	Datastream memverifikasi apakah slot replikasi PostgreSQL ada dan aktif, apakah Datastream memiliki izin yang diperlukan untuk mengaksesnya, dan apakah slot tersebut dikonfigurasi dengan benar.
      Konfigurasi publikasi	Datastream memverifikasi bahwa publikasi ada dan tabel yang akan direplikasi untuk aliran data disertakan dalam publikasi.
      Izin pengisian ulang	Datastream memverifikasi bahwa tabel yang diperlukan untuk mengisi ulang data historis ada dan memiliki izin yang diperlukan untuk membacanya.

   4. Jika database sumber Anda adalah SQL Server, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Edisi SQL Server	Datastream memverifikasi bahwa edisi database SQL Server sumber didukung. Untuk mengetahui informasi tentang edisi yang didukung, lihat Versi.
      Izin pengguna SQL Server	Datastream memverifikasi bahwa pengguna memiliki izin yang diperlukan untuk mengakses database SQL Server sumber.
      CDC SQL Server diaktifkan	Datastream memverifikasi apakah CDC diaktifkan untuk database dan semua tabel yang disertakan dalam aliran data.
      Validasi database SQL Server	Datastream memeriksa apakah database sumber dikonfigurasi dengan benar, apakah semua persyaratan replikasi terpenuhi, dan apakah tidak ada jenis data yang tidak didukung di kolom.
      Izin Cloud Storage atau BigQuery	Datastream memverifikasi bahwa pengguna memiliki izin yang diperlukan untuk menulis ke tujuan.

   5. Jika database sumber Anda adalah Salesforce, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Login kredensial	Datastream memverifikasi bahwa Datastream dapat melakukan autentikasi dengan organisasi Salesforce pelanggan menggunakan kredensial yang diberikan.
      Bulk API	Datastream memverifikasi bahwa ia memiliki izin yang diperlukan untuk mengakses Salesforce Bulk API 2.0. Bulk API 2.0 diperlukan untuk membaca data dalam jumlah besar.

      Pemeriksaan peringatan	Deskripsi
      Batas API	Datastream menghitung estimasi penggunaan API yang diharapkan berdasarkan jumlah objek dan interval polling yang dipilih. Jika jumlah permintaan harian yang diharapkan lebih tinggi dari batas yang diberlakukan oleh Salesforce, Datastream akan mengeluarkan peringatan. Anda tetap dapat membuat dan menjalankan streaming, meskipun pemeriksaan validasi tidak lulus.

   6. Jika database sumber Anda adalah MongoDB, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Izin pengguna	Datastream memverifikasi bahwa peran readAnyDatabase ditetapkan kepada pengguna.
      Konfigurasi koneksi	Datastream menggunakan perintah hello untuk memverifikasi bahwa konfigurasi koneksi valid.
      Versi MongoDB	Datastream memverifikasi bahwa versi MongoDB adalah 5.0 atau yang lebih baru.
      Izin Cloud Storage atau BigQuery	Datastream memverifikasi bahwa pengguna memiliki izin yang diperlukan untuk menulis ke tujuan.

   7. Jika database sumber Anda adalah Spanner, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Spanner API diaktifkan	Datastream memverifikasi bahwa Spanner API diaktifkan.
      Database ada	Datastream memverifikasi bahwa database Spanner sumber ada.
      Izin IAM	Datastream memverifikasi bahwa agen layanannya memiliki izin IAM yang diperlukan pada database sumber.
      Aliran data perubahan sudah ada	Datastream memverifikasi bahwa aliran data perubahan yang ditentukan ada dalam database.
      Jenis pengambilan nilai	Datastream memverifikasi bahwa aliran data perubahan dikonfigurasi dengan jenis pengambilan nilai NEW_ROW.

   8. Jika sumber Anda adalah Dataverse, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Konektivitas ke lingkungan Dataverse	Datastream akan memverifikasi bahwa ia dapat terhubung ke lingkungan Dataverse sumber.
      Izin pengguna Dataverse	Datastream memverifikasi bahwa pengguna aplikasi yang digunakannya untuk terhubung ke lingkungan sumber memiliki semua izin baca yang diperlukan. Izin baca diperlukan untuk mengambil tabel dan data dari lingkungan sehingga Datastream dapat melakukan streaming informasi ini ke tujuan.
      Pembatasan IP	Datastream memverifikasi bahwa alamat IP publiknya diizinkan untuk terhubung ke endpoint instance Dataverse Anda.
      Keberadaan kolom `modifiedon`	Datastream memverifikasi bahwa kolom `modifiedon` ada dan dapat diandalkan dalam tabel yang direplikasi untuk sinkronisasi inkremental.
      Izin Cloud Storage atau BigQuery	Datastream memverifikasi bahwa ia memiliki izin yang diperlukan untuk menulis ke tujuan.

   9. Jika instance sumber Anda adalah Workday, Datastream akan melakukan pemeriksaan berikut:

      Cek	Deskripsi
      Login kredensial	Datastream memverifikasi autentikasi OAuth 2.0 dengan Workday.
      Izin ISU	Datastream memverifikasi bahwa Integration System User memiliki izin Domain Security Policy yang diperlukan.
      Validitas laporan	Datastream memastikan bahwa objek yang dipilih ada dan dapat diakses menggunakan solusi Report as a Service (RaaS).

   Jika pemeriksaan validasi lulus, ikon tanda centang akan muncul di sebelah kiri pemeriksaan validasi.

   Jika pemeriksaan validasi tidak lulus, ikon tanda seru akan muncul di sebelah kiri pemeriksaan, dan tombol SEE ERROR DETAILS akan muncul di bawah pemeriksaan. Klik tombol tersebut, dan jendela dialog akan muncul, yang menjelaskan alasan pemeriksaan tidak lulus dan informasi tentang tindakan yang harus dilakukan untuk memperbaiki masalah. Setelah melakukan koreksi yang sesuai, klik REVALIDATE.

   Untuk mengetahui informasi selengkapnya tentang cara memecahkan masalah pemeriksaan validasi yang tidak lulus, lihat Mendiagnosis masalah.

3. Setelah semua pemeriksaan validasi lulus, klik CREATE & START untuk membuat aliran data dan langsung memulainya, atau CREATE untuk membuat aliran data tanpa langsung memulainya.

   Jika tidak memulai streaming sekarang, Anda dapat memulainya dari halaman Streams dengan mengklik START.

   Catatan: Proses pembuatan aliran data dapat meningkatkan beban pada database sumber. Untuk menunda beban tersebut, buat streaming tanpa memulainya, dan kembali untuk memulai streaming saat beban dapat ditanggung.

Setelah membuat aliran data, Anda dapat melihat informasi umum dan mendetail tentang aliran data tersebut.

Membuat aliran data menggunakan alur otomatis

Anda dapat menggunakan penyiapan streaming otomatis untuk membuat streaming langsung dari halaman ringkasan Cloud SQL di Google Cloud. Alur otomatis menyederhanakan proses pembuatan aliran data, dan dapat digunakan jika Anda mereplikasi ke BigQuery dari instance Cloud SQL untuk PostgreSQL, Cloud SQL untuk MySQL, atau Cloud SQL untuk SQL Server.

Untuk mempelajari cara menggunakan alur penyiapan streaming otomatis, lihat Membuat streaming menggunakan alur otomatis.

Langkah berikutnya

• Untuk mempelajari lebih lanjut streaming, lihat Siklus proses streaming.
• Untuk mempelajari cara menjalankan streaming, lihat Menjalankan streaming.
• Untuk mempelajari cara mengubah aliran data, lihat Mengubah aliran data.
• Untuk mempelajari cara memulihkan streaming, lihat Memulihkan streaming.