Mengonfigurasi database MySQL yang dikelola sendiri untuk CDC

Datastream memungkinkan Anda menstreaming update change data capture (CDC) dari database MySQL yang dikelola sendiri ke tujuan yang didukung, seperti BigQuery atau Cloud Storage. Untuk menyiapkan sumber, Anda mengonfigurasi logging biner berbasis baris penuh dengan periode retensi 7 hari dan membuat pengguna Datastream dengan hak istimewa replikasi. Anda juga dapat menggunakan konfigurasi ini untuk database yang kompatibel seperti MariaDB, Percona Server untuk MySQL, dan Alibaba Cloud PolarDB.

Memverifikasi konfigurasi dan periode retensi log biner

1. Pastikan log biner dikonfigurasi dengan benar dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Pastikan nilai untuk variabel binlog_format ditetapkan ke ROW. Datastream tidak mendukung format log biner MIXED atau STATEMENT.

3. Pastikan format baris untuk log biner ditetapkan ke FULL dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Untuk MySQL versi 8.0 dan yang lebih baru, pastikan variabel binlog_row_value_options ditetapkan ke nilai kosong dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. Pastikan opsi update replika untuk log biner ditetapkan ke ON dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Untuk MySQL versi yang lebih lama dari 8.0.26, masukkan perintah berikut:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. Pastikan masa retensi log biner ditetapkan ke 604800 detik (7 hari) dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Untuk MySQL versi yang lebih lama dari 8.0.3, masukkan perintah berikut:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Jika database MySQL Anda tidak disetel ke replikasi berbasis baris penuh dan periode retensi 7 hari, Anda harus mengubah konfigurasi log biner, sebagai berikut:

   1. Buka direktori /etc/mysql/.
   2. Dengan menggunakan editor, buka file my.cnf.
   3. Tambahkan baris berikut ke file:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Untuk replikasi berbasis GTID, tambahkan juga baris berikut:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Simpan perubahan Anda pada file my.cnf, lalu tutup file tersebut.
   6. Mulai ulang server MySQL agar perubahan yang Anda buat dapat diterapkan.

Membuat pengguna Datastream

1. Untuk membuat pengguna Datastream, masukkan perintah MySQL berikut:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Langkah berikutnya

• Pelajari lebih lanjut cara kerja Datastream dengan sumber MySQL.