Mengonfigurasi database MySQL yang dikelola sendiri untuk CDC

Halaman ini menjelaskan cara mengonfigurasi change data capture (CDC) untuk mengalirkan data dari database MySQL yang dikelola sendiri ke tujuan yang didukung, seperti BigQuery atau Cloud Storage. Petunjuk ini juga berfungsi untuk database seperti MariaDB, Percona Server untuk MySQL, atau Alibaba Cloud PolarDB.

Verifikasi konfigurasi dan periode retensi log biner

1. Pastikan log biner dikonfigurasi dengan benar dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Verifikasi bahwa nilai untuk variabel binlog_format ditetapkan ke ROW. Datastream tidak mendukung format log biner MIXED atau STATEMENT.

3. Pastikan format baris untuk log biner disetel ke FULL dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Untuk MySQL versi 8.0 dan yang lebih baru, konfirmasi bahwa variabel binlog_row_value_options ditetapkan ke nilai kosong dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. Pastikan opsi update replika untuk log biner disetel ke ON dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Untuk MySQL versi yang lebih lama dari 8.0.26, masukkan perintah berikut:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. Pastikan periode retensi log biner disetel ke 604800 detik (7 hari) dengan memasukkan perintah MySQL berikut:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Untuk MySQL versi yang lebih lama dari 8.0.3, masukkan perintah berikut:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Jika database MySQL Anda tidak disetel ke replikasi berbasis baris penuh dan periode retensi 7 hari, Anda harus mengubah konfigurasi log biner, sebagai berikut:

   1. Arahkan ke direktori /etc/mysql/.
   2. Dengan menggunakan editor, buka file my.cnf.
   3. Tambahkan baris berikut ke file:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Untuk replikasi berbasis GTID, tambahkan juga baris berikut:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Simpan perubahan Anda ke file my.cnf, lalu tutup file tersebut.
   6. Mulai ulang server MySQL agar perubahan yang Anda buat dapat diterapkan.

Membuat pengguna Datastream

1. Untuk membuat pengguna Datastream, masukkan perintah MySQL berikut:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Langkah berikutnya

• Pelajari lebih lanjut cara kerja Datastream dengan sumber MySQL.