Selbstverwaltete MySQL-Datenbank für CDC konfigurieren

Auf dieser Seite wird beschrieben, wie Sie Change Data Capture (CDC) konfigurieren, um Daten aus einer selbstverwalteten MySQL-Datenbank in ein unterstütztes Ziel wie BigQuery oder Cloud Storage zu streamen. Diese Anleitung funktioniert auch für Datenbanken wie MariaDB, Percona Server for MySQL oder Alibaba Cloud PolarDB.

Konfiguration und Aufbewahrungsdauer des binären Logs prüfen

1. Prüfen Sie mit dem folgenden MySQL-Befehl, ob das binäre Log ordnungsgemäß konfiguriert ist:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Prüfen Sie, ob der Wert für die Variable binlog_format auf ROW festgelegt ist. Datastream unterstützt die binlog-Formate MIXED und STATEMENT nicht.

3. Prüfen Sie mit dem folgenden MySQL-Befehl, ob das Zeilenformat für das binäre Log auf FULL gesetzt ist:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Prüfen Sie für MySQL-Versionen 8.0 und höher mit dem folgenden MySQL-Befehl, ob die Variable binlog_row_value_options auf einen leeren Wert gesetzt ist:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. Prüfen Sie mit dem folgenden MySQL-Befehl, ob die Replikat-Updates-Option für das binäre Log auf ON gesetzt ist:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Geben Sie für MySQL-Versionen vor 8.0.26 stattdessen den folgenden Befehl ein:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. Prüfen Sie mit dem folgenden MySQL-Befehl, ob als Aufbewahrungsdauer für das binäre Log 604800 Sekunden (7 Tage) festgelegt sind:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Geben Sie für MySQL-Versionen vor 8.0.3 stattdessen den folgenden Befehl ein:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Falls für Ihre MySQL-Datenbank nicht die vollständige zeilenbasierte Replikation und eine Aufbewahrungsdauer von 7 Tagen festgelegt sind, müssen Sie die Konfiguration des binären Logs so ändern:

   1. Rufen Sie das Verzeichnis /etc/mysql/ auf.
   2. Öffnen Sie die Datei my.cnf mit einem Editor.
   3. Fügen Sie der Datei die folgenden Zeilen hinzu:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Fügen Sie für die GTID-basierte Replikation auch die folgenden Zeilen hinzu:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Speichern Sie die Änderungen in der Datei my.cnf und schließen Sie die Datei dann.
   6. Starten Sie den MySQL-Server neu, damit die vorgenommenen Änderungen wirksam werden.

Datastream-Nutzer erstellen

1. Geben Sie die folgenden MySQL-Befehle ein, um einen Datastream-Nutzer zu erstellen:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Nächste Schritte

• Weitere Informationen