הגדרת מסד נתונים של MySQL בניהול עצמי ל-CDC

באמצעות Datastream אתם יכולים להעביר עדכונים של תיעוד שינויים בנתונים (CDC) ממסד נתונים MySQL בניהול עצמי אל יעד נתמך, כמו BigQuery או Cloud Storage. כדי להכין את המקור, אתם מגדירים יומן בינארי מלא שמבוסס על שורות עם תקופת שמירה של 7 ימים, ויוצרים משתמש Datastream עם הרשאות שכפול. אפשר להשתמש בהגדרה הזו גם למסדי נתונים תואמים כמו MariaDB,‏ Percona Server ל-MySQL ו-Alibaba Cloud PolarDB.

אימות ההגדרה ותקופת השמירה של היומן הבינארי

1. כדי לוודא שהיומן הבינארי מוגדר בצורה נכונה, מזינים את הפקודה הבאה ב-MySQL:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. מוודאים שהערך של המשתנה binlog_format מוגדר כ-ROW. ‫Datastream לא תומך בפורמטים MIXED או STATEMENT של יומנים בינאריים.

3. כדי לוודא שהפורמט של השורות ביומן הבינארי מוגדר כ-FULL, מזינים את הפקודה הבאה ב-MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. בגרסאות MySQL 8.0 ואילך, מוודאים שהמשתנה binlog_row_value_options מוגדר לערך ריק. כדי לעשות את זה, מזינים את הפקודה הבאה ב-MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. כדי לוודא שהאפשרות של עדכוני הרפליקה של היומן הבינארי מוגדרת ל-ON, מזינים את הפקודה הבאה ב-MySQL:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   בגרסאות MySQL שקודמות ל-8.0.26, מזינים את הפקודה הבאה:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. כדי לוודא שתקופת השמירה של היומן הבינארי מוגדרת ל-604800 שניות (7 ימים), מזינים את הפקודה הבאה ב-MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   בגרסאות MySQL שקודמות ל-8.0.3, מזינים את הפקודה הבאה:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   אם מסד הנתונים של MySQL לא מוגדר לרפליקה מלאה שמבוססת על שורות ולתקופת שמירה של 7 ימים, צריך לשנות את ההגדרה של היומן הבינארי באופן הבא:

   1. עוברים לספרייה /etc/mysql/.
   2. פותחים את הקובץ my.cnf באמצעות כלי לעריכת טקסט.
   3. מוסיפים לקובץ את השורות הבאות:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. לרפליקציה שמבוססת על GTID, צריך להוסיף גם את השורות הבאות:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. שומרים את השינויים בקובץ my.cnf וסוגרים אותו.
   6. מפעילים מחדש את שרת MySQL כדי שהשינויים ייכנסו לתוקף.

יצירת משתמש ב-Datastream

1. כדי ליצור משתמש ב-Datastream, מזינים את הפקודות הבאות ב-MySQL:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

המאמרים הבאים

• איך Datastream עובד עם מקורות MySQL