הגדרת מסד נתונים של MySQL בניהול עצמי ל-CDC

בדף הזה מוסבר איך להגדיר לכידת נתונים משתנים (CDC) כדי להזרים נתונים ממסד נתונים של MySQL בניהול עצמי אל יעד נתמך, כמו BigQuery או Cloud Storage. ההוראות האלה מתאימות גם למסדי נתונים כמו MariaDB, ‏ Percona Server for MySQL או Alibaba Cloud PolarDB.

אימות ההגדרה ותקופת השמירה של יומן בינארי

1. מזינים את פקודת MySQL הבאה כדי לוודא שהיומן הבינארי מוגדר בצורה נכונה:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. מוודאים שהערך של המשתנה binlog_format מוגדר כ-ROW. ‫Datastream לא תומך בפורמטים של יומן בינארי MIXED או STATEMENT.

3. מזינים את הפקודה הבאה של MySQL כדי לוודא שפורמט השורה של יומן הרישום הבינארי מוגדר ל-FULL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. בגרסאות MySQL 8.0 ואילך, מזינים את פקודת MySQL הבאה כדי לוודא שהמשתנה binlog_row_value_options מוגדר לערך ריק:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. כדי לוודא שאפשרות העדכונים של העותק המשוכפל ביומן הבינארי מוגדרת ל-ON, מזינים את פקודת MySQL הבאה:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   בגרסאות MySQL קודמות ל-8.0.26, מזינים את הפקודה הבאה במקום זאת:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. מריצים את פקודת MySQL הבאה כדי לוודא שתקופת השמירה של יומן הבינארי מוגדרת ל-604800 שניות (7 ימים):

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   בגרסאות MySQL ישנות יותר מ-8.0.3, מזינים את הפקודה הבאה במקום זאת:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   אם מסד הנתונים שלכם ב-MySQL לא מוגדר לשכפול מלא מבוסס-שורות ולתקופת שמירה של 7 ימים, תצטרכו לשנות את ההגדרה של יומן הרישום הבינארי באופן הבא:

   1. מנווטים לספרייה /etc/mysql/.
   2. פותחים את הקובץ my.cnf באמצעות עורך.
   3. מוסיפים את השורות הבאות לקובץ:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. לשכפול מבוסס GTID, מוסיפים גם את השורות הבאות:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. שומרים את השינויים בקובץ my.cnf וסוגרים אותו.
   6. מפעילים מחדש את שרת MySQL כדי שהשינויים שביצעתם ייכנסו לתוקף.

יצירת משתמש Datastream

1. כדי ליצור משתמש Datastream, מזינים את פקודות MySQL הבאות:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

המאמרים הבאים

• מידע נוסף על האופן שבו Datastream עובד עם מקורות MySQL