הגדרת מסד הנתונים של PostgreSQL כמקור להעברות רציפות

בדף הזה מוסבר איך להגדיר את מכונות מסד הנתונים במקור להעברות רציפות והומוגניות של PostgreSQL לאשכולות של AlloyDB ל-PostgreSQL. לפרטים על גרסאות המקור הנתמכות, ראו מסדי נתונים נתמכים של מקור ויעד. אם אתם רוצים להשתמש בהעברות מהירות, עיינו במדריך שימוש בהעברות מהירות. העברות ב-Quick Start מספקות תהליך העברה פשוט שמשתמש ברפליקציה של pgnative ובקישוריות מיוחדת שמבוססת על ממשקי Private Service Connect. מידע נוסף מופיע במאמר מידע על העברות בהפעלה מהירה במסמכי התיעוד הראשיים של Database Migration Service.

הדף הזה כולל הליכים נפרדים לכל מקור נתמך:

הגדרת מקור PostgreSQL באירוח עצמי

כדי להגדיר מכונה של מקור PostgreSQL באירוח עצמי (מקומית או מארחת במכונה וירטואלית של Compute Engine) להעברה רציפה, מבצעים את השלבים הבאים:

  1. במקורות PostgreSQL באירוח עצמי, השירות Database Migration Service מעביר את כל מסדי הנתונים במכונה של המקור, חוץ ממסדי הנתונים של התבניות template0 ו-template1.
  2. מוודאים שמכונת המקור כוללת את מסד הנתונים postgres שמוגדר כברירת מחדל. אם מסד הנתונים הזה לא קיים, צריך ליצור אותו לפני שמגדירים את ההעברה.
  3. מגדירים את האימות של לקוח הרשת בקובץ pg_hba.conf. מוסיפים רשומות שמאפשרות חיבורי רפליקציה וגישה למסד הנתונים מטווח כתובות ה-IP של אשכול היעד של AlloyDB ל-PostgreSQL, מטווח ה-CIDR של ה-VPC או מהיעד המבוצר (bastion host) של ה-SSH ההפוך:
    # Allow replication connections
    host  replication  MIGRATION_USER_ACCOUNT_NAME  DESTINATION_IP_OR_CIDR  md5
    # Allow database access
    host  all          MIGRATION_USER_ACCOUNT_NAME  DESTINATION_IP_OR_CIDR  md5

    טוענים מחדש את ההגדרות של PostgreSQL כדי להחיל את הכללים של pg_hba.conf:

    SELECT pg_reload_conf();
  4. בודקים את תוספי PostgreSQL שמותקנים במסדי הנתונים של המקור. ‫Database Migration Service לא מעביר תוספים שלא נתמכים ב-AlloyDB ל-PostgreSQL. מוודאים שהאובייקטים של מסד הנתונים במקור והשאילתות של האפליקציה לא מפנים לתוספים שלא נתמכים. לפני שממשיכים, צריך להסיר ממסדי הנתונים של המקור את התוספים וההפניות שלא נתמכים.

    התוסף pg_cron לא מועבר באופן אוטומטי על ידי Database Migration Service, אבל הוא נתמך ביעדים של AlloyDB ל-PostgreSQL. אם אתם משתמשים ב-pg_cron במסד הנתונים של המקור, תצטרכו להתקין ולהגדיר אותו מחדש באשכול היעד של AlloyDB ל-PostgreSQL אחרי שתקדמו את ההעברה.

  5. יוצרים חשבון משתמש ייעודי להעברה במכונה של המקור ונותנים לו את ההרשאות הנדרשות:
    1. מתחברים למכונה של המקור באמצעות חשבון אדמין, יוצרים את המשתמש ומקצים את תפקיד הרפליקציה:
      CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD';
      ALTER USER MIGRATION_USER_ACCOUNT_NAME WITH REPLICATION;
    2. נותנים לחשבון המשתמש להעברה את ההרשאות הנדרשות למסד הנתונים postgres שמוגדר כברירת מחדל, וגם לכל מסד נתונים שרוצים להעביר. מריצים את הפקודות הבאות בכל מסד נתונים לכל סכימה, חוץ מסכימת המידע וסכימות שמתחילות ב-pg_:
      GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT USAGE ON SCHEMA pglogical TO PUBLIC;
      GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
  6. מתקינים את התוסף pglogical בכל מסד נתונים שרוצים להעביר, חוץ מ-template0 ו-template1:
    • ב-PostgreSQL גרסה 9.4: מריצים את הפקודות הבאות:
      CREATE EXTENSION IF NOT EXISTS pglogical;
      CREATE EXTENSION IF NOT EXISTS pglogical_origin;
    • ב-PostgreSQL בגרסה 9.5 ואילך: מריצים את הפקודה הבאה:
      CREATE EXTENSION IF NOT EXISTS pglogical;
  7. מוודאים שבטבלאות יש מפתחות ראשיים. בהעברות רציפות, כדי לשכפל פעולות UPDATE ו-DELETE במהלך שלב סימון הנתונים שהשתנו (CDC), צריך להגדיר מפתחות ראשיים בטבלאות של הרפליקציה הלוגית של PostgreSQL:
    • טבלאות עם מפתח ראשי משכפלות את כל הפעולות של INSERT,‏ UPDATE ו-DELETE באופן אוטומטי.
    • בטבלאות שאין בהן מפתחות ראשיים, Database Migration Service תומך בהעברה רק של תמונת המצב הראשונית והצהרות INSERT הבאות במהלך שלב ה-CDC. צריך להעביר הצהרות UPDATE ו-DELETE באופן ידני.

      לפני שמתחילים את ההעברה, מומלץ להוסיף מפתחות ראשיים לטבלאות שאין בהן מפתחות כאלה. במאמר ניפוי באגים וכלים אחרים מוסבר איך ליצור שאילתה כדי להציג רשימה של טבלאות במסד נתונים של PostgreSQL בלי מפתחות ראשיים, או איך להעביר באופן ידני פעולות של UPDATE ו-DELETE.

      לחלופין, אתם יכולים לנסות להשתמש בתהליך ההעברה המהיר: תרחיש העברה פשוט שבו אפשר להשתמש ב-REPLICA IDENTITY כדי להעביר טבלאות בלי מפתחות ראשיים. מידע נוסף זמין במדריך שימוש בהעברות מהירות.

  8. מקורות שבהם פועלת גרסה 9.5 ומטה של PostgreSQL: מדד העיכוב ברפליקציה לא זמין למכונות מקור שבהן פועלות גרסאות של PostgreSQL שקודמות ל-9.6. אם אתם רוצים להשתמש במדד הזה כדי לעקוב אחרי התקדמות ההעברה, קראו את המאמר הפעלת עיכוב ברפליקציה.
  9. מתקינים את החבילה pglogical ומגדירים את הפרמטרים של WAL ושל הרפליקציה בשרת PostgreSQL:
    1. מתקינים את החבילה pglogical במערכת ההפעלה של המארח של שרת מסד הנתונים. במאגר pglogical ב-GitHub תוכלו למצוא חבילות והוראות התקנה להפצה שלכם.
    2. מתחברים למכונה של PostgreSQL באמצעות חשבון אדמין ומגדירים את הפרמטרים הבאים:
      1. מגדירים את shared_preload_libraries כך שיכלול את 'pglogical':
        ALTER SYSTEM SET shared_preload_libraries = 'pglogical';
      2. מגדירים את wal_level לערך 'logical':
        ALTER SYSTEM SET wal_level = 'logical';

        אפשר לקרוא מידע נוסף בקטע wal_level במסמכי התיעוד של PostgreSQL.

      3. מגדירים את wal_sender_timeout לערך 0:
        ALTER SYSTEM SET wal_sender_timeout = 0;

        הערך 0 משבית את מנגנון הזמן הקצוב לתפוגה שמסיים חיבורי רפליקציה לא פעילים. wal_sender_timeout

      4. מגדירים את max_replication_slots לפחות למספר מסדי הנתונים שרוצים להעביר כפול מספר משימות ההעברה, בתוספת רזרבות לסנכרון הטבלאות:

        לדוגמה, אם יש 5 מסדי נתונים במכונה של המקור ויוצרים 2 משימות העברה למקור הזה, מספר משבצות הרפליקציה צריך להיות לפחות 5 * 2 = 10, בתוספת מספר משבצות הרפליקציה שכבר נמצאות בשימוש במקור על ידי משימות אחרות. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, חשוב להגדיל את מספר חריצי הרפליקציה ולאמת את ההגדרות כשיוצרים את משימת ההעברה.

        ALTER SYSTEM SET max_replication_slots = MAX_REPLICATION_SLOTS;

        ערך ברירת המחדל של הפרמטר הזה הוא 10. למידע נוסף, ראו max_replication_slots.

      5. מגדירים את max_wal_senders לערך של לפחות max_replication_slots פלוס מספר השולחים שכבר בשימוש במכונה:

        לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10 ואתם כבר משתמשים ב-2 שולחים, מספר התהליכים של שולחי WAL שפועלים בו-זמנית יהיה 10 + 2 = 12. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות להשלכת נתונים, חשוב להגדיל את מספר השולחים ולאמת את ההגדרות כשאתם יוצרים את משימת ההעברה.

        ALTER SYSTEM SET max_wal_senders = MAX_WAL_SENDERS;

        ערך ברירת המחדל של הפרמטר הזה הוא 10. למידע נוסף, ראו max_wal_senders.

      6. מגדירים את max_worker_processes לפחות למספר מסדי הנתונים שרוצים להעביר, בתוספת תהליכי ה-worker הקיימים במכונה. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, צריך להביא בחשבון שני תהליכי עבודה נוספים לכל חיבור (עד למקסימום של 20 תהליכי עבודה):
        ALTER SYSTEM SET max_worker_processes = MAX_WORKER_PROCESSES;

        ערך ברירת המחדל של הפרמטר הזה הוא 8. למידע נוסף, ראו max_worker_processes.

  10. מפעילים מחדש את שרת PostgreSQL כדי שהשינויים בהגדרות ייכנסו לתוקף.

הגדרת מקור Amazon RDS ל-PostgreSQL

כדי להגדיר מכונת מקור של Amazon RDS ל-PostgreSQL להעברה רציפה, מבצעים את השלבים הבאים:

  1. במקורות של Amazon RDS ל-PostgreSQL, שירות Database Migration Service מעביר את כל מסדי הנתונים במכונה של המקור, חוץ ממסדי הנתונים של התבניות template0, template1 וממסד הנתונים הפנימי של AWS‏ rdsadmin.
  2. מוודאים שמכונת המקור כוללת את מסד הנתונים postgres שמוגדר כברירת מחדל. אם מסד הנתונים הזה לא קיים, צריך ליצור אותו לפני שמגדירים את ההעברה.
  3. מגדירים את הכללים לתעבורת נתונים נכנסת בקבוצת האבטחה של Amazon RDS VPC. מאפשרים חיבורי TCP נכנסים ביציאה 5432 מטווח כתובות ה-IP של אשכול היעד של AlloyDB ל-PostgreSQL, מטווח ה-CIDR של ה-VPC או מהמכונה הווירטואלית של היעד המבוצר (bastion host) של ה-SSH ההפוך.
  4. בודקים את תוספי PostgreSQL שמותקנים במסדי הנתונים של המקור. ‫Database Migration Service לא מעביר תוספים שלא נתמכים ב-AlloyDB ל-PostgreSQL. מוודאים שהאובייקטים של מסד הנתונים במקור והשאילתות של האפליקציה לא מפנים לתוספים שלא נתמכים. לפני שממשיכים, צריך להסיר ממסדי הנתונים של המקור את התוספים וההפניות שלא נתמכים.

    התוסף pg_cron לא מועבר באופן אוטומטי על ידי Database Migration Service, אבל הוא נתמך ביעדים של AlloyDB ל-PostgreSQL. אם אתם משתמשים ב-pg_cron במסד הנתונים של המקור, תצטרכו להתקין ולהגדיר אותו מחדש באשכול היעד של AlloyDB ל-PostgreSQL אחרי שתקדמו את ההעברה.

  5. יוצרים חשבון משתמש ייעודי להעברה במכונה של המקור ונותנים לו את ההרשאות הנדרשות:
    1. מתחברים למכונה של המקור באמצעות חשבון אדמין, יוצרים את המשתמש ונותנים לו את התפקיד rds_replication שמנוהל על ידי AWS:
      CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD';
      GRANT rds_replication TO "MIGRATION_USER_ACCOUNT_NAME";
    2. נותנים לחשבון המשתמש להעברה את ההרשאות הנדרשות למסד הנתונים postgres שמוגדר כברירת מחדל, וגם לכל מסד נתונים שרוצים להעביר. מריצים את הפקודות הבאות בכל מסד נתונים לכל סכימה, חוץ מסכימת המידע וסכימות שמתחילות ב-pg_:
      GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT USAGE ON SCHEMA pglogical TO PUBLIC;
      GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
  6. מתקינים את התוסף pglogical בכל מסד נתונים שרוצים להעביר, חוץ מ-template0,‏ template1 ו-rdsadmin. מריצים את הפקודה הבאה:
    CREATE EXTENSION IF NOT EXISTS pglogical;

    לפרטים נוספים על הדרישות, קראו את המאמר שימוש בתוספים של PostgreSQL עם Amazon RDS ל-PostgreSQL במסמכי התיעוד של AWS.

  7. מוודאים שבטבלאות יש מפתחות ראשיים. בהעברות רציפות, כדי לשכפל פעולות UPDATE ו-DELETE במהלך שלב סימון הנתונים שהשתנו (CDC), צריך להגדיר מפתחות ראשיים בטבלאות של הרפליקציה הלוגית של PostgreSQL:
    • טבלאות עם מפתח ראשי משכפלות את כל הפעולות של INSERT,‏ UPDATE ו-DELETE באופן אוטומטי.
    • בטבלאות שאין בהן מפתחות ראשיים, Database Migration Service תומך בהעברה רק של תמונת המצב הראשונית והצהרות INSERT הבאות במהלך שלב ה-CDC. צריך להעביר הצהרות UPDATE ו-DELETE באופן ידני.

      לפני שמתחילים את ההעברה, מומלץ להוסיף מפתחות ראשיים לטבלאות שאין בהן מפתחות כאלה. במאמר ניפוי באגים וכלים אחרים מוסבר איך ליצור שאילתה כדי להציג רשימה של טבלאות במסד נתונים של PostgreSQL בלי מפתחות ראשיים, או איך להעביר באופן ידני פעולות של UPDATE ו-DELETE.

      לחלופין, אתם יכולים לנסות להשתמש בתהליך ההעברה המהיר: תרחיש העברה פשוט שבו אפשר להשתמש ב-REPLICA IDENTITY כדי להעביר טבלאות בלי מפתחות ראשיים. מידע נוסף זמין במדריך שימוש בהעברות מהירות.

  8. מגדירים קבוצת פרמטרים מותאמת אישית של מסד נתונים ומצרפים אותה למכונה:
    1. יוצרים קבוצת פרמטרים בהתאמה אישית (ראו עבודה עם קבוצות פרמטרים של מסדי נתונים במסמכי התיעוד של AWS) ומגדירים את הפרמטרים הבאים:
      1. מגדירים את shared_preload_libraries כך שיכלול את pglogical.
      2. מגדירים את rds.logical_replication להיות 1. הפרמטר הזה מפעיל רישום לוגים לוגי של WAL ב-Amazon RDS. מידע נוסף זמין במאמר שכפול לוגי של Amazon RDS ל-PostgreSQL.
      3. מגדירים את wal_sender_timeout להיות 0. הערך 0 משבית את מנגנון הזמן הקצוב לתפוגה שמסיים חיבורי רפליקציה לא פעילים.
      4. מגדירים את max_replication_slots לפחות למספר מסדי הנתונים שרוצים להעביר כפול מספר משימות ההעברה, בתוספת רזרבות לסנכרון הטבלאות:

        לדוגמה, אם יש 5 מסדי נתונים במכונה של המקור ויוצרים 2 משימות העברה למקור הזה, מספר משבצות הרפליקציה צריך להיות לפחות 5 * 2 = 10, בתוספת מספר משבצות הרפליקציה שכבר נמצאות בשימוש במקור על ידי משימות אחרות. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, חשוב להגדיל את מספר חריצי הרפליקציה ולאמת את ההגדרות כשיוצרים את משימת ההעברה.

        ערך ברירת המחדל של הפרמטר הזה הוא 10.

      5. מגדירים את max_wal_senders לערך של לפחות max_replication_slots פלוס מספר השולחים שכבר בשימוש במכונה:

        לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10 ואתם כבר משתמשים ב-2 שולחים, מספר התהליכים של שולחי WAL שפועלים בו-זמנית יהיה 10 + 2 = 12. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות להשלכת נתונים, חשוב להגדיל את מספר השולחים ולאמת את ההגדרות כשאתם יוצרים את משימת ההעברה.

        ערך ברירת המחדל של הפרמטר הזה הוא 10.

      6. מגדירים את max_worker_processes לפחות למספר מסדי הנתונים שרוצים להעביר, בתוספת תהליכי ה-worker הקיימים במכונה. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, צריך להביא בחשבון שני תהליכי עבודה נוספים לכל חיבור (עד למקסימום של 20 תהליכי עבודה):

        ערך ברירת המחדל של הפרמטר הזה הוא 8.

    2. מצרפים את קבוצת הפרמטרים למכונה של מסד הנתונים ב-RDS. אם יוצרים מכונה חדשה, האפשרות הזו נמצאת בקטע Additional Configuration. אחרת, צריך לשנות את המכונה כדי לצרף את קבוצת הפרמטרים.
  9. מפעילים מחדש את המכונה של Amazon RDS כדי שהשינויים בקבוצת הפרמטרים ייכנסו לתוקף.

הגדרת מקור Amazon Aurora PostgreSQL

כדי להגדיר אשכול מקור של Amazon Aurora PostgreSQL להעברה רציפה, מבצעים את השלבים הבאים:

  1. במקורות של Amazon Aurora for PostgreSQL, שירות Database Migration Service מעביר את כל מסדי הנתונים באשכול המקור, חוץ ממסדי הנתונים של התבניות template0, template1 וממסד הנתונים הפנימי של AWS‏ rdsadmin.
  2. מוודאים שאשכול המקור כולל את מסד הנתונים postgres שמוגדר כברירת מחדל. אם מסד הנתונים הזה לא קיים, צריך ליצור אותו לפני שמגדירים את ההעברה.
  3. מגדירים את הכללים לתנועה נכנסת בקבוצת האבטחה של ה-VPC באשכול Amazon Aurora. מאפשרים חיבורי TCP נכנסים ביציאה 5432 מטווח כתובות ה-IP של אשכול היעד של AlloyDB ל-PostgreSQL, מטווח ה-CIDR של ה-VPC או מהמכונה הווירטואלית של היעד המבוצר (bastion host) של ה-SSH ההפוך.
  4. בודקים את תוספי PostgreSQL שמותקנים במסדי הנתונים של המקור. ‫Database Migration Service לא מעביר תוספים שלא נתמכים ב-AlloyDB ל-PostgreSQL. מוודאים שהאובייקטים של מסד הנתונים במקור והשאילתות של האפליקציה לא מפנים לתוספים שלא נתמכים. לפני שממשיכים, צריך להסיר ממסדי הנתונים של המקור את התוספים וההפניות שלא נתמכים.

    התוסף pg_cron לא מועבר באופן אוטומטי על ידי Database Migration Service, אבל הוא נתמך ביעדים של AlloyDB ל-PostgreSQL. אם אתם משתמשים ב-pg_cron במסד הנתונים של המקור, תצטרכו להתקין ולהגדיר אותו מחדש באשכול היעד של AlloyDB ל-PostgreSQL אחרי שתקדמו את ההעברה.

  5. יוצרים חשבון משתמש ייעודי להעברה באשכול המקור ונותנים לו את ההרשאות הנדרשות:
    1. מתחברים לאשכול המקור באמצעות חשבון אדמין, יוצרים את המשתמש ומקצים את התפקיד rds_replication שמנוהל על ידי AWS:
      CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD';
      GRANT rds_replication TO "MIGRATION_USER_ACCOUNT_NAME";
    2. נותנים לחשבון המשתמש להעברה את ההרשאות הנדרשות למסד הנתונים postgres שמוגדר כברירת מחדל, וגם לכל מסד נתונים שרוצים להעביר. מריצים את הפקודות הבאות בכל מסד נתונים לכל סכימה, חוץ מסכימת המידע וסכימות שמתחילות ב-pg_:
      GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT USAGE ON SCHEMA pglogical TO PUBLIC;
      GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
  6. מתקינים את התוסף pglogical בכל מסד נתונים שרוצים להעביר, חוץ מ-template0, template1 ו-rdsadmin:
    CREATE EXTENSION IF NOT EXISTS pglogical;
  7. מוודאים שבטבלאות יש מפתחות ראשיים. בהעברות רציפות, כדי לשכפל פעולות UPDATE ו-DELETE במהלך שלב סימון הנתונים שהשתנו (CDC), צריך להגדיר מפתחות ראשיים בטבלאות של הרפליקציה הלוגית של PostgreSQL:
    • טבלאות עם מפתח ראשי משכפלות את כל הפעולות של INSERT,‏ UPDATE ו-DELETE באופן אוטומטי.
    • בטבלאות שאין בהן מפתחות ראשיים, Database Migration Service תומך בהעברה רק של תמונת המצב הראשונית והצהרות INSERT הבאות במהלך שלב ה-CDC. צריך להעביר הצהרות UPDATE ו-DELETE באופן ידני.

      לפני שמתחילים את ההעברה, מומלץ להוסיף מפתחות ראשיים לטבלאות שאין בהן מפתחות כאלה. במאמר ניפוי באגים וכלים אחרים מוסבר איך ליצור שאילתה כדי להציג רשימה של טבלאות במסד נתונים של PostgreSQL בלי מפתחות ראשיים, או איך להעביר באופן ידני פעולות של UPDATE ו-DELETE.

      לחלופין, אתם יכולים לנסות להשתמש בתהליך ההעברה המהיר: תרחיש העברה פשוט שבו אפשר להשתמש ב-REPLICA IDENTITY כדי להעביר טבלאות בלי מפתחות ראשיים. מידע נוסף זמין במדריך שימוש בהעברות מהירות.

  8. מגדירים קבוצת פרמטרים מותאמת אישית של אשכול מסד נתונים ומצרפים אותה לאשכול:
    1. יוצרים קבוצת פרמטרים מותאמת אישית של אשכול מסד נתונים ומגדירים את הפרמטרים הבאים:
      1. מגדירים את shared_preload_libraries כך שיכלול את pglogical.
      2. מגדירים את rds.logical_replication להיות 1. הפרמטר הזה מאפשר רישום לוגי של WAL.
      3. מגדירים את wal_sender_timeout להיות 0. הערך 0 משבית את מנגנון הזמן הקצוב לתפוגה שמסיים חיבורי רפליקציה לא פעילים.
      4. מגדירים את max_replication_slots לפחות למספר מסדי הנתונים שרוצים להעביר כפול מספר משימות ההעברה, בתוספת רזרבות לסנכרון הטבלאות:

        לדוגמה, אם יש 5 מסדי נתונים במכונה של המקור ויוצרים 2 משימות העברה למקור הזה, מספר משבצות הרפליקציה צריך להיות לפחות 5 * 2 = 10, בתוספת מספר משבצות הרפליקציה שכבר נמצאות בשימוש במקור על ידי משימות אחרות. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, חשוב להגדיל את מספר חריצי הרפליקציה ולאמת את ההגדרות כשיוצרים את משימת ההעברה.

        ערך ברירת המחדל של הפרמטר הזה הוא 10.

      5. מגדירים את max_wal_senders לערך של לפחות max_replication_slots פלוס מספר השולחים שכבר בשימוש במכונה:

        לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10 ואתם כבר משתמשים ב-2 שולחים, מספר התהליכים של שולחי WAL שפועלים בו-זמנית יהיה 10 + 2 = 12. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות להשלכת נתונים, חשוב להגדיל את מספר השולחים ולאמת את ההגדרות כשאתם יוצרים את משימת ההעברה.

        ערך ברירת המחדל של הפרמטר הזה הוא 10.

      6. מגדירים את max_worker_processes לפחות למספר מסדי הנתונים שרוצים להעביר, בתוספת תהליכי ה-worker הקיימים במכונה. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, צריך להביא בחשבון שני תהליכי עבודה נוספים לכל חיבור (עד למקסימום של 20 תהליכי עבודה):

        ערך ברירת המחדל של הפרמטר הזה הוא 8.

    2. מצרפים את קבוצת הפרמטרים של אשכול מסד הנתונים לאשכול מסד הנתונים של Aurora.
  9. מפעילים מחדש את אשכול מסד הנתונים של Amazon Aurora כדי שהשינויים בקבוצת הפרמטרים ייכנסו לתוקף.

הגדרת מקור ב-Cloud SQL ל-PostgreSQL

כדי להגדיר מכונת מקור של Cloud SQL ל-PostgreSQL להעברה רציפה, מבצעים את השלבים הבאים:

  1. במקורות של Cloud SQL ל-PostgreSQL, שירות Database Migration Service מעביר את כל מסדי הנתונים במופע המקור, חוץ ממסדי הנתונים של התבניות template0 ו-template1.
  2. מוודאים שמכונת המקור כוללת את מסד הנתונים postgres שמוגדר כברירת מחדל. אם מסד הנתונים הזה לא קיים, צריך ליצור אותו לפני שמגדירים את ההעברה.
  3. אם אתם מעבירים ממכונת מקור ב-Cloud SQL שמוגדרת עם כתובת IP פרטית לאשכול יעד ב-AlloyDB ל-PostgreSQL שמשתמש בטווח כתובות IP שאינן RFC 1918, הוסיפו את הטווח שאינו RFC 1918 לרשתות המורשות של מכונת המקור. מידע נוסף זמין במאמר הגדרת רשתות מורשות.
  4. בודקים את תוספי PostgreSQL שמותקנים במסדי הנתונים של המקור. ‫Database Migration Service לא מעביר תוספים שלא נתמכים ב-AlloyDB ל-PostgreSQL. מוודאים שהאובייקטים של מסד הנתונים במקור והשאילתות של האפליקציה לא מפנים לתוספים שלא נתמכים. לפני שממשיכים, צריך להסיר ממסדי הנתונים של המקור את התוספים וההפניות שלא נתמכים.

    התוסף pg_cron לא מועבר באופן אוטומטי על ידי Database Migration Service, אבל הוא נתמך ביעדים של AlloyDB ל-PostgreSQL. אם אתם משתמשים ב-pg_cron במסד הנתונים של המקור, תצטרכו להתקין ולהגדיר אותו מחדש באשכול היעד של AlloyDB ל-PostgreSQL אחרי שתקדמו את ההעברה.

  5. יוצרים חשבון משתמש ייעודי להעברה במכונה של המקור ונותנים לו את ההרשאות הנדרשות:
    1. כדי ליצור את חשבון המשתמש, פועלים לפי השלבים שבדף Create a user במסמכי התיעוד של Cloud SQL.
    2. מקצים את התפקיד cloudsqlsuperuser לחשבון המשתמש להעברה:
      GRANT cloudsqlsuperuser TO "MIGRATION_USER_ACCOUNT_NAME";
    3. נותנים לחשבון המשתמש להעברה את ההרשאות הנדרשות למסד הנתונים postgres שמוגדר כברירת מחדל, וגם לכל מסד נתונים שרוצים להעביר. מריצים את הפקודות הבאות בכל מסד נתונים לכל סכימה, חוץ מסכימת המידע וסכימות שמתחילות ב-pg_:
      GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT USAGE ON SCHEMA pglogical TO PUBLIC;
      GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
      GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
  6. מתקינים את התוסף pglogical בכל מסד נתונים שרוצים להעביר, חוץ מ-template0 ו-template1. מריצים את הפקודה הבאה:
    CREATE EXTENSION IF NOT EXISTS pglogical;
  7. מוודאים שבטבלאות יש מפתחות ראשיים. בהעברות רציפות, כדי לשכפל פעולות UPDATE ו-DELETE במהלך שלב סימון הנתונים שהשתנו (CDC), צריך שלטבלאות ברפליקה הלוגית של PostgreSQL יהיו מפתחות ראשיים:
    • טבלאות עם מפתח ראשי משכפלות את כל הפעולות של INSERT,‏ UPDATE ו-DELETE באופן אוטומטי.
    • בטבלאות שאין בהן מפתחות ראשיים, Database Migration Service מעביר את קובץ ה-snapshot הראשוני ואת הצהרות ה-INSERT הבאות במהלך שלב ה-CDC. צריך להעביר באופן ידני את ההצהרות UPDATE ו-DELETE.

      לפני שמתחילים את ההעברה, מומלץ להוסיף מפתחות ראשיים לטבלאות שאין בהן מפתחות כאלה. במאמר ניפוי באגים וכלים אחרים מוסבר איך ליצור שאילתה כדי להציג רשימה של טבלאות במסד נתונים של PostgreSQL בלי מפתחות ראשיים, או איך להעביר באופן ידני פעולות של UPDATE ו-DELETE.

      לחלופין, אתם יכולים לנסות להשתמש בתהליך ההעברה המהיר: תרחיש העברה פשוט שבו אפשר להשתמש ב-REPLICA IDENTITY כדי להעביר טבלאות בלי מפתחות ראשיים. מידע נוסף זמין במדריך שימוש בהעברות מהירות.

  8. מגדירים את הדגלים הבאים לניהול מסד הנתונים במכונה של מקור Cloud SQL:
    1. מגדירים את cloudsql.logical_decoding להיות on.
    2. מגדירים את cloudsql.enable_pglogical להיות on.
    3. מגדירים את wal_sender_timeout להיות 0. הערך 0 משבית את מנגנון הזמן הקצוב לתפוגה שמסיים חיבורי רפליקציה לא פעילים.
    4. מגדירים את max_replication_slots לפחות למספר מסדי הנתונים שרוצים להעביר כפול מספר משימות ההעברה, בתוספת רזרבות לסנכרון הטבלאות.

      לדוגמה, אם יש 5 מסדי נתונים במכונה של המקור ויוצרים 2 משימות העברה למקור הזה, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, בתוספת מספר משבצות השכפול שכבר נמצאות בשימוש במקור על ידי משימות אחרות. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, חשוב להגדיל את מספר משבצות השכפול ולאמת את ההגדרות כשאתם יוצרים את משימת ההעברה.

      ערך ברירת המחדל של הדגל הזה הוא 10.

    5. מגדירים את max_wal_senders לערך של max_replication_slots לפחות, בתוספת מספר השולחים שכבר נמצאים בשימוש במכונה.

      לדוגמה, אם הדגל max_replication_slots מוגדר לערך 10 ואתם כבר משתמשים ב-2 שולחים, מספר התהליכים של שולחי WAL שפועלים בו-זמנית יהיה 10 + 2 = 12. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות להעברת נתונים, הקפידו להגדיל את מספר השולחים ולאמת את ההגדרות כשאתם יוצרים את משימת ההעברה.

      ערך ברירת המחדל של הדגל הזה הוא 10.

    6. מגדירים את max_worker_processes לפחות למספר מסדי הנתונים שרוצים להעביר, בתוספת תהליכי ה-worker הקיימים במכונה. אם אתם מתכננים להשתמש בהגדרות מותאמות של מקביליות ב-data dump, צריך להביא בחשבון שני תהליכי עבודה נוספים לכל חיבור (עד למקסימום של 20 תהליכי עבודה).

      ערך ברירת המחדל של הדגל הזה הוא 8.

    מידע נוסף על שינוי דגלים זמין במאמר הגדרת דגלים של מסדי נתונים במסמכי התיעוד של Cloud SQL.

  9. מפעילים מחדש את מכונת המקור ב-Cloud SQL כדי שהשינויים בדגלים לניהול מסד הנתונים ייכנסו לתוקף.

המאמרים הבאים