本页面介绍了如何为标准同构 PostgreSQL 迁移配置源数据库实例。如果您想使用快速启动迁移,请按照
使用快速启动迁移指南进行操作。快速启动迁移提供简化的迁移流程,该流程使用 pgnative 复制和基于 Private Service Connect 接口的专用连接。如需了解详情,请参阅 Database Migration Service 主文档中的
快速启动迁移简介。
此页面包含每个受支持来源的相关部分:
- 自行管理的 PostgreSQL(在本地或 Compute Engine 虚拟机上)
- Amazon RDS for PostgreSQL
- Amazon Aurora for PostgreSQL
- Microsoft Azure Database for PostgreSQL Flexible Server
- Cloud SQL for PostgreSQL
配置自行管理的 PostgreSQL 来源
如需为迁移过程配置自行管理的 PostgreSQL 源实例(本地或托管在 Compute Engine 虚拟机上),请执行以下操作:
- 对于自行管理的 PostgreSQL 来源,Database Migration Service 会迁移来源实例下的所有数据库,模板数据库
template0和template1除外。 - 确保源实例包含默认的
postgres数据库。 如果此数据库不存在,请在配置迁移之前创建它。 - 在
pg_hba.conf文件中配置网络客户端身份验证。 添加条目,以允许来自目标 Cloud SQL 出站 IP 地址、VPC CIDR 范围或反向 SSH 堡垒主机的复制连接和数据库访问:# Allow replication connections host replication MIGRATION_USER_ACCOUNT_NAME DESTINATION_IP_OR_CIDR md5 # Allow database access host all MIGRATION_USER_ACCOUNT_NAME DESTINATION_IP_OR_CIDR md5
重新加载 PostgreSQL 配置以应用
pg_hba.conf规则:SELECT pg_reload_conf();
- 验证源数据库上安装的 PostgreSQL 扩展程序。
Database Migration Service 不会迁移 Cloud SQL 不支持的扩展程序。验证源数据库对象和应用查询是否未引用不受支持的扩展程序。
请先从源数据库中移除不受支持的扩展程序和引用,然后再继续。
Database Migration Service 不会自动迁移
pg_cron扩展程序,但 Cloud SQL for PostgreSQL 目标数据库支持该扩展程序。 如果您在源数据库中使用pg_cron,请在提升迁移后在目标实例上重新安装并配置它。 - 在源实例中创建专用的迁移用户账号,并向其授予必要的权限:
- 使用管理员账号连接到源实例,创建用户并分配复制角色:
CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD'; ALTER USER MIGRATION_USER_ACCOUNT_NAME WITH REPLICATION;
- 向迁移用户账号授予默认
postgres数据库以及您要迁移的每个数据库所需的权限。在每个数据库上针对每个架构(信息架构和以pg_开头的架构除外)运行以下命令:GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT USAGE ON SCHEMA pglogical TO PUBLIC; GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
- 使用管理员账号连接到源实例,创建用户并分配复制角色:
- 在要迁移的每个数据库(不包括
template0和template1)上安装pglogical扩展程序:- 对于 PostgreSQL 9.4 版:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical; CREATE EXTENSION IF NOT EXISTS pglogical_origin;
- 对于 PostgreSQL 9.5 及更高版本:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical;
- 对于 PostgreSQL 9.4 版:运行以下命令:
- 验证您的表是否具有主键。对于持续迁移,PostgreSQL 逻辑复制要求表具有主键,以便在变更数据捕获 (CDC) 阶段复制
UPDATE和DELETE操作:- 具有主键的表会自动复制所有
INSERT、UPDATE和DELETE操作。 - 对于没有主键的表,Database Migration Service 仅支持在 CDC 阶段迁移初始快照和后续
INSERT语句。您必须手动迁移UPDATE和DELETE语句。我们建议您在开始迁移之前,先向没有主键的表添加主键。 如需了解如何生成查询以列出 PostgreSQL 数据库中没有主键的表,或如何手动迁移
UPDATE和DELETE操作,请参阅 调试和其他工具。或者,您也可以尝试使用快速启动迁移流程:一种简化的迁移场景,您可以在其中使用
REPLICA IDENTITY迁移没有主键的表。如需了解详情,请参阅 使用快速启动迁移功能指南。
- 具有主键的表会自动复制所有
- 运行 PostgreSQL 9.5 及更早版本的来源:对于运行 9.6 之前 PostgreSQL 版本的来源实例,复制延迟指标不可用。如果您想使用此指标跟踪迁移进度,请参阅 启用复制延迟。
- 在 PostgreSQL 服务器上安装
pglogical软件包并配置 WAL 和复制参数:- 在数据库服务器主机操作系统上安装
pglogical软件包。 如需了解适用于您的发行版的软件包和安装说明,请参阅 pglogical GitHub 代码库。 - 使用管理员账号连接到 PostgreSQL 实例,并设置以下参数:
- 将
shared_preload_libraries设置为包含'pglogical':ALTER SYSTEM SET shared_preload_libraries = 'pglogical';
- 将
wal_level设置为'logical':ALTER SYSTEM SET wal_level = 'logical';
请参阅 PostgreSQL 文档中的
wal_level。 - 将
wal_sender_timeout设置为0:ALTER SYSTEM SET wal_sender_timeout = 0;
0值会停用用于终止非活跃复制连接的超时机制。 请参阅wal_sender_timeout。 - 将
max_replication_slots至少设置为要迁移的数据库数量乘以迁移作业数量,再加上表同步的预留数量:例如,如果源实例上有 5 个数据库,并且您为该源创建了 2 个迁移作业,那么复制槽的数量必须至少为 5 * 2 = 10,再加上其他任务已在源上使用的复制槽数量。如果您计划使用调整后的数据转储并行设置,请务必增加复制槽的数量,并在创建迁移作业时 运行迁移作业测试来验证您的配置。
ALTER SYSTEM SET max_replication_slots = MAX_REPLICATION_SLOTS;
此参数的默认值为 10。请参阅
max_replication_slots。 - 将
max_wal_senders设置为至少是max_replication_slots的值加上实例中已使用的发送方数量:例如,如果
max_replication_slots参数设置为10,并且您已经使用 2 个发送器,则同时运行的 WAL 发送器进程的数量将为 10 + 2 = 12。 如果您计划使用调整后的数据转储并行设置,请务必增加发送器数量,并在创建迁移作业时 运行迁移作业测试来验证配置。ALTER SYSTEM SET max_wal_senders = MAX_WAL_SENDERS;
此参数的默认值为 10。请参阅
max_wal_senders。 - 将
max_worker_processes设置为至少是待迁移数据库的数量加上实例上现有的工作器进程数量。如果您计划使用调整后的数据转储并行设置,请为每个连接额外考虑两个工作器进程(最多 20 个工作器):ALTER SYSTEM SET max_worker_processes = MAX_WORKER_PROCESSES;
此参数的默认值为 8。请参阅
max_worker_processes。
- 将
- 在数据库服务器主机操作系统上安装
- 重启 PostgreSQL 服务器,使配置更改生效。
配置 Amazon RDS for PostgreSQL 来源
如需为迁移过程配置 Amazon RDS for PostgreSQL 源实例,请执行以下操作:
- 对于 Amazon RDS for PostgreSQL 来源,Database Migration Service 会迁移来源实例下的所有数据库,但模板数据库
template0、template1和 AWS 内部数据库rdsadmin除外。 - 确保源实例包含默认的
postgres数据库。 如果此数据库不存在,请在配置迁移之前创建它。 - 配置 Amazon RDS VPC 安全群组入站规则。
允许来自目标 Cloud SQL 出站 IP 地址、VPC CIDR 范围或反向 SSH 堡垒机虚拟机在端口
5432上的传入 TCP 连接。 - 验证源数据库上安装的 PostgreSQL 扩展程序。
Database Migration Service 不会迁移 Cloud SQL 不支持的扩展程序。验证源数据库对象和应用查询是否未引用不受支持的扩展程序。
请先从源数据库中移除不受支持的扩展程序和引用,然后再继续。
Database Migration Service 不会自动迁移
pg_cron扩展程序,但 Cloud SQL for PostgreSQL 目标数据库支持该扩展程序。 如果您在源数据库中使用pg_cron,请在提升迁移后在目标实例上重新安装并配置它。 - 在源实例中创建专用的迁移用户账号,并向其授予必要的权限:
- 使用管理员账号连接到源实例,创建用户,并授予 AWS 管理的
rds_replication角色:CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD'; GRANT rds_replication TO "MIGRATION_USER_ACCOUNT_NAME";
- 向迁移用户账号授予默认
postgres数据库以及您要迁移的每个数据库所需的权限。在每个数据库上针对每个架构(信息架构和以pg_开头的架构除外)运行以下命令:GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT USAGE ON SCHEMA pglogical TO PUBLIC; GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
- 使用管理员账号连接到源实例,创建用户,并授予 AWS 管理的
- 在要迁移的每个数据库(不包括
template0、template1和rdsadmin)上安装pglogical扩展程序:- 对于 PostgreSQL 9.4 版:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical; CREATE EXTENSION IF NOT EXISTS pglogical_origin;
- 对于 PostgreSQL 9.5 及更高版本:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical;
如需详细了解相关要求,请参阅 AWS 文档中的 将 PostgreSQL 扩展程序与 Amazon RDS for PostgreSQL 搭配使用。
- 对于 PostgreSQL 9.4 版:运行以下命令:
- 验证您的表是否具有主键。对于持续迁移,PostgreSQL 逻辑复制要求表具有主键,以便在变更数据捕获 (CDC) 阶段复制
UPDATE和DELETE操作:- 具有主键的表会自动复制所有
INSERT、UPDATE和DELETE操作。 - 对于没有主键的表,Database Migration Service 仅支持在 CDC 阶段迁移初始快照和后续
INSERT语句。您必须手动迁移UPDATE和DELETE语句。我们建议您在开始迁移之前,先向没有主键的表添加主键。 如需了解如何生成查询以列出 PostgreSQL 数据库中没有主键的表,或如何手动迁移
UPDATE和DELETE操作,请参阅 调试和其他工具。或者,您也可以尝试使用快速启动迁移流程:一种简化的迁移场景,您可以在其中使用
REPLICA IDENTITY迁移没有主键的表。如需了解详情,请参阅 使用快速启动迁移功能指南。
- 具有主键的表会自动复制所有
- 运行 PostgreSQL 9.5 及更早版本的来源:对于运行 9.6 之前 PostgreSQL 版本的来源实例,复制延迟指标不可用。如果您想使用此指标跟踪迁移进度,请参阅 启用复制延迟。
- 配置自定义数据库参数组并将其附加到实例:
- 创建自定义参数组(请参阅 AWS 文档中的
使用数据库参数组),并配置以下参数:
- 将
shared_preload_libraries设置为包含pglogical。 - 将
rds.logical_replication设置为1。此参数会在 Amazon RDS 中启用逻辑 WAL 日志记录。 请参阅 Amazon RDS for PostgreSQL 的逻辑复制。 - 将
wal_sender_timeout设置为0。值0可停用用于终止非活跃复制连接的超时机制。 - 将
max_replication_slots至少设置为要迁移的数据库数量乘以迁移作业数量,再加上表同步的预留数量:例如,如果源实例上有 5 个数据库,并且您为该源创建了 2 个迁移作业,那么复制槽的数量必须至少为 5 * 2 = 10,再加上其他任务已在源上使用的复制槽数量。如果您计划使用调整后的数据转储并行设置,请务必增加复制槽的数量,并在创建迁移作业时 运行迁移作业测试来验证您的配置。
此参数的默认值为 10。
- 将
max_wal_senders设置为至少是max_replication_slots的值加上实例中已使用的发送方数量:例如,如果
max_replication_slots参数设置为10,并且您已经使用 2 个发送器,则同时运行的 WAL 发送器进程的数量将为 10 + 2 = 12。 如果您计划使用调整后的数据转储并行设置,请务必增加发送器数量,并在创建迁移作业时 运行迁移作业测试来验证配置。此参数的默认值为 10。
- 将
max_worker_processes设置为至少是待迁移数据库的数量加上实例上现有工作器进程的数量。如果您计划使用调整后的数据转储并行设置,请为每个连接额外考虑两个工作器进程(最多 20 个工作器):此参数的默认值为 8。
- 将
- 将参数组附加到 RDS 数据库实例。如果您要创建新实例,可以在其他配置下找到此选项。否则,请修改实例以附加参数组。
- 创建自定义参数组(请参阅 AWS 文档中的
使用数据库参数组),并配置以下参数:
- 重启 Amazon RDS 实例,使参数组更改生效。
配置 Amazon Aurora for PostgreSQL 来源
如需为迁移过程配置 Amazon Aurora PostgreSQL 源集群,请执行以下操作:
- 对于 Amazon Aurora for PostgreSQL 来源,Database Migration Service 会迁移源集群下的所有数据库,但模板数据库
template0、template1和 AWS 内部数据库rdsadmin除外。 - 确保源集群包含默认的
postgres数据库。 如果此数据库不存在,请在配置迁移之前创建它。 - 配置 Amazon Aurora 集群 VPC 安全群组入站规则。
允许来自目标 Cloud SQL 出站 IP 地址、VPC CIDR 范围或反向 SSH 堡垒机虚拟机在端口
5432上的传入 TCP 连接。 - 验证源数据库上安装的 PostgreSQL 扩展程序。
Database Migration Service 不会迁移 Cloud SQL 不支持的扩展程序。验证源数据库对象和应用查询是否未引用不受支持的扩展程序。
请先从源数据库中移除不受支持的扩展程序和引用,然后再继续。
Database Migration Service 不会自动迁移
pg_cron扩展程序,但 Cloud SQL for PostgreSQL 目标数据库支持该扩展程序。 如果您在源数据库中使用pg_cron,请在提升迁移后在目标实例上重新安装并配置它。 - 在源集群中创建专用的迁移用户账号,并向其授予必要的权限:
- 使用管理员账号连接到源集群,创建用户,并授予 AWS 管理的
rds_replication角色:CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD'; GRANT rds_replication TO "MIGRATION_USER_ACCOUNT_NAME";
- 向迁移用户账号授予默认
postgres数据库以及您要迁移的每个数据库所需的权限。在每个数据库上针对每个架构(信息架构和以pg_开头的架构除外)运行以下命令:GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT USAGE ON SCHEMA pglogical TO PUBLIC; GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
- 使用管理员账号连接到源集群,创建用户,并授予 AWS 管理的
- 在要迁移的每个数据库(不包括
template0、template1和rdsadmin)上安装pglogical扩展程序:CREATE EXTENSION IF NOT EXISTS pglogical;
- 验证您的表是否具有主键。对于持续迁移,PostgreSQL 逻辑复制要求表具有主键,以便在变更数据捕获 (CDC) 阶段复制
UPDATE和DELETE操作:- 具有主键的表会自动复制所有
INSERT、UPDATE和DELETE操作。 - 对于没有主键的表,Database Migration Service 仅支持在 CDC 阶段迁移初始快照和后续
INSERT语句。您必须手动迁移UPDATE和DELETE语句。我们建议您在开始迁移之前,先向没有主键的表添加主键。 如需了解如何生成查询以列出 PostgreSQL 数据库中没有主键的表,或如何手动迁移
UPDATE和DELETE操作,请参阅 调试和其他工具。或者,您也可以尝试使用快速启动迁移流程:一种简化的迁移场景,您可以在其中使用
REPLICA IDENTITY迁移没有主键的表。如需了解详情,请参阅 使用快速启动迁移功能指南。
- 具有主键的表会自动复制所有
- 配置自定义数据库集群参数组,并将其附加到您的集群:
- 创建自定义数据库集群参数组,并配置以下参数:
- 将
shared_preload_libraries设置为包含pglogical。 - 将
rds.logical_replication设置为1。此参数可启用逻辑 WAL 日志记录。 - 将
wal_sender_timeout设置为0。值0可停用用于终止非活跃复制连接的超时机制。 - 将
max_replication_slots至少设置为要迁移的数据库数量乘以迁移作业数量,再加上表同步的预留数量:例如,如果源实例上有 5 个数据库,并且您为该源创建了 2 个迁移作业,那么复制槽的数量必须至少为 5 * 2 = 10,再加上其他任务已在源上使用的复制槽数量。如果您计划使用调整后的数据转储并行设置,请务必增加复制槽的数量,并在创建迁移作业时 运行迁移作业测试来验证您的配置。
此参数的默认值为 10。
- 将
max_wal_senders设置为至少是max_replication_slots的值加上实例中已使用的发送方数量:例如,如果
max_replication_slots参数设置为10,并且您已经使用 2 个发送器,则同时运行的 WAL 发送器进程的数量将为 10 + 2 = 12。 如果您计划使用调整后的数据转储并行设置,请务必增加发送器数量,并在创建迁移作业时 运行迁移作业测试来验证配置。此参数的默认值为 10。
- 将
max_worker_processes设置为至少是待迁移数据库的数量加上实例上现有工作器进程的数量。如果您计划使用调整后的数据转储并行设置,请为每个连接额外考虑两个工作器进程(最多 20 个工作器):此参数的默认值为 8。
- 将
- 将数据库集群参数组附加到 Aurora 数据库集群。
- 创建自定义数据库集群参数组,并配置以下参数:
- 重启 Amazon Aurora 数据库集群,使参数组更改生效。
配置 Microsoft Azure Database for PostgreSQL Flexible Server 来源
如需为迁移过程配置 Microsoft Azure Database for PostgreSQL Flexible Server 源实例,请执行以下操作:
- 对于 Microsoft Azure Database for PostgreSQL Flexible Server 源,Database Migration Service 会迁移源实例下的所有数据库,但不包括 Azure 系统和模板数据库:
azure_maintenance、azure_sys、template0和template1。 - 确保源实例包含默认的
postgres数据库。 如果此数据库不存在,请在配置迁移之前创建它。 - 配置 Azure 防火墙和 SSL/TLS 设置:
- 在 Azure 网络设置中,添加防火墙规则,以允许来自目标 Cloud SQL 出站 IP 地址、VPC CIDR 范围或反向 SSH 堡垒机虚拟机在端口
5432上的入站 TCP 连接。 - 检查
require_secure_transport服务器参数的值。 默认情况下,Azure 数据库要求对传入连接使用 SSL/TLS 加密。根据require_secure_transport设置,在创建来源连接配置文件时,选择以下加密设置之一:- 如果
require_secure_transport设置为on,请选择基本、TLS 或 mTLS。 - 如果
require_secure_transport设置为off,请选择无。
- 如果
- 在 Azure 网络设置中,添加防火墙规则,以允许来自目标 Cloud SQL 出站 IP 地址、VPC CIDR 范围或反向 SSH 堡垒机虚拟机在端口
- 验证源数据库上安装的 PostgreSQL 扩展程序。
Database Migration Service 不会迁移 Cloud SQL 不支持的扩展程序。验证源数据库对象和应用查询是否未引用不受支持的扩展程序。
请先从源数据库中移除不受支持的扩展程序和引用,然后再继续。
Database Migration Service 不会自动迁移
pg_cron扩展程序,但 Cloud SQL for PostgreSQL 目标数据库支持该扩展程序。 如果您在源数据库中使用pg_cron,请在提升迁移后在目标实例上重新安装并配置它。 - 在源实例中创建专用的迁移用户账号,并向其授予必要的权限:
- 使用管理员账号连接到源实例,创建用户并分配复制角色:
CREATE USER MIGRATION_USER_ACCOUNT_NAME WITH PASSWORD 'PASSWORD'; ALTER USER MIGRATION_USER_ACCOUNT_NAME WITH REPLICATION;
- 向迁移用户账号授予默认
postgres数据库以及您要迁移的每个数据库所需的权限。在每个数据库上针对每个架构(信息架构和以pg_开头的架构除外)运行以下命令:GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT USAGE ON SCHEMA pglogical TO PUBLIC; GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
- 使用管理员账号连接到源实例,创建用户并分配复制角色:
- 在要迁移的每个数据库(不包括
azure_maintenance、azure_sys、template0和template1)上安装pglogical扩展程序:- 对于 PostgreSQL 9.4 版:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical; CREATE EXTENSION IF NOT EXISTS pglogical_origin;
- 对于 PostgreSQL 9.5 及更高版本:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical;
- 对于 PostgreSQL 9.4 版:运行以下命令:
- 验证您的表是否具有主键。对于持续迁移,PostgreSQL 逻辑复制要求表具有主键,以便在变更数据捕获 (CDC) 阶段复制
UPDATE和DELETE操作:- 具有主键的表会自动复制所有
INSERT、UPDATE和DELETE操作。 - 对于没有主键的表,Database Migration Service 仅支持在 CDC 阶段迁移初始快照和后续
INSERT语句。您必须手动迁移UPDATE和DELETE语句。我们建议您在开始迁移之前,向没有主键的表添加主键。 如需了解如何生成查询以列出 PostgreSQL 数据库中没有主键的表,或如何手动迁移
UPDATE和DELETE操作,请参阅 调试和其他工具。或者,您也可以尝试使用快速启动迁移流程:一种简化的迁移场景,您可以在其中使用
REPLICA IDENTITY迁移没有主键的表。如需了解详情,请参阅 使用快速启动迁移功能指南。
- 具有主键的表会自动复制所有
- 运行 PostgreSQL 9.5 及更早版本的来源:对于运行 9.6 之前 PostgreSQL 版本的来源实例,复制延迟指标不可用。如果您想使用此指标跟踪迁移进度,请参阅 启用复制延迟。
- 在 Azure 中配置以下服务器参数。如需了解详情,请参阅在 Azure Database for PostgreSQL 中配置服务器参数。
- 将
shared_preload_libraries设置为包含pglogical。 - 将
azure.extensions设置为包含pglogical。 - 将
wal_level设置为logical。 - 将
wal_sender_timeout设置为0。值0可停用用于终止非活跃复制连接的超时机制。 - 将
max_replication_slots设置为至少等于要迁移的数据库数量乘以迁移作业数量,再加上表同步的预留数量:例如,如果源实例上有 5 个数据库,并且您为该源创建了 2 个迁移作业,那么复制槽的数量必须至少为 5 * 2 = 10,再加上其他任务已在源上使用的复制槽数量。 如果您计划使用调整后的数据转储并行设置,请务必增加复制槽的数量,并在创建迁移作业时 运行迁移作业测试来验证您的配置。
此参数的默认值为 10。
- 将
max_wal_senders设置为至少是max_replication_slots的值加上实例中已使用的发送方数量:例如,如果
max_replication_slots参数设置为10,并且您已经使用 2 个发送器,则同时运行的 WAL 发送器进程的数量将为 10 + 2 = 12。 如果您计划使用调整后的数据转储并行设置,请务必增加发送器数量,并在创建迁移作业时 运行迁移作业测试来验证配置。此参数的默认值为 10。
- 将
max_worker_processes设置为至少是待迁移数据库的数量加上实例上现有的工作器进程数量。 如果您计划使用调整后的数据转储并行设置,请为每个连接额外考虑两个工作器进程(最多 20 个工作器):此参数的默认值为 8。
如需了解更多参数详情,请参阅 Microsoft 文档中 Azure Database for PostgreSQL 中的所有服务器参数列表。
- 将
- 重启 Microsoft Azure Database for PostgreSQL Flexible Server 实例,使服务器参数更改生效。
配置 Cloud SQL for PostgreSQL 来源
如需为迁移过程配置 Cloud SQL for PostgreSQL 源实例,请执行以下操作:
- 对于 Cloud SQL for PostgreSQL 源,Database Migration Service 会迁移源实例下的所有数据库,模板数据库
template0和template1除外。 - 确保源实例包含默认的
postgres数据库。 如果此数据库不存在,请在配置迁移之前创建它。 - 如果您从配置了专用 IP 地址的 Cloud SQL 源实例迁移到使用非 RFC 1918 地址 IP 范围的 Cloud SQL 目标实例,请将非 RFC 1918 范围添加到源实例的已获授权的网络。如需了解详情,请参阅 配置已获授权的网络。
- 验证源数据库上安装的 PostgreSQL 扩展程序。
Database Migration Service 不会迁移
Cloud SQL 不支持的扩展程序。验证源数据库对象和应用查询是否未引用不受支持的扩展程序。请先从源数据库中移除不受支持的扩展程序和引用,然后再继续。
Database Migration Service 不会自动迁移
pg_cron扩展程序,但 Cloud SQL for PostgreSQL 目标数据库支持该扩展程序。如果您在源数据库中使用pg_cron,请在提升迁移后在目标实例上重新安装并配置它。 - 在源实例中创建专用的迁移用户账号,并向其授予必要的权限:
- 按照 Cloud SQL 文档中 创建用户页面上的步骤操作。
- 向迁移用户账号授予默认
postgres数据库以及您要迁移的每个数据库所需的权限。在每个数据库上针对每个架构(信息架构和以pg_开头的架构除外)运行以下命令:GRANT USAGE ON SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT USAGE ON SCHEMA pglogical TO PUBLIC; GRANT SELECT ON ALL TABLES IN SCHEMA pglogical TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME"; GRANT SELECT ON ALL SEQUENCES IN SCHEMA SCHEMA_NAME TO "MIGRATION_USER_ACCOUNT_NAME";
- 在要迁移的每个数据库(不包括
template0和template1)上安装pglogical扩展程序:- 对于 PostgreSQL 9.4 版:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical; CREATE EXTENSION IF NOT EXISTS pglogical_origin;
- 对于 PostgreSQL 9.5 及更高版本:运行以下命令:
CREATE EXTENSION IF NOT EXISTS pglogical;
- 对于 PostgreSQL 9.4 版:运行以下命令:
- 验证您的表是否具有主键。对于持续迁移,PostgreSQL 逻辑复制要求表具有主键,以便在变更数据捕获 (CDC) 阶段复制
UPDATE和DELETE操作:- 具有主键的表会自动复制所有
INSERT、UPDATE和DELETE操作。 - 对于没有主键的表,Database Migration Service 会在 CDC 阶段迁移初始快照和后续
INSERT语句。您必须手动迁移UPDATE和DELETE语句。我们建议您在开始迁移之前,向没有主键的表添加主键。 如需了解如何生成查询以列出 PostgreSQL 数据库中没有主键的表,或如何手动迁移
UPDATE和DELETE操作,请参阅 调试和其他工具。或者,您也可以尝试使用快速启动迁移流程:一种简化的迁移场景,您可以在其中使用
REPLICA IDENTITY迁移没有主键的表。如需了解详情,请参阅 使用快速启动迁移功能指南。
- 具有主键的表会自动复制所有
- 运行 PostgreSQL 9.5 及更早版本的来源:对于运行 9.6 之前 PostgreSQL 版本的来源实例,复制延迟指标不可用。如果您想使用此指标跟踪迁移进度,请参阅 启用复制延迟。
- 在 Cloud SQL 源实例上配置以下数据库标志:
- 将
cloudsql.logical_decoding设置为on。 - 将
cloudsql.enable_pglogical设置为on。 - 将
wal_sender_timeout设置为0。值0可停用用于终止非活跃复制连接的超时机制。 - 将
max_replication_slots至少设置为要迁移的数据库数量乘以迁移作业数量,再加上表同步的预留数量例如,如果源实例上有 5 个数据库,并且您为该源创建了 2 个迁移作业,那么复制槽的数量必须至少为 5 * 2 = 10,再加上源上已被其他任务使用的复制槽数量。 如果您计划使用调整后的数据转储并行设置,请务必增加复制槽的数量,并在创建迁移作业时 运行迁移作业测试来验证您的配置。
此标志的默认值为 10。
- 将
max_wal_senders设置为至少是max_replication_slots的值加上实例中已使用的发送方数量。例如,如果
max_replication_slots标志设置为10,并且您已经使用 2 个发送器,则同时运行的 WAL 发送器进程的数量将为 10 + 2 = 12。 如果您计划使用调整后的数据转储并行设置,请务必增加发送器数量,并在创建迁移作业时 运行迁移作业测试来验证配置。此标志的默认值为 10。
- 将
max_worker_processes设置为至少是待迁移数据库的数量加上实例上现有的工作器进程数量。 如果您打算使用调整后的数据转储并行设置,请为每个连接额外考虑两个工作器进程(最多 20 个工作器)。此标志的默认值为 8。
如需详细了解如何修改标志,请参阅 Cloud SQL 文档中的配置数据库标志。
- 将
- 重启源 Cloud SQL 实例,使数据库标志更改生效。
后续步骤
如需查看完整的逐步迁移演示,请参阅 开始使用 Cloud SQL for PostgreSQL 迁移。
如需规划源实例和目标实例之间的网络连接,请参阅 网络概览。