标签
PostgreSQL , 大版本升级 , rds_dbsync , pg_dump , pg_restore
背景
尽量快的大版本升级的方法。
一、9.4以下版本，使用pg_dump并行导出，pg_restore并行导入，迁移
(导出使用源版本pg_dump，导入使用目标版本pg_restore。如果是ppas请使用enterprisedb对应版本。)
1、(源库)全局元数据(用户、表空间)导出
需要superuser权限（如果你没有这个权限，跳过此步，但是务必在执行下一步时，人为在目标实例中创建所有与对象权限相关的用户）。
pg_dumpall -g -h IP地址 -p 端口 -U 用户 -W -l 数据库名AI 代码解读
2、(目标库)全局元数据导入
导入以上元数据，在目标库执行即可（通常包括创建用户，修改用户密码，创建表空间等。）AI 代码解读
执行第2步的目的是保证导入时，执行grant, alter set owner等操作时，目标用户已存在，否则缺失用户会导致pg_restore报错。
3、(目标库)建库
postgres=# create database newdb;
CREATE DATABASE
AI 代码解读
4、(目标库)插件
安装postgresql软件时，打包源库已使用的的插件。 略AI 代码解读
5、(源库)导出
mkdir /data01/pg/backup
pg_dump -j 32 -f /data01/pg/backup -F d -h IP地址 -p 端口 -U 用户 -W newdb
AI 代码解读
6、(目标实例)关闭autovacuum，加速导入(可选)
使用超级用户执行SQL
alter system set autovacuum=off;
select pg_reload_conf();
AI 代码解读
7、(目标库)导入
pg_restore -d newdb -F d -j 32 -h IP地址 -p 端口 -U 用户 /data01/pg/backup
AI 代码解读
8、(目标实例)开启autovacuum(如果执行了6)
使用超级用户执行SQL
alter system set autovacuum=on;
select pg_reload_conf();
AI 代码解读
9、(目标实例)收集统计信息(如果执行了6)
使用超级用户执行SQL，收集统计信息
\c newdb 超级用户
analyze;
AI 代码解读
使用以上方法，60GB的数据库迁移，耗时约10分钟。
多机玩法
https://momjian.us/main/blogs/pgblog/2018.html#September_12_2018
Where this gets interesting is with multiple hosts. You can:
$ # dump a remote database to your local machine
$ pg_dump -h remotedb.mydomain.com -f /home/postgres/dump.sql test
$ # dump a local database and write to a remote machine
$ pg_dump -h remotedb.mydomain.com test | ssh postgres@remotedb.mydomain.com 'cat > dump.sql'
$ # dump a remote database and write to the same remote machine
$ pg_dump -h remotedb.mydomain.com test | ssh postgres@remotedb.mydomain.com 'cat > dump.sql'
$ # or a different remote machine
$ pg_dump -h remotedb1.mydomain.com test | ssh postgres@remotedb2.mydomain.com 'cat > dump.sql'
You also have similar restore options. I will use psql below but pg_restore works the same:
$ # dump a remote database and restore to your local machine
$ pg_dump -h remotedb.mydomain.com test1 | psql test2
$ # dump a local database and restore to a remote machine
$ pg_dump -h remotedb.mydomain.com test | ssh postgres@remotedb.mydomain.com 'psql test'
$ # dump a remote database and restore to the same remote machine
$ pg_dump -h remotedb.mydomain.com test1 | ssh postgres@remotedb.mydomain.com 'psql test2'
$ # or a different remote machine
$ pg_dump -h remotedb1.mydomain.com test | ssh postgres@remotedb2.mydomain.com 'psql test'
AI 代码解读
二、9.4及以上版本，使用rds_dbsync不落地并行迁移
三、9.4及以上版本，使用pg_logical，增量迁移
四、10及以上版本，使用逻辑订阅，增量迁移
五、任何版本，都可以使用pg_upgrade升级
详见
《PostgreSQL 快速大版本升级多种方案 - 含重点介绍fast & safe upgrade to PostgreSQL 9.4 use pg_upgrade & zfs》
