开发者社区> 德哥> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

PostgreSQL 最佳实践 - 逻辑增量复制(MySQL <-> PgSQL <-> PgSQL)

简介: alidecode是RDS PG提供的一个逻辑复制插件,使用它,可以将RDS PG通过逻辑复制的方式,把数据同步到线下的PostgreSQL。同时还支持将MySQL的数据同步到PostgreSQL。目前alidecode还没有对外开放下载,敬请期待。下面是使用方法。 准备工作,提交工单,开放用户的
+关注继续查看

alidecode是RDS PG提供的一个逻辑复制插件,使用它,可以将RDS PG通过逻辑复制的方式,把数据同步到线下的PostgreSQL。

同时还支持将MySQL的数据同步到PostgreSQL。

你还可用dbsync来实现平滑升级PostgreSQL的大版本,是不是很酷呢。

mysql2pgsql
https://help.aliyun.com/document_detail/35458.html

pgsql2pgsql
https://help.aliyun.com/document_detail/35459.html

源码
https://github.com/aliyun/rds_dbsync

下面是简单的使用方法。


准备工作,
提交工单,开放用户的replication角色。(目前RDS用户根账号已经默认带了replication权限,这个步骤可以忽略)

postgres=# alter role digoal replication;
ALTER ROLE

阿里云的RDS PG需要将主备的pg_hba.conf进行修正,增加replication的条目。
例子

$ vi $PGDATA/pg_hba.conf
host replication digoal 0.0.0.0/0 md5

阿里云的RDS PG需要调整主备的postgresql.conf,将wal_level改成logical。
并重启主备数据库,所以用户要开通此功能,需要重启实例哦

wal_level = logical

用户需要在RDS管控平台,配置白名单,允许alidecode客户端所在的主机连接RDS数据库。

下载alidecode客户端。
安装postgresql, mysql。(需要用到头文件)
如果你不需要将mysql的数据同步到PG,则不需要编译mysql的部分。
在Makefile和dbsync.h中注释掉mysql的部分即可。

编译前,你需要配置一下pgsync.cpp,这里需要配置三个连接串。
src对应RDS的连接串。
local对应的是一个中间库,它用来记录任务信息,记录全量同步时的增量数据(全量同步数据时,并行的接收xlog,接收的XLOG转义成SQL存在中间库)。
desc对应目标库,即数据要同步到这个库。

$ vi dbsync.cpp 
        src =   (char *)"host=digoal_111.pg.rds.aliyuncs.com port=3433 dbname=db1 user=digoal password=digoal";
        local = (char *)"host=127.0.0.1 port=1925 dbname=db2 user=postgres password=postgres";
        desc = (char *)"host=127.0.0.1 port=1925 dbname=db1 user=postgres password=postgres";

编译
$ make

alidecode不负责DDL的同步,所以DDL需要用户自己操作
例子

/home/dege.zzz/pgsql9.5/bin/pg_dump -F p -s --no-privileges --no-tablespaces --no-owner -h digoal_111.pg.rds.aliyuncs.com -p 3433 -U digoal db1 | psql db1 -f -



同步数据,执行dbsync就可以了

./dbsync 
full sync start 2016-05-26 15:35:42.336903, end 2016-05-26 15:35:42.699032 restart decoder sync
decoder sync start 2016-05-26 15:35:42.337482
decoder slot rds_logical_sync_slot exist
starting logical decoding sync thread
starting decoder apply thread
pg_recvlogical: starting log streaming at 0/0 (slot rds_logical_sync_slot)
pg_recvlogical: confirming recv up to 0/0, flush to 0/0 (slot rds_logical_sync_slot)

元数据记录在db2,如果失败要重新来过的话,建议清除它,同时清除目标库的已同步数据,然后重新调用dbsync。

db2=# \dt
             List of relations
 Schema |      Name      | Type  |  Owner   
--------+----------------+-------+----------
 public | db_sync_status | table | postgres
 public | sync_sqls      | table | postgres
(2 rows)

db2=# drop table db_sync_status ;
DROP TABLE
db2=# drop table sync_sqls ;
DROP TABLE



压测rds

pgbench -M prepared -n -r -P 1 -c 80 -j 80 -T 100 -h digoal_111o.pg.rds.aliyuncs.com -p 3433 -U digoal db1

可以看到同步的过程

pg_recvlogical: confirming recv up to 1/4EE3F08, flush to 1/4EE3F08 (slot rds_logical_sync_slot)
pg_recvlogical: confirming recv up to 1/4F8BA20, flush to 1/4F8BA20 (slot rds_logical_sync_slot)
pg_recvlogical: confirming recv up to 1/5025228, flush to 1/5025228 (slot rds_logical_sync_slot)
pg_recvlogical: confirming recv up to 1/50C6E68, flush to 1/50C6E68 (slot rds_logical_sync_slot)
pg_recvlogical: confirming recv up to 1/51578A0, flush to 1/51578A0 (slot rds_logical_sync_slot)
pg_recvlogical: confirming recv up to 1/51E7CF8, flush to 1/51E7CF8 (slot rds_logical_sync_slot)



压测完后,查看数据是否一致

psql -h 127.0.0.1 db1
db1=# select sum(hashtext(t.*::text)) from pgbench_accounts t;
      sum      
---------------
 -582104340143
(1 row)

psql -h digoal_111o.pg.rds.aliyuncs.com -p 3433 -U digoal db1
psql (9.6beta1, server 9.4.1)
Type "help" for help.

db1=> select sum(hashtext(t.*::text)) from pgbench_accounts t;
      sum      
---------------
 -582104340143
(1 row)

db_sync工具下载地址
https://github.com/aliyun/rds_dbsync

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
备份工具pg_dump的使用《postgres》
备份工具pg_dump的使用《postgres》
12 0
PostgreSQL服务器管理:高可用、负载均衡和复制
数据库服务器可以一起工作,这样如果主要的服务器失效则允许一个第二服务器快速接手它的任务(高可用性),或者可以允许多个计算机提供相同的数据(负载均衡)。理想情况下,数据库服务器能够无缝地一起工作。提供静态网页服务的网页服务器可以非常容易地通过把网页请求均衡到多个机器来组合。
3104 0
如何遏制PostgreSQL WAL的疯狂增长
如何遏制PostgreSQL WAL的疯狂增长 前言 PostgreSQL在写入频繁的场景中,可能会产生大量的WAL日志,而且WAL日志量远远超过实际更新的数据量。
1578 0
PgSQL · PostgreSQL 逻辑流复制技术的秘密
自 PostgreSQL 9.4 ,终于支持了逻辑流复制。本篇文章为大家带来这部分的技术细节的分析。 1. 背景 PostgreSQL 9.4 对逻辑流复制的支持具有相当的意义。我们可以用该技术完成很多企业级的需求。 PostgreSQL 的大版本升级,由于可以使用流复制做增量数据同步,所以停机服务时间会非常短。 PostgreSQL 自定义逻辑拆库。由于是逻辑数据,所以很容易自定义分发
5094 0
PostgreSQL、Greenplum DML合并操作 最佳实践
标签 PostgreSQL , Greenplum , 合并删除 , 合并更新 , 合并DML 背景 在很多场景中会涉及到数据的合并,比如 1. 某业务系统的总用户有1亿,每天的活跃用户有100万,新增用户10万,每天需要将新增、活跃用户的数据(比如他们的余额变化、等等)合并到数据仓库的用户信息表。
3015 0
PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)方案与实战
背景 在实际的生产环境中, 当数据库越来越多, 越来越大. 备份可能会成为比较大的问题, 传统的逻辑备份对于大的数据库不适用(因为备份和还原可能是比较耗时的, 而且也不能回到任意时间点, 还会造成数据库膨胀(长时间repeatable read iso), 好处是可以跨平台恢复, 可选恢复表
5814 0
+关注
德哥
公益是一辈子的事, I&#39;m digoal, just do it.
2153
文章
245
问答
来源圈子
更多
让用户数据永远在线,让数据无缝的自由流动
+ 订阅
相关文档: 云数据库 OceanBase 版 可信账本数据库 云原生关系型数据库 PolarDB PostgreSQL引擎
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载