使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL-阿里云开发者社区

开发者社区> chasewu> 正文

使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL

简介: DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。 使用DTS的前提条件 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
+关注继续查看

DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。

使用DTS的前提条件

  • 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
  • 支持(INSERT/UPDATE/DELETE)语句的数据同步,不支持DDL及其它DML 语句(TRUNCATE等)同步,不支持表结构的迁移,所以需要先手动进行表结构的迁移。
  • 仅支持 RDS PG 9.4.8以上版本作为数据源同步,ECS搭建PG 及 线下PG到 ADB for PG 的数据同步,尚未支持。
  • 不支持BIT、VARBIT、JSON、GEOMETRY、ARRAY、UUID、TSQUERY、TSVECTOR、TXID_SNAPSHOT类型的数据同步,建议 RDS PG 的JSON类型字段可以暂时同步为 ADB for PG 的 VARCHAR类型。
  • 当使用数据传输服务进行 RDS PG迁移时,在不同迁移类型情况下,源跟目标数据库的迁移帐号权限要求如下:
迁移类型 全量迁移 增量数据同步
源RDS PG实例 迁移对象的select schema的owner
目标AnalyticDB for PG实例 schema的owner schema的owner

同步步骤

1、由于暂时不支持数据结构的迁移,所以需要先在AnalyticDB for PG中创建对应的database、schema、table结构。

2、创建DTS同步任务

配置项 说明
功能 数据同步
源实例 PostgreSQL
源实例地域 本例选择华东1(杭州)
目标实例 AnalyticDB for PostgreSQL
目标实例地域 本例选择华东1(杭州)
同步拓扑 单向同步
网络类型 专线
同步链路规格 本例选择large
  • 确认订单 页面,勾选《数据传输服务(按量付费)服务协议》,根据提示完成支付流程。

3、 打开RDS PG的逻辑复制功能

由于RDS PG默认是没有打开逻辑复制功能的,所以需要在管理页面上打开逻辑复制,如下图pggp02
在“参数设置”栏中找到wal_level参数,将此参数值改为logical,特别注意,此参数修改需要重启实例才能生效,因此请评估对业务的影响,在合适的时间进行修改。

4、配置同步链路

  1. 登录DTS控制台(https://dts.console.aliyun.com)
  2. 数据传输页面,单击左侧导航栏中的数据同步
  3. 在同步作业列表中,单击目标实例右侧的配置同步链路,在选择同步通道的源及目标实例页面进行参数配置pggp03
  4. 完成上述配置,单击授权白名单并进入下一步
  5. 进入选择同步对象页面,完成下面步骤配置后pggp04
  6. 完成上述操作后,单击预检查并启动,弹出预检查页面

    1. 如果预检查显示失败,可以根据提示DTS预检查进行排错处理。
    2. 预检查全部成功后,单击关闭。

返回DTS控制台,在同步列表中的同步概况中查看同步延迟和速度

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
数据同步框架MS Sync Framework-不同场景使用例子和简要分析
上一篇http://www.cnblogs.com/2018/archive/2011/02/22/1961654.html 对这个框架一个总体介绍,这篇通过SDK内带的例子和一个综合的例子描述一下这个框架的使用 [例子基于SDK2.
838 0
PostgreSQL 双节点流复制如何同时保证可用性、可靠性(rpo,rto) - (半同步,自动降级方法实践)
PostgreSQL 双节点流复制如何同时保证可用性、可靠性(rpo,rto) - (半同步,自动降级方法实践)
515 0
linux->windows主动推送文件同步目录数据 linux-windows数据目录同步
1 .windows下安装openssh for windows工具,下载地址 https://www.mls-software.com/opensshd.html 2.修改openssh安装目录下etc/sshd_config 3.
913 0
阿里云城市服务商分享怎么使用DTS迁移PPAS数据
使用数据传输服务(DTS)将本地数据库迁移到 RDS for PPAS,可以实现应用不停服务的情况下,平滑完成数据库的迁移工作。迁移过程中,对本地的 Oracle 数据库没有影响。那么如何操作呢,湖北区域阿里云城市服务商捷讯技术告诉您怎么使用怎么使用DTS迁移PPAS数据
1463 0
使用navicat将mysql数据转换为postgresql
使用navicat将mysql数据转换为postgresql
10 0
使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL
DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。 使用DTS的前提条件 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
2236 0
如何使用AnalyticDB for PostgreSQL 6.0 进行TPC-DS 1TB数据的测试
TPC-DS是事务处理性能委员会( Transaction ProcessingPerformance Council )制定的基准程序之一。TPC-DS测试涉及24张表,工作负载包含99个SQL,主要目的是评价特定查询的决策支持能力。
2268 0
【流数据与大屏DataV】如何使用DTS,Datahub,StreamCompute,RDS及DataV搭建流数据大屏
本文主要从数字化大屏的价值及实现两方面阐述了数字化大屏的制作过程。
3250 0
+关注
chasewu
专注于分布式在线分析型数据库
5
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载