使用DTS从MySQL实时同步数据到AnalyticDB for PostgreSQL

简介: DTS支持从MySQL将数据实时同步到AnalyticDB for PostgreSQL,用户可以很方便的搭建起MySQL到AnalyticDB for PostgreSQL的数据同步,轻松实现数据的流转和复杂查询的优化。

DTS支持从MySQL将数据实时同步到AnalyticDB for PostgreSQL,用户可以很方便的搭建起MySQL到AnalyticDB for PostgreSQL的数据同步,轻松实现数据的流转和复杂查询的优化。

前提条件

  • 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
  • 支持(INSERT/UPDATE/DELETE)语句的数据同步,及ALTER TABLE ADD/DROP/RENAME COLUM 的DDL语句同步,不支持 CREATE/DROP TABLE等其它 DDL 语句同步。

操作步骤

1、由于暂时不支持数据结构的迁移,所以需要先在AnalyticDB for PostgreSQL中创建对应的database、schema、table结构。

2、创建DTS同步任务

  1. 进入DTS产品详情页,点击“立即购买”
  2. 售卖页上进行各种配置,配置项说明如下表001
配置项 说明
功能 数据同步
源实例 MySQL
源实例地域 本例选择华东1(杭州)
目标实例 AnalyticDB for PostgreSQL
目标实例地域 本例选择华东1(杭州)
同步拓扑 单向同步
网络类型 专线
同步链路规格 本例选择large

在确认订单页面,勾选《数据传输服务(按量付费)服务协议》,根据提示完成支付流程。

3、配置同步链路

  1. 登录DTS控制台
  2. 在数据传输页面,单击左侧导航栏中的数据同步
  3. 选择地域
  4. 在同步作业列表中,单击目标实例右侧的配置同步链路,在选择同步通道的源及目标实例页面进行参数配置0002
  5. 完成上述配置,单击授权白名单并进入下一步
  6. 进入选择同步对象页面,完成下面步骤配置后0003

    1. 如果需要全量数据初始化,则选上全量数据初始化
    2. 对于目标表中已经存在数据的处理,有三种:

      1. 预检查并报错拦截(检查发现目标表中已有数据,则直接报错停止);
      2. 清空目标表数据(检查发现目标表中已有数据,做清空表数据操作);
      3. 无操作(无论目标表是否有数据,不做任何操作跳过)
    3. 针对OLAP类型的需求,用户可以选择同步的操作类型,默认全部同步(INSERT、UPDATE、DELETE、ALTER(目前支持add column/drop column/rename column/alter column type))
    4. 源库对象和目标库对象的对应关系为:MySQL的database.table,对应到AnalyticDB for PostgreSQL中的层级是schema.table,因此选择源库对象后,需要在已选择对象框中做对应修改,主要是MySQL的database对应到AnalyticDB for PostgreSQL的schema(不是database)!如下图0004
  7. 完成上述操作后,单击预检查并启动,弹出预检查页面

    1. 如果预检查显示失败,可以根据提示DTS预检查进行排错处理
    2. 预检查全部成功后,单击关闭

4、返回DTS控制台,在同步列表中的同步概况中查看同步延时和速度

注意事项

  • 配置同步链路过程中,如果目标表中列信息与源表不同,DTS支持字段映射功能。详细步骤参见库表列映射,再次强调MySQL中的database对应到AnalyticDB for PostgreSQL中是schema!
  • 因为不支持CREATE TABLE表结构同步,所以在同步启动前,需要在AnalyticDB for PostgreSQL中创建好对应的schema和table;在同步过程中,如果源库有create操作,需要手工在目标库中做对应测create操作,否则同步会报错。
  • DTS写入AnalyticDB for PostgreSQL的账号权限要包括SELECT、INSERT、UPDATE、DELETE、COPY、TRUNCATE、ALTER TABLE。
  • 不支持JSON、GEOMETRY、CURVE、SURFACE、MULTIPOINT、MULTILINESTRING、MULTIPOLYGON、GEOMETRYCOLLECTION类型的数据同步
相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
SQL 人工智能 关系型数据库
如何实现MySQL百万级数据的查询?
本文探讨了在MySQL中对百万级数据进行排序分页查询的优化策略。面对五百万条数据,传统的浅分页和深分页查询效率较低,尤其深分页因偏移量大导致性能显著下降。通过为排序字段添加索引、使用联合索引、手动回表等方法,有效提升了查询速度。最终建议根据业务需求选择合适方案:浅分页可加单列索引,深分页推荐联合索引或子查询优化,同时结合前端传递最后一条数据ID的方式实现高效翻页。
660 0
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
952 10
|
监控 关系型数据库 MySQL
DTS实时同步进阶:MySQL到AnalyticDB毫秒级ETL管道搭建
本方案采用“Binlog解析-数据清洗-批量写入”三级流水线架构,实现MySQL到AnalyticDB的高效同步。通过状态机解析、内存格式转换与向量化写入技术,保障毫秒级延迟(P99<300ms)、50万+ TPS吞吐及99.99%数据一致性,支持高并发、低延迟的数据实时处理场景。
485 10
|
SQL 存储 缓存
MySQL 如何高效可靠处理持久化数据
本文详细解析了 MySQL 的 SQL 执行流程、crash-safe 机制及性能优化策略。内容涵盖连接器、分析器、优化器、执行器与存储引擎的工作原理,深入探讨 redolog 与 binlog 的两阶段提交机制,并分析日志策略、组提交、脏页刷盘等关键性能优化手段,帮助提升数据库稳定性与执行效率。
393 0
|
存储 SQL 缓存
mysql数据引擎有哪些
MySQL 提供了多种存储引擎,每种引擎都有其独特的特点和适用场景。以下是一些常见的 MySQL 存储引擎及其特点:
415 0
|
存储 关系型数据库 测试技术
拯救海量数据:PostgreSQL分区表性能优化实战手册(附压测对比)
本文深入解析PostgreSQL分区表的核心原理与优化策略,涵盖性能痛点、实战案例及压测对比。首先阐述分区表作为继承表+路由规则的逻辑封装,分析分区裁剪失效、全局索引膨胀和VACUUM堆积三大性能杀手,并通过电商订单表崩溃事件说明旧分区维护的重要性。接着提出四维设计法优化分区策略,包括时间范围分区黄金法则与自动化维护体系。同时对比局部索引与全局索引性能,展示后者在特定场景下的优势。进一步探讨并行查询优化、冷热数据分层存储及故障复盘,解决分区锁竞争问题。
|
关系型数据库 分布式数据库 PolarDB
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
747 0
|
存储 缓存 关系型数据库
|
存储 SQL 并行计算
PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍(中)
PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍
967 0

相关产品

  • 云数据库 RDS PostgreSQL 版
  • 推荐镜像

    更多