使用DTS从MySQL实时同步数据到AnalyticDB for PostgreSQL

简介: DTS支持从MySQL将数据实时同步到AnalyticDB for PostgreSQL,用户可以很方便的搭建起MySQL到AnalyticDB for PostgreSQL的数据同步,轻松实现数据的流转和复杂查询的优化。

DTS支持从MySQL将数据实时同步到AnalyticDB for PostgreSQL,用户可以很方便的搭建起MySQL到AnalyticDB for PostgreSQL的数据同步,轻松实现数据的流转和复杂查询的优化。

前提条件

  • 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
  • 支持(INSERT/UPDATE/DELETE)语句的数据同步,及ALTER TABLE ADD/DROP/RENAME COLUM 的DDL语句同步,不支持 CREATE/DROP TABLE等其它 DDL 语句同步。

操作步骤

1、由于暂时不支持数据结构的迁移,所以需要先在AnalyticDB for PostgreSQL中创建对应的database、schema、table结构。

2、创建DTS同步任务

  1. 进入DTS产品详情页,点击“立即购买”
  2. 售卖页上进行各种配置,配置项说明如下表001
配置项 说明
功能 数据同步
源实例 MySQL
源实例地域 本例选择华东1(杭州)
目标实例 AnalyticDB for PostgreSQL
目标实例地域 本例选择华东1(杭州)
同步拓扑 单向同步
网络类型 专线
同步链路规格 本例选择large

在确认订单页面,勾选《数据传输服务(按量付费)服务协议》,根据提示完成支付流程。

3、配置同步链路

  1. 登录DTS控制台
  2. 在数据传输页面,单击左侧导航栏中的数据同步
  3. 选择地域
  4. 在同步作业列表中,单击目标实例右侧的配置同步链路,在选择同步通道的源及目标实例页面进行参数配置0002
  5. 完成上述配置,单击授权白名单并进入下一步
  6. 进入选择同步对象页面,完成下面步骤配置后0003

    1. 如果需要全量数据初始化,则选上全量数据初始化
    2. 对于目标表中已经存在数据的处理,有三种:

      1. 预检查并报错拦截(检查发现目标表中已有数据,则直接报错停止);
      2. 清空目标表数据(检查发现目标表中已有数据,做清空表数据操作);
      3. 无操作(无论目标表是否有数据,不做任何操作跳过)
    3. 针对OLAP类型的需求,用户可以选择同步的操作类型,默认全部同步(INSERT、UPDATE、DELETE、ALTER(目前支持add column/drop column/rename column/alter column type))
    4. 源库对象和目标库对象的对应关系为:MySQL的database.table,对应到AnalyticDB for PostgreSQL中的层级是schema.table,因此选择源库对象后,需要在已选择对象框中做对应修改,主要是MySQL的database对应到AnalyticDB for PostgreSQL的schema(不是database)!如下图0004
  7. 完成上述操作后,单击预检查并启动,弹出预检查页面

    1. 如果预检查显示失败,可以根据提示DTS预检查进行排错处理
    2. 预检查全部成功后,单击关闭

4、返回DTS控制台,在同步列表中的同步概况中查看同步延时速度

注意事项

  • 配置同步链路过程中,如果目标表中列信息与源表不同,DTS支持字段映射功能。详细步骤参见库表列映射,再次强调MySQL中的database对应到AnalyticDB for PostgreSQL中是schema!
  • 因为不支持CREATE TABLE表结构同步,所以在同步启动前,需要在AnalyticDB for PostgreSQL中创建好对应的schema和table;在同步过程中,如果源库有create操作,需要手工在目标库中做对应测create操作,否则同步会报错。
  • DTS写入AnalyticDB for PostgreSQL的账号权限要包括SELECT、INSERT、UPDATE、DELETE、COPY、TRUNCATE、ALTER TABLE。
  • 不支持JSON、GEOMETRY、CURVE、SURFACE、MULTIPOINT、MULTILINESTRING、MULTIPOLYGON、GEOMETRYCOLLECTION类型的数据同步
相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
5月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
6月前
|
监控 关系型数据库 MySQL
DTS实时同步进阶:MySQL到AnalyticDB毫秒级ETL管道搭建
本方案采用“Binlog解析-数据清洗-批量写入”三级流水线架构,实现MySQL到AnalyticDB的高效同步。通过状态机解析、内存格式转换与向量化写入技术,保障毫秒级延迟(P99<300ms)、50万+ TPS吞吐及99.99%数据一致性,支持高并发、低延迟的数据实时处理场景。
189 10
|
10月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
973 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
SQL 关系型数据库 MySQL
实时数仓 Hologres操作报错合集之Flink CTAS Source(Mysql) 表字段从可空改为非空的原因是什么
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
SQL DataWorks 数据库连接
实时数仓 Hologres操作报错合集之如何将物理表数据写入临时表
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
243 1
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
1457 3
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
186 6
|
9月前
|
SQL 容灾 关系型数据库
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍
SQL Server 以其卓越的易用性和丰富的软件生态系统,在数据库行业中占据了显著的市场份额。作为一款商业数据库,外部厂商在通过解析原生日志实现增量数据捕获上面临很大的挑战,DTS 在 SQL Sever 数据通道上深研多年,提供了多种模式以实现 SQL Server 增量数据捕获。用户可以通过 DTS 数据传输服务,一键打破自建 SQL Server、RDS SQL Server、Azure、AWS等他云 SQL Server 数据孤岛,实现 SQL Server 数据源的流动。
574 0
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍

相关产品

  • 云数据库 RDS PostgreSQL 版