读取MYSQL的binlog然后做同步数据

详细解答可以参考官方帮助文档

数据迁移提供的增量迁移功能目前已经放开15天的限制，所以可以使用增量迁移功能实现本地自建数据库同RDS实例的数据实时同步。

本小节介绍如何使用DTS快速搭建本地IDC自建数据库同RDS实例之间的数据实时同步。

同步限制

数据源

本地IDC自建数据库，只支持MySQL、SQLServer、PostgreSQL、MongoDB。

准备事项

在配置同步作业前，要确保同步作业的目标RDS实例都已经存在。如果不存在，那么请先购买实例，如果目标实例为RDS那么，那么请登陆购买RDS实例购买，如果目标实例是MongoDB,那么请登陆购买MongoDB购买。

配置步骤

数据传输是通过数据迁移－增量迁移实现本地自建DB同RDS实例的实时同步，下面以本地自建MySQL迁移到RDS实例为例，详细介绍下创建本地DB到RDS数据同步链路的具体步骤。其他实例类型，数据库引擎配置流程相同。

1. 登陆数据传输DTS控制台。

   登陆DTS控制台，进入数据迁移页面。

   点击控制台右上角“创建迁移任务” 开始作业配置。

2. 源及目标实例信息配置。

   任务配置的第一个步骤，需要配置：

   • 任务名称

     任务名称为选填项，建议填写有业务意义的名称，方便后续任务查找及任务管理。

   • 本地自建DB 连接信息

     本地自建DB的所有配置信息都为必填项，具体如下：

     • 实例类型： 有公网IP的自建数据库
     • 数据库类型： MySQL
     • 主机名或IP地址：这个地址为MySQL实例访问地址。如果本地MySQL为主备架构且主备实例前挂载了DNS地址，那么最好填写主备前端挂载的DNS连接地址，这样当MySQL发生主备切换时，不会出现同步链路中断
     • 端口：MySQL实例的监听端口
     • 数据库账号：MySQL实例的超级访问账号
     • 数据库密码：MySQL实例的访问账号对应的密码

   • 目标RDS实例的连接信息

     目标RDS实例连接信息的所有配置信息都为必填项，具体如下：

     • 实例类型：RDS实例
     • RDS实例ID: 同步链路目标RDS实例的实例ID。这个RDS实例不能为灾备实例或RDS只读实例
     • 数据库账号：目标RDS实例的读写账号
     • 数据库密码：上面数据库账号对应的密码

     

3. 授权RDS实例白名单

   这个步骤，主要是将数据传输服务器IP添加到同步RDS实例的白名单中。避免因为RDS设置了白名单，数据传输服务器连接不上RDS导致同步作业创建失败。

   当白名单授权后，点击下一步，进行迁移类型及迁移对象的选择。

4. 选择同步对象。

   在这个步骤中，需要配置：

   • 迁移类型

     这里面的迁移类型一定要选择：结构迁移、全量数据迁移、增量数据迁移。其中：

     结构迁移、全量数据迁移会进行同步前的全量数据初始化。

     增量数据迁移会进行后续本地自建DB增量更新数据到RDS实例的实时同步。

   • 同步对象配置

     在这个步骤中，用户选择需要同步的对象，实时同步的同步对象粒度细分为库、表,即用户可以选择同步某些库或是同步某几张表。

     

5. 预检查。

   当上面所有选项配置完成后，即进入启动之前的预检查，只有当预检查通过后才能成功启动同步链路。

6. 购买链路。

   当预检查通过后，用户需要购买迁移任务。在这个步骤中需要配置的项包括：

   • 迁移链路所在地域

     这个地域根据用户选择的目标实例，DTS会自动选择链路地域。为了提高同步性能，链路地域默认跟目标实例在一个地区。

   • 迁移链路规格

     链路迁移规格直接影响迁移性能，默认规格为：medium。

     当配置完规格，勾选 数据传输 《按量付费》 条款后，启动迁移任务即可。

     

     至此，完成本地自建DB到RDS实例的数据实时同步链路的配置。