读取MYSQL的binlog然后做同步数据-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

读取MYSQL的binlog然后做同步数据

2018-06-27 16:23:48 1039
关系型数据库 MySQL 数据传输
分享到
取消 提交回答
全部回答(1)
  • 2018-06-30 21:52:10
    已采纳

    详细解答可以参考官方帮助文档

    数据迁移提供的增量迁移功能目前已经放开15天的限制,所以可以使用增量迁移功能实现本地自建数据库同RDS实例的数据实时同步。

    本小节介绍如何使用DTS快速搭建本地IDC自建数据库同RDS实例之间的数据实时同步。

    同步限制

    数据源

    本地IDC自建数据库,只支持MySQL、SQLServer、PostgreSQL、MongoDB。

    准备事项

    在配置同步作业前,要确保同步作业的目标RDS实例都已经存在。如果不存在,那么请先购买实例,如果目标实例为RDS那么,那么请登陆购买RDS实例购买,如果目标实例是MongoDB,那么请登陆购买MongoDB购买。

    配置步骤

    数据传输是通过数据迁移-增量迁移实现本地自建DB同RDS实例的实时同步,下面以本地自建MySQL迁移到RDS实例为例,详细介绍下创建本地DB到RDS数据同步链路的具体步骤。其他实例类型,数据库引擎配置流程相同。

    1. 登陆数据传输DTS控制台。

      登陆DTS控制台,进入数据迁移页面。

      点击控制台右上角“创建迁移任务” 开始作业配置。

    2. 源及目标实例信息配置。

      任务配置的第一个步骤,需要配置:

      • 任务名称

        任务名称为选填项,建议填写有业务意义的名称,方便后续任务查找及任务管理。

      • 本地自建DB 连接信息

        本地自建DB的所有配置信息都为必填项,具体如下:

        • 实例类型: 有公网IP的自建数据库
        • 数据库类型: MySQL
        • 主机名或IP地址:这个地址为MySQL实例访问地址。如果本地MySQL为主备架构且主备实例前挂载了DNS地址,那么最好填写主备前端挂载的DNS连接地址,这样当MySQL发生主备切换时,不会出现同步链路中断
        • 端口:MySQL实例的监听端口
        • 数据库账号:MySQL实例的超级访问账号
        • 数据库密码:MySQL实例的访问账号对应的密码
      • 目标RDS实例的连接信息

        目标RDS实例连接信息的所有配置信息都为必填项,具体如下:

        • 实例类型:RDS实例
        • RDS实例ID: 同步链路目标RDS实例的实例ID。这个RDS实例不能为灾备实例或RDS只读实例
        • 数据库账号:目标RDS实例的读写账号
        • 数据库密码:上面数据库账号对应的密码

        RDS实例信息

    3. 授权RDS实例白名单

      这个步骤,主要是将数据传输服务器IP添加到同步RDS实例的白名单中。避免因为RDS设置了白名单,数据传输服务器连接不上RDS导致同步作业创建失败。

      当白名单授权后,点击下一步,进行迁移类型及迁移对象的选择。

    4. 选择同步对象。

      在这个步骤中,需要配置:

      • 迁移类型

        这里面的迁移类型一定要选择:结构迁移、全量数据迁移、增量数据迁移。其中:

        结构迁移、全量数据迁移会进行同步前的全量数据初始化。

        增量数据迁移会进行后续本地自建DB增量更新数据到RDS实例的实时同步。

      • 同步对象配置

        在这个步骤中,用户选择需要同步的对象,实时同步的同步对象粒度细分为库、表,即用户可以选择同步某些库或是同步某几张表。

        本地DB到RDS同步_对象选择

    5. 预检查。

      当上面所有选项配置完成后,即进入启动之前的预检查,只有当预检查通过后才能成功启动同步链路。

    6. 购买链路。

      当预检查通过后,用户需要购买迁移任务。在这个步骤中需要配置的项包括:

      • 迁移链路所在地域

        这个地域根据用户选择的目标实例,DTS会自动选择链路地域。为了提高同步性能,链路地域默认跟目标实例在一个地区。

      • 迁移链路规格

        链路迁移规格直接影响迁移性能,默认规格为:medium。

        当配置完规格,勾选 数据传输 《按量付费》 条款后,启动迁移任务即可。

        购买实例

        至此,完成本地自建DB到RDS实例的数据实时同步链路的配置。

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程