datax3的配置问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

datax3的配置问题

黄凯爱编程 2016-09-27 21:19:05 1959

如何配置MySQL的增量同步?

关系型数据库 MySQL
分享到
取消 提交回答
全部回答(2)
  • 夏舟
    2019-07-17 20:12:29

    Datax本身不理解增量还是全量,需要你自行处理好这个逻辑。
    一般同步分2种,全量同步和增量同步,假设从A源同步到B源。
    常见的方式是每次读取A全部数据,然后覆盖写入B中(比如insert overwrite或在写之前先delete全表),缺点是每次都要读和写全部数据。
    另一种方式是每次只读取A增量的部分,一般通过记录创建时间或修改时间,然后在写入到B的时候需要做一个merge的操作,这个merge部分就需要你根据实际业务需要自行实现了。

    0 0
  • crown19840421
    2019-07-17 20:12:29

    实现增量同步,首先源表里必须有能够识别增量数据的字段,比如时间戳。然后同步的时候利用过滤条件根据时间戳筛选增量数据,进行同步。Datax本身是不能自己识别增量数据的

    0 0
添加回答
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题