datax3的配置问题
如何配置MySQL的增量同步？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
2
条回答
写回答
-
略
Datax本身不理解增量还是全量，需要你自行处理好这个逻辑。
一般同步分2种，全量同步和增量同步，假设从A源同步到B源。
常见的方式是每次读取A全部数据，然后覆盖写入B中(比如insert overwrite或在写之前先delete全表)，缺点是每次都要读和写全部数据。
另一种方式是每次只读取A增量的部分，一般通过记录创建时间或修改时间，然后在写入到B的时候需要做一个merge的操作，这个merge部分就需要你根据实际业务需要自行实现了。2019-07-17 20:12:29赞同 展开评论 -
实现增量同步，首先源表里必须有能够识别增量数据的字段，比如时间戳。然后同步的时候利用过滤条件根据时间戳筛选增量数据，进行同步。Datax本身是不能自己识别增量数据的
2019-07-17 20:12:29赞同 展开评论
相关问答