"麻烦问下maxcompute能不能做增量同步的操作。就是次日凌晨把mysql里面今天的发生了变更的
"麻烦问下maxcompute能不能做增量同步的操作。就是次日凌晨把mysql里面今天的发生了变更的数据同步到maxcompute? 我不希望每一次数据同步都要把旧数据全部删除后再插入。 比如1号有 id为 1-10的十条数据产生，我通过离线同步到了maxcompute, 2号这天 这十条数据里面 id=1 和id=2这两条数据发生了变更，部分字段的值更改了。同时产生了id= 11和id= 12这两条新数据。 我能不能在同步的时候只更新id=1和2的这两条数据，并且插入id=11和12的这两条数据， id=3到id=10这八条数据不去动它？直接离线同步的话就等于把旧数据全部删除了之后再拉一遍数据，消耗资源很大。还有您说的maxcompute的普通表是什么意思？还有别的类型的表吗？ 
是不是只有这种方案才能解决增量同步的问题？人工建表之后再merge？" 
"麻烦问下maxcompute能不能做增量同步的操作。就是次日凌晨把mysql里面今天的发生了变更的数据同步到maxcompute? 我不希望每一次数据同步都要把旧数据全部删除后再插入。 比如1号有 id为 1-10的十条数据产生，我通过离线同步到了maxcompute, 2号这天 这十条数据里面 id=1 和id=2这两条数据发生了变更，部分字段的值更改了。同时产生了id= 11和id= 12这两条新数据。 我能不能在同步的时候只更新id=1和2的这两条数据，并且插入id=11和12的这两条数据， id=3到id=10这八条数据不去动它？直接离线同步的话就等于把旧数据全部删除了之后再拉一遍数据，消耗资源很大。还有您说的maxcompute的普通表是什么意思？还有别的类型的表吗？ 是不是只有这种方案才能解决增量同步的问题？人工建表之后再merge？"
写回答
-
意中人就是我呀！不行呀 mc不支持更新数据 所以是join了中间表以后直接插入分区的 可以参考看下同步提速的通用方式 https://developer.aliyun.com/article/979768?spm=a2c6h.12873639.article-detail.61.7d3372fbxsL4Iz 有事务表或者公测的项目支持修改 但是集成任务作为下游还未支持。 一键实时同步到mc现在应该是可以选择不同步历史数据的 只同步实时增量数据。此回答整理自钉群“DataWorks交流群(答疑@机器人)”
2023-04-05 11:24:47赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
