请问色可以解答一下DataWorks一键实时到maxcompute增量数据归属分区问题？
请问色可以解答一下DataWorks一键实时到maxcompute增量数据归属分区问题？
写回答
-
"为何同步解决方案（mysql==》maxcompute）中源端mysql数据更新时间为28号，但是却出现在了maxcompute的base表的27号分区中？ 现象如下图（在查询odps数据的时候发现updatetime为12.28号08:33的数据所在的maxc表分区为27号分区）：
A:举例说明： 12.26号创建了一个同步解决方案（mysql一键实时同步到maxcompute）并正常提交执行。12.28号mysql中添加了一个表，希望将该表也纳入同步解决方案中，于是对同步解决方案任务进行了修改并在此提交发布执行，修改任务配置并提交执行的时间是12-28号。 基于此情况，重新提交执行的任务会做2个部分的处理 1.离线全量部分（将 2021-12-28 17:15:01时间之前的所有的mysql历史数据全部写到odps base表的27号分区去，作历史数据） 2.实时任务部分，将2021-12-28 17:15:01时间之后的数据增量写到log表的相应的分区内。作增量数据。（排查实时同步任务日志中点位记录，见下图）
用户侧mysql中updatetime为12.28号08:33的数据不在这个实时同步任务位点时间之后，其被认定为历史数据。 如何解决：当同步解决方案希望添加或者删除某些表，实时任务启动时可充值位点为当日时间0点0分0秒，如此可将增量数据全部捕获并写入目的端maxc 的log表中，第二天log表和base表合并时会将当日分区数据归纳到当日分区中去。
，此回答整理自钉群“DataWorks交流群(答疑@机器人)”"2023-05-01 15:02:25赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
