DataWorks使用解决方案配置了一个实时同步,然后跨年的时候任务停止了,我重启后显示当前同步位点已经是最新了,但是为什么表里面的数据没有到最新,分区还是只到20221229?
如果您使用的是 ODPS 的实时同步功能,在跨年的情况下,可能会出现任务停止的情况。这是因为 ODPS 实时同步任务是通过时间戳来识别哪些数据需要同步的,而跨年后会出现时间戳回退的情况,导致实时同步任务无法正常工作。
如果您需要跨年使用 ODPS 的实时同步功能,建议您使用其他识别方式,例如通过主键来识别新增数据。您也可以使用 DataWorks 的其他同步方式,例如手动同步或者定时同步。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。