DataWorks为什么表里面的数据没有到最新,分区还是只到20221229?

DataWorks使用解决方案配置了一个实时同步,然后跨年的时候任务停止了,我重启后显示当前同步位点已经是最新了,但是为什么表里面的数据没有到最新,分区还是只到20221229?

展开
收起
wenti 2023-01-09 17:28:24 236 分享 版权
1 条回答
写回答
取消 提交回答
  • 如果您使用的是 ODPS 的实时同步功能,在跨年的情况下,可能会出现任务停止的情况。这是因为 ODPS 实时同步任务是通过时间戳来识别哪些数据需要同步的,而跨年后会出现时间戳回退的情况,导致实时同步任务无法正常工作。

    如果您需要跨年使用 ODPS 的实时同步功能,建议您使用其他识别方式,例如通过主键来识别新增数据。您也可以使用 DataWorks 的其他同步方式,例如手动同步或者定时同步。

    2023-01-09 21:52:22
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理