开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks为什么表里面的数据没有到最新,分区还是只到20221229?

DataWorks使用解决方案配置了一个实时同步,然后跨年的时候任务停止了,我重启后显示当前同步位点已经是最新了,但是为什么表里面的数据没有到最新,分区还是只到20221229?

展开
收起
wenti 2023-01-09 17:28:24 201 0
1 条回答
写回答
取消 提交回答
  • 如果您使用的是 ODPS 的实时同步功能,在跨年的情况下,可能会出现任务停止的情况。这是因为 ODPS 实时同步任务是通过时间戳来识别哪些数据需要同步的,而跨年后会出现时间戳回退的情况,导致实时同步任务无法正常工作。

    如果您需要跨年使用 ODPS 的实时同步功能,建议您使用其他识别方式,例如通过主键来识别新增数据。您也可以使用 DataWorks 的其他同步方式,例如手动同步或者定时同步。

    2023-01-09 21:52:22
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多