老师,Dataworks脚本模式下 "truncate":false 后,帮忙看下原因?

老师,Dataworks脚本模式下 "truncate":false 后,仍旧是insert overwrite ,帮忙看下原因?image.png
image.png
但是一直是truncate的 无法保留历史数据

展开
收起
真的很搞笑 2023-07-12 08:13:54 120 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云 DataWorks 的脚本模式下,如果您在执行数据同步任务时设置 "truncate": false,表示不清空目标表,而是保留原有数据并在其基础上增量同步数据。
    可能的原因如下:
    保留历史数据:在某些场景下,需要保留历史数据并进行增量同步,例如在数据仓库中保留历史快照,以便进行时间序列分析。
    避免误操作:在执行数据同步任务时,如果设置为 "truncate": true,可能会误操作删除目标表中的数据,因此可以设置为 "truncate": false,以避免误操作。
    需要注意的是,在设置 "truncate": false 时,需要确保目标表中已有的数据与源表中的数据没有重复,

    2023-07-30 20:21:47
    赞同 展开评论
  • 修改任务配置 提交发布后 补数据跑 然后再看下日志,重跑用的原来的配置,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-12 10:05:11
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理