DataWorks的调度参数是怎么玩的-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

DataWorks的调度参数是怎么玩的

dataworks彭敏 2017-11-28 16:48:45 3272

DataWorks 提供了调度参数,可以直接配置使用,简单的比较好用,但是我是一个五分钟一次的分钟调度,这样就导致了11.55-12:00 这个区间的数据,写到了第二天的分区里面去,我有什么办法可以让数据精准归档呢。

DataWorks 调度
分享到
取消 提交回答
全部回答(4)
  • dataworks彭敏
    2019-07-17 21:45:57
    已采纳

    任务的调度属性这样配置: image

    任务的调度参数这样配置:image

    测试运行的时候,补了两天的数据:image

    找到第一个周期看看,解析出来的实例结果:定时时间为:2017-11-30 00:00:00 解析出来的参数是:year=20171129 minute=23:55:00

    这样的话,即使以分钟数据为分区,也不会有数据混乱的情况了。

    1 0
  • acturpt
    2019-07-17 21:45:57

    insert overwrite table partition 分区处理成你期望的就行

    0 0
  • jimmysun
    2019-07-17 21:45:57

    你的sql里制定partition, 然后用一个函数或者udf计算正确的partition就可以

    0 0
  • 洵云
    2019-07-17 21:45:57

    在最前面加一个便宜量?

    0 0
添加回答
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题