开发者社区> 问答> 正文

DataWorks的调度参数是怎么玩的

已解决

DataWorks 提供了调度参数,可以直接配置使用,简单的比较好用,但是我是一个五分钟一次的分钟调度,这样就导致了11.55-12:00 这个区间的数据,写到了第二天的分区里面去,我有什么办法可以让数据精准归档呢。

展开
收起
正毅 2017-11-28 16:48:45 6455 0
4 条回答
写回答
取消 提交回答
  • 采纳回答

    任务的调度属性这样配置: image

    任务的调度参数这样配置:image

    测试运行的时候,补了两天的数据:image

    找到第一个周期看看,解析出来的实例结果:定时时间为:2017-11-30 00:00:00 解析出来的参数是:year=20171129 minute=23:55:00

    这样的话,即使以分钟数据为分区,也不会有数据混乱的情况了。

    2019-07-17 21:45:57
    赞同 1 展开评论 打赏
  • insert overwrite table partition 分区处理成你期望的就行

    2019-07-17 21:45:57
    赞同 展开评论 打赏
  • 你的sql里制定partition, 然后用一个函数或者udf计算正确的partition就可以

    2019-07-17 21:45:57
    赞同 展开评论 打赏
  • 在最前面加一个便宜量?

    2019-07-17 21:45:57
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载