开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

任务调度的时候依赖的上游节点不能是实时同步的任务吗?

任务调度的时候依赖的上游节点不能是实时同步的任务吗?0afabf5c1e98552adc33ef6ba130e6b0.png b059796957a48150eaada59956c23d17.png

展开
收起
哒哒哒哒哒~ 2023-03-08 11:30:22 280 0
1 条回答
写回答
取消 提交回答
  • 比如实时任务按每小时写入分区,当20点的分区已经存在的时候就已经可以判断为19点的分区已经结束。可以建一个shell节点 ,里面加一个while循环去检查20点的分区,再留10分钟左右的buffer时间; 当maxpt(表名)==调度参数值,退出循环,任务结束。 此答案整理自钉群“DataWorks交流群(答疑@机器人)” image.png

    2023-03-09 09:42:34
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载