开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

补数据没有按照依赖顺序运行,上游还没结束,下游就开始了,是为什么?

补数据没有按照依赖顺序运行:651df34b6cf27ea29bd0b09c76bb10e7.png 64a7ee5aa7bf311ed1a5178d30d7e9d3.png 上游还没结束,下游就开始了,是为什么?

展开
收起
滴滴滴~ 2023-03-29 14:01:53 183 0
3 条回答
写回答
取消 提交回答
  • 看下上游的日志 是不是已经有完成过了 现在看到的是第二次成功的时间。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-29 20:53:50
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    在 DataWorks 中,补数据任务是会检查依赖关系的,并会在上游任务执行完成后开始执行下游任务。如果您遇到了补数据任务没有按照依赖顺序运行的情况,可能有以下几种原因:

    1. 任务的依赖关系配置不正确:在 DataWorks 的数据集成或数据开发中,需要手动配置任务的依赖关系。如果依赖关系配置不正确,可能导致任务的执行顺序出现问题。

    2. 上游任务执行时间过长:如果上游任务执行时间过长,可能会导致下游任务等待的时间变长,最终导致下游任务提前开始执行。

    3. 数据库连接数限制:如果数据库连接数限制较小,可能会导致任务的执行受到阻塞。可以尝试增加数据库的连接数,或者调整任务依赖关系来解决该问题。

    综上所述,建议您检查任务的依赖关系配置是否正确,并检查上游任务的执行时间和数据库连接数等因素,以找出问题的具体原因。

    2023-03-29 16:49:46
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    这个问题你可以先检查一下你配置的依赖是否正确,关于DataWorks配置调度依赖分为几种场景: 1.配置同周期调度依赖 参考文档 文档 2.配置依赖上一周期(跨周期依赖) 参考文档 文档 3.必读:复杂依赖场景调度配置原则与示例 参考文档 文档 建议你根据你所在的具体业务场景查阅官方文档是否有依赖配置的问题存在。

    2023-03-29 14:25:59
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载