DataWorks中check节点的任务会一直占用调度并行度吗?

DataWorks中check节点的任务会一直占用调度并行度吗,比如调度资源组的并行度是20,然后我设置了21个check节点,都是凌晨1点开始,没5分钟检查一次,会导致调度资源组的并行度被打满,导致其它任务如hive 无法执行的情况吗?

展开
收起
真的很搞笑 2024-08-25 12:26:48 67 发布于黑龙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 资深 C++与人工智能程序员。精通 C++,善用其特性构建稳健架构。在人工智能领域,深入研习机器学习算法,借 C++与 OpenCV 等实现计算机视觉应用,于自然语言处理构建文本处理引擎。以敏锐洞察探索技术融合边界,用代码塑造智能未来。

    在DataWorks中,Check节点任务通常不会一直占用调度并行度。

    Check节点主要用于进行数据质量检查等操作。当Check节点任务开始执行时会占用一定的调度资源和并行度,不过一旦它执行完毕,不管是检查通过还是失败,正常情况下就会释放所占用的调度并行度,将资源让给其他需要调度的任务,这样后续任务才能继续按计划被调度执行。

    但如果Check节点任务出现异常情况,例如陷入死循环或者因为系统故障等无法正常结束任务,那么就可能会出现一直占用调度并行度的情况,这种情况是需要进行排查和解决的异常现象。

    2024-12-24 23:33:42 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 独享调度资源组 每个任务都是1并发,只要任务还在运行中 就会一直占用着资源 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-08-25 14:29:57 举报
    赞同 6 评论

    评论

    全部评论 (0)

    登录后可评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等