开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks上层虚拟节点的是年调度,下面节点是分钟调度,分钟调度的节点 依然会生成大量的待执?

DataWorks上层虚拟节点的是年调度,下面节点是分钟调度,分钟调度的节点 依然会生成大量的待执行的任务,请问上层节点调度时间周期更长也控制不了下层节点的任务生成吗?image.png

展开
收起
cuicuicuic 2023-07-25 18:03:52 30 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,上层虚拟节点是年调度的意思是该虚拟节点的触发时间是按年来调度的,而下面的节点是分钟调度的意思是这些节点的触发时间是按分钟来调度的。

    如果下面的节点是分钟调度,并且在每分钟都会生成大量的待执行任务,可能有以下几个原因:

    并发度设置过高:如果节点的并发度设置得过高,即同时执行的任务数过多,可能会导致系统负载过高,造成待执行任务堆积。你可以尝试降低节点的并发度,使系统能够更好地处理和执行任务。

    节点处理时间过长:如果节点处理的任务耗时较长,导致每分钟生成的任务还未能在下一分钟开始执行完毕,就会导致待执行任务的积累。你可以优化节点的逻辑和代码,减少任务的执行时间,以提高任务的处理效率。

    资源不足:如果系统的资源(例如CPU、内存)不足,无法满足节点的并发执行需求,也会导致待执行任务堆积。你可以检查系统的资源使用情况,确保系统具备足够的资源供节点执行使用。

    2023-07-30 16:47:40
    赞同 展开评论 打赏
  • 在DataWorks中,如果上层虚拟节点是年调度(如每年一次),而下面的节点是分钟调度(如每分钟一次),那么分钟调度的节点会生成大量的待执行任务。

    这是因为虚拟节点的年调度会触发其下方所有节点的调度,而分钟调度的节点会在每分钟触发一次调度。这就导致了分钟调度的节点在每分钟都会被调度执行,从而生成大量待执行任务。

    如果你希望避免生成大量的待执行任务,可以考虑以下两种解决方案:

    1. 调整节点调度策略:将上层虚拟节点调整为分钟调度,与下面的节点保持一致,以避免产生过多的待执行任务。

    2. 调整节点依赖关系:如果上层虚拟节点必须使用年调度,你可以通过调整节点之间的依赖关系来控制待执行任务的数量。例如,在虚拟节点和分钟调度节点之间添加控制节点,该控制节点根据需要手动触发下方节点的执行,从而控制待执行任务的数量。

    2023-07-26 21:49:05
    赞同 展开评论 打赏
  • 对的 调度周期由节点自己的调度配置控制,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-25 18:20:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多