开发者社区> 问答> 正文

SchedulerX master分发任务处理数据等所有子任务后分发子任务做别的逻辑可以做到吗?

SchedulerX master分发任务处理数据等所有子任务后分发子任务做别的逻辑可以做到吗?

展开
收起
青城山下庄文杰 2023-10-30 16:48:12 39 0
2 条回答
写回答
取消 提交回答
  • 可以搞个工作流,配置2个任务,上游任务跑完之后跑下游任务此回答整理自钉群“【外部】SchedulerX阿里任务调度”

    2023-10-31 17:13:23
    赞同 展开评论 打赏
  • 在SchedulerX中,任务调度和分发是由Master节点负责的。根据具体的任务类型和需求,Master节点可以选择并行计算或内存网格等不同的子任务分发方式。推模型是将子任务平均分配到每台机器上,而拉模型则是由每台机器主动去拉取子任务。

    对于你的问题,如果希望Master节点在所有子任务处理完成后进行一些额外的操作,那么这需要在Master节点的任务处理逻辑中进行编程实现。具体来说,你可以在所有子任务开始前添加一段代码,用于执行你想要的操作;在所有子任务完成后再添加一段代码,用于执行其他的逻辑。

    需要注意的是,如果子任务数量较多,拉取过程中所有子任务会缓存在Master节点,这可能对Master节点的内存产生压力。因此,如果你的应用有较高的并发需求或者子任务数量较大(例如超过10,000个),建议使用推模型进行子任务分发。同时,对于分布式任务,如果处理子任务的机器下线,SchedulerX会自动进行重新分发并轮询检查机器是否在线。

    2023-10-31 15:42:55
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载