DataWorks中check节点的任务会一直占用调度并行度吗？
DataWorks中check节点的任务会一直占用调度并行度吗，比如调度资源组的并行度是20，然后我设置了21个check节点，都是凌晨1点开始，没5分钟检查一次，会导致调度资源组的并行度被打满，导致其它任务如hive 无法执行的情况吗？
展开
收起
2
条回答
写回答
写回答
-
资深 C++与人工智能程序员。精通 C++，善用其特性构建稳健架构。在人工智能领域，深入研习机器学习算法，借 C++与 OpenCV 等实现计算机视觉应用，于自然语言处理构建文本处理引擎。以敏锐洞察探索技术融合边界，用代码塑造智能未来。在DataWorks中，Check节点任务通常不会一直占用调度并行度。
Check节点主要用于进行数据质量检查等操作。当Check节点任务开始执行时会占用一定的调度资源和并行度，不过一旦它执行完毕，不管是检查通过还是失败，正常情况下就会释放所占用的调度并行度，将资源让给其他需要调度的任务，这样后续任务才能继续按计划被调度执行。
但如果Check节点任务出现异常情况，例如陷入死循环或者因为系统故障等无法正常结束任务，那么就可能会出现一直占用调度并行度的情况，这种情况是需要进行排查和解决的异常现象。
2024-12-24 23:33:42赞同 展开评论 打赏 -
独享调度资源组 每个任务都是1并发，只要任务还在运行中 就会一直占用着资源 ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
2024-08-25 14:29:57赞同 6 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
热门讨论
热门文章
数据来源：com.alibaba.fastjson.JSONException: syntax er
6419
DataWorks我该如何访问A项目安装了项目的package资源？
2625
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
3175
Dataphin和 Dataworks 有啥区别呢？
2177
DataWorks中78xxxxx_out的输出是什么?
152
请教一下DataWorks，doris和starRocks 选型，选哪个？
1783
DataWorks set tblproperties("transactional"="true？
1302
DataWorks Parse exception - invalid token '+'？
1726
DataWorks中sql查询数字变成了科学计数 怎么转为普通数字？
1083
DataWorks跑sql报错ODPS-0121145:Data overflow这是啥？
650
展开全部
DataWorks智能交互式数据开发与分析之旅
2490
DataWorks售前咨询
10021
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
679
DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
1169
欢迎加入飞天大数据平台交流群
2440
限时优惠体验！DataWorks数据治理中心全新升级为数据资产治理
581
DataWorks重磅推出Serverless资源组，实现低成本灵活付费和动态平滑扩缩容
54962
大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
73119
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
28257
DataWorks操作报错合集之错误提示“ODPS-0130161: Parse exception - invalid token 'WITH', expect 'SEMICOLON'”，该怎么办
730
展开全部
相关文章
相关电子书
更多
