DataWorks数据集成独享资源组短时间内使用率飙到100%，有什么风险么？是需要加资源了么？
DataWorks数据集成独享资源组短时间内使用率飙到100%，有什么风险么？是需要加资源了么？
写回答
-
一般是任务并发占满了资源 或者cpu打满了，凌晨任务多 资源组使用率比较高 可以尝试配置错峰执行 ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
2024-08-13 18:57:50赞同 展开评论 打赏 -
如何处理自定义调度资源下的任务长期等待资源的情况？
出现使用自定义调度资源运行的任务，长时间等待资源未能运行的情况，可能有以下原因：服务器终止服务。
确认方法如下：
登录DataWorks控制台。
在左侧导航栏，单击资源组列表。
单击自定义资源组页签。
单击相应服务器后的服务器管理，查看当前服务器的状态是否终止。
如果确认服务器终止服务，请登录ECS，启动Agent。
服务器暂停服务。
确认方法如下：
登录ECS。
查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。
日志会实时显示服务器的状态。如果显示BUSY或HANGUP，说明当前服务器存在大任务进程占用资源的情况。
解决方法如下：
执行命令ps -ef | grep taskexec，查看执行任务的进程。
通过日志排查占用资源的任务。
如果发现任务异常，请进入DataWorks页面终止任务的运行。等待两分钟后，服务器即可自动恢复服务。
服务器Agent异常。
确认方法如下：
执行命令df -h，查看磁盘是否存在100%的使用率。
查看CPU、内存等指标是否过高。
如果确认是该原因导致的问题，请在机器本身的异常处理完成后，重启Agent。
参考文档https://help.aliyun.com/zh/dataworks/support/custom-resource-group-1?spm=a2c4g.11186623.0.i582024-08-13 10:52:49赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
