问:自定义资源组如何处理自定义调度资源下的任务长期等待资源的情况?ID=NCvVPH4B1r73GMJAA0kd INDEX=0
出现使用自定义调度资源运行的任务,长时间等待资源未能运行的情况,可能有以下原因:服务器终止服务。确认方法如下:登录DataWorks控制台。在左侧导航栏,单击资源组列表。单击自定义资源组页签。单击相应服务器后的服务器管理,查看当前服务器的状态是否终止。如果确认服务器终止服务,请登录ECS,启动Agent。服务器暂停服务。确认方法如下:登录ECS。查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。 日志会实时显示服务器的状态。如果显示BUSY或HANGUP,说明当前服务器存在大任务进程占用资源的情况。解决方法如下:执行命令ps -ef | grep taskexec,查看执行任务的进程。通过日志排查占用资源的任务。如果发现任务异常,请进入DataWorks页面终止任务的运行。等待两分钟后,服务器即可自动恢复服务。服务器Agent异常。确认方法如下:执行命令df -h,查看磁盘是否存在100%的使用率。查看CPU、内存等指标是否过高。如果确认是该原因导致的问题,请在机器本身的异常处理完成后,重启Agent。此答案整理自钉群“DataWorks交流群(答疑@机器人)”
出现使用自定义调度资源运行的任务,长时间等待资源未能运行的情况,可能有以下原因:
1.服务器终止服务。
确认方法如下:
登录DataWorks控制台。
在左侧导航栏,单击资源组列表。
单击自定义资源组页签。
单击相应服务器后的服务器管理,查看当前服务器的状态是否终止。
如果确认服务器终止服务,请登录ECS,启动Agent。
2.服务器暂停服务。
确认方法如下:
登录ECS。
查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。 日志会实时显示服务器的状态。如果显示BUSY或HANGUP,说明当前服务器存在大任务进程占用资源的情况。
解决方法如下:
执行命令ps -ef | grep taskexec,查看执行任务的进程。
通过日志排查占用资源的任务。
如果发现任务异常,请进入DataWorks页面终止任务的运行。等待两分钟后,服务器即可自动恢复服务。
3.服务器Agent异常。
确认方法如下:
执行命令df -h,查看磁盘是否存在100%的使用率。
查看CPU、内存等指标是否过高。
如果确认是该原因导致的问题,请在机器本身的异常处理完成后,重启Agent。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。