DataWorks自定义调度资源下的任务长期等待资源
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks自定义调度资源下的任务长期等待资源,原因如下:
1.服务器已经终止如何确认,打开调度资源服务器列表,查看当前服务器的状态,是否是终止。若是需要修复,请登录ECS,启动agent。
2.服务器暂停服务如何确认,请登录ECS,查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志里会打印实时的服务器状态,如果现实“BUSY”或者“HANGUP”则说明是当前服务器有大任务进程占用了资源了。
解决方案:top命令查看当前具体是什么进程在占用资源,或者ps -ef | grep taskexec,可以看到具体的任务执行进程,查看日志排查具体哪个任务,发现是任务异常,可以到DataWorks界面将任务终止后,等待2分钟,服务器会自动恢复。
3.服务器agent异常 如何排查 查看磁盘是否有100%的使用率的;df -h执行查看即可; 查看cpu、内存等指标是否标高了。
解决方案: 机器本身异常处理完毕后,重启agent恢复即可。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。