开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

问:自定义资源组如何处理自定义调度资源下的任务长期等待资源的情况?

问:自定义资源组如何处理自定义调度资源下的任务长期等待资源的情况?ID=NCvVPH4B1r73GMJAA0kd INDEX=0

展开
收起
滴滴滴~ 2023-03-07 15:18:51 344 0
2 条回答
写回答
取消 提交回答
  • 出现使用自定义调度资源运行的任务,长时间等待资源未能运行的情况,可能有以下原因:服务器终止服务。确认方法如下:登录DataWorks控制台。在左侧导航栏,单击资源组列表。单击自定义资源组页签。单击相应服务器后的服务器管理,查看当前服务器的状态是否终止。如果确认服务器终止服务,请登录ECS,启动Agent。服务器暂停服务。确认方法如下:登录ECS。查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。 日志会实时显示服务器的状态。如果显示BUSY或HANGUP,说明当前服务器存在大任务进程占用资源的情况。解决方法如下:执行命令ps -ef | grep taskexec,查看执行任务的进程。通过日志排查占用资源的任务。如果发现任务异常,请进入DataWorks页面终止任务的运行。等待两分钟后,服务器即可自动恢复服务。服务器Agent异常。确认方法如下:执行命令df -h,查看磁盘是否存在100%的使用率。查看CPU、内存等指标是否过高。如果确认是该原因导致的问题,请在机器本身的异常处理完成后,重启Agent。此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-09 09:17:08
    赞同 展开评论 打赏
  • 出现使用自定义调度资源运行的任务,长时间等待资源未能运行的情况,可能有以下原因:
    1.服务器终止服务。
    确认方法如下
    登录DataWorks控制台。
    在左侧导航栏,单击资源组列表。
    单击自定义资源组页签。
    单击相应服务器后的服务器管理,查看当前服务器的状态是否终止。
    如果确认服务器终止服务,请登录ECS,启动Agent。

    2.服务器暂停服务。
    确认方法如下
    登录ECS。
    查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。 日志会实时显示服务器的状态。如果显示BUSY或HANGUP,说明当前服务器存在大任务进程占用资源的情况。

    解决方法如下:
    执行命令ps -ef | grep taskexec,查看执行任务的进程。
    通过日志排查占用资源的任务。
    如果发现任务异常,请进入DataWorks页面终止任务的运行。等待两分钟后,服务器即可自动恢复服务。

    3.服务器Agent异常。
    确认方法如下:
    执行命令df -h,查看磁盘是否存在100%的使用率。
    查看CPU、内存等指标是否过高。
    如果确认是该原因导致的问题,请在机器本身的异常处理完成后,重启Agent。

    2023-03-07 21:59:30
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载