开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成独享资源组短时间内使用率飙到100%,有什么风险么?是需要加资源了么?

DataWorks数据集成独享资源组短时间内使用率飙到100%,有什么风险么?是需要加资源了么?
image.png

展开
收起
真的很搞笑 2024-08-13 08:04:09 31 0
2 条回答
写回答
取消 提交回答
  • 一般是任务并发占满了资源 或者cpu打满了,凌晨任务多 资源组使用率比较高 可以尝试配置错峰执行 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-08-13 18:57:50
    赞同 展开评论 打赏
  • 如何处理自定义调度资源下的任务长期等待资源的情况?
    出现使用自定义调度资源运行的任务,长时间等待资源未能运行的情况,可能有以下原因:

    服务器终止服务。

    确认方法如下:

    登录DataWorks控制台。

    在左侧导航栏,单击资源组列表。

    单击自定义资源组页签。

    单击相应服务器后的服务器管理,查看当前服务器的状态是否终止。

    如果确认服务器终止服务,请登录ECS,启动Agent。

    服务器暂停服务。

    确认方法如下:

    登录ECS。

    查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。

    日志会实时显示服务器的状态。如果显示BUSY或HANGUP,说明当前服务器存在大任务进程占用资源的情况。

    解决方法如下:

    执行命令ps -ef | grep taskexec,查看执行任务的进程。

    通过日志排查占用资源的任务。

    如果发现任务异常,请进入DataWorks页面终止任务的运行。等待两分钟后,服务器即可自动恢复服务。

    服务器Agent异常。

    确认方法如下:

    执行命令df -h,查看磁盘是否存在100%的使用率。

    查看CPU、内存等指标是否过高。

    如果确认是该原因导致的问题,请在机器本身的异常处理完成后,重启Agent。
    image.png
    参考文档https://help.aliyun.com/zh/dataworks/support/custom-resource-group-1?spm=a2c4g.11186623.0.i58

    2024-08-13 10:52:49
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    数加平台-DataWorks阿里下一代智能数据工场 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载

    相关实验场景

    更多