"【数据集成任务执行状态】
SUBMIT: 同步任务已经渲染完成提交状态 WAIT: 等待数据集成运行资源 RUN: 同步任务运行中 SUCCESS: 同步任务运行成功 FAIL: 同步任务运行失败
【长时间wait状态排查】 当前数据集成资源组上执行的任务超过了机器支持的并发上限。请检查正在运行的任务并发数总和是否超过了机器支持的最大并发数。
是否存在任务并发设置是否过大,检查日志(任务配置)中concurrent参数值。 如果单个任务并发设置超过了机器支持的最大并发数,请将这些大并发任务全都停掉,修改任务并发数后再去执行。
【查看运行中的数据集成任务】
控制台-资源组列表-使用率点击进去
运维大屏-数据集成-下拉查看“同步任务执行详情”
【注意】
任务并发配置需要结合机器支持的最大并发数,以及需要同时运行的任务数及并发和,来分配单个任务并发数配置。 若重保任务较多,可选择扩容独享数据集成资源组。——该回答整理自钉群“DataWorks交流群(答疑@机器人)“"
DataWorks中的数据集成有三种资源组:默认、独享、自定义。若是自定义调度资源下的任务长期等待,原因和解决方法如下:
1.服务器已经终止如何确认,打开调度资源服务器列表,查看当前服务器的状态,是否是终止。
解决方法:登录ECS,启动agent。
2.服务器暂停服务如何确认,请登录ECS,查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志里会打印实时的服务器状态,如果现实“BUSY”或者“HANGUP”则说明是当前服务器有大任务进程占用了资源了。
解决方法:top命令查看当前具体是什么进程在占用资源,或者ps -ef | grep taskexec,可以看到具体的任务执行进程,查看日志排查具体哪个任务,发现是任务异常,可以到DataWorks界面将任务终止后,等待2分钟,服务器会自动恢复。
3.服务器agent异常 如何排查 查看磁盘是否有100%的使用率的;df -h执行查看即可; 查看cpu、内存等指标是否标高了。
解决方法: 机器本身异常处理完毕后,重启agent恢复即可。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。