开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成任务长时间等待怎么解决?

DataWorks数据集成任务长时间等待怎么解决?

展开
收起
wenti 2023-01-09 11:24:48 279 0
2 条回答
写回答
取消 提交回答
  • "【数据集成任务执行状态】

    SUBMIT: 同步任务已经渲染完成提交状态 WAIT: 等待数据集成运行资源 RUN: 同步任务运行中 SUCCESS: 同步任务运行成功 FAIL: 同步任务运行失败

    【长时间wait状态排查】 当前数据集成资源组上执行的任务超过了机器支持的并发上限。请检查正在运行的任务并发数总和是否超过了机器支持的最大并发数。

    是否存在任务并发设置是否过大,检查日志(任务配置)中concurrent参数值。 如果单个任务并发设置超过了机器支持的最大并发数,请将这些大并发任务全都停掉,修改任务并发数后再去执行。

    【查看运行中的数据集成任务】

    控制台-资源组列表-使用率点击进去 图片.png

    运维大屏-数据集成-下拉查看“同步任务执行详情”

    图片.png

    【注意】

    任务并发配置需要结合机器支持的最大并发数,以及需要同时运行的任务数及并发和,来分配单个任务并发数配置。 若重保任务较多,可选择扩容独享数据集成资源组。——该回答整理自钉群“DataWorks交流群(答疑@机器人)“"

    2023-01-09 14:20:12
    赞同 展开评论 打赏
  • 今天也要加油吖~

    DataWorks中的数据集成有三种资源组:默认、独享、自定义。若是自定义调度资源下的任务长期等待,原因和解决方法如下:

    1.服务器已经终止如何确认,打开调度资源服务器列表,查看当前服务器的状态,是否是终止。

    解决方法:登录ECS,启动agent。

    2.服务器暂停服务如何确认,请登录ECS,查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志里会打印实时的服务器状态,如果现实“BUSY”或者“HANGUP”则说明是当前服务器有大任务进程占用了资源了。

    解决方法:top命令查看当前具体是什么进程在占用资源,或者ps -ef | grep taskexec,可以看到具体的任务执行进程,查看日志排查具体哪个任务,发现是任务异常,可以到DataWorks界面将任务终止后,等待2分钟,服务器会自动恢复。

    3.服务器agent异常 如何排查 查看磁盘是否有100%的使用率的;df -h执行查看即可; 查看cpu、内存等指标是否标高了。

    解决方法: 机器本身异常处理完毕后,重启agent恢复即可。

    2023-01-09 13:29:40
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多