DataWorks中好几个任务都这样,离线同步?

你好,DataWorks中好几个任务都这样,离线同步?image.png
调度是用独享的

展开
收起
真的很搞笑 2023-08-27 12:40:29 133 分享 版权
1 条回答
写回答
取消 提交回答
  • 这个是调度资源满了 用的是公共调度资源组还是独享?在管理控制台可以查看资源组水位,资源组满了,【等待gateway资源】
    当前任务执行资源组并发达到上限,需要等待运行中的任务执行完成释放资源。

    使用公共调度资源组,您可以在运维大屏处查看。
    使用独享调度资源组,您可以使用在控制台查看该资源组当前执行的任务列表。


    【排查案例一:生产任务等待调度资源gateway】
    背景:

    运维中心大量生产任务在等待调度资源,日志显示“任务并发数已达上限,正在等待在云端的gateway资源...”,但是找不到在运行中的任务,阻塞业务。

    排查:

    1)确认调度资源组类型:
    公共:租户级别下(该租户所有region所有项目),公共资源组支持的并发数有限制,参见官方文档
    独享:规格参见官方文档
    自定义:参见官方文档
    2)DataWorks专业版以上运行诊断功能可以直接找到占用资源任务。
    3)非专业版以上,使用该资源组的所有region、所有项目按运行状态“运行中”过滤筛选。
    image.png

    4)排查这些运行中的任务迟迟不释放资源的原因,查看日志。

    如果是离线同步任务,大概率是二级数据集成同步资源槽位不够,任务一直在等待同步资源(detail log日志中长时间打印wait)(大概率原因)。
    如果是odps sql等计算任务,日志打印queue说明任务在等待计算资源,或logview中长尾数据倾斜导致计算慢需联系MaxCompute或对应计算引擎同学。

    解决:

    1)终止优先级低占用调度资源的任务,让重要的任务先跑。
    2)公共资源组上的任务迁移独享后补数据跑。
    3)独享资源组扩容。

    【资源组使用率】
    控制台-资源组列表-使用率点击进去
    image.png
    image.png
    image.png

    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 12:54:17
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

还有其他疑问?
咨询AI助理