开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

数据同步任务调优场景一:任务开始运行时间和调度时间差异较大怎么处理?

数据同步任务调优场景一:任务开始运行时间和调度时间差异较大怎么处理?

展开
收起
solitude. 2023-02-20 17:13:46 248 0
1 条回答
写回答
取消 提交回答
  • 在任务开始运行时间和调度时间差异较大的情况下,您首先需要获取任务的运行日志和属性信息。经过对比发现, 运行日志中开始运行的时间和节点属性中的调度时间有差异,时间主要耗费在等待调度上。问题示例在运维中心中的周期任务运维 > 周期任务页面,右键单击相应节点,选择查看更多详情,查看节点的属性,发现调度时间在00:00。但是开始运行的时间在00:29,推测时间主要消耗在等待调度上。image.png在周期任务运维 > 周期实例页面,右键单击相应实例,选择查看运行日志。查看任务从00:29开始运行,在00:30运行结束,整个任务执行仅花费了1分钟。说明本次任务本身的执行无问题。解决方法首先建议您确认工作空间下是否有较多的任务同时进行调度。默认资源组下的一级调度资源有限,如果有较多的任务同时进行调度,会导致其它任务排队等待。通常每天0点~2点是业务调度的高峰期,建议您设置的业务运行时间尽量避开高峰期 。此回答整理自钉钉群”DataWorks交流群(答疑@机器人)“

    2023-02-20 21:00:31
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载