数据同步任务调优场景一:任务开始运行时间和调度时间差异较大怎么处理?
在任务开始运行时间和调度时间差异较大的情况下,您首先需要获取任务的运行日志和属性信息。经过对比发现, 运行日志中开始运行的时间和节点属性中的调度时间有差异,时间主要耗费在等待调度上。问题示例在运维中心中的周期任务运维 > 周期任务页面,右键单击相应节点,选择查看更多详情,查看节点的属性,发现调度时间在00:00。但是开始运行的时间在00:29,推测时间主要消耗在等待调度上。在周期任务运维 > 周期实例页面,右键单击相应实例,选择查看运行日志。查看任务从00:29开始运行,在00:30运行结束,整个任务执行仅花费了1分钟。说明本次任务本身的执行无问题。解决方法首先建议您确认工作空间下是否有较多的任务同时进行调度。默认资源组下的一级调度资源有限,如果有较多的任务同时进行调度,会导致其它任务排队等待。通常每天0点~2点是业务调度的高峰期,建议您设置的业务运行时间尽量避开高峰期 。此回答整理自钉钉群”DataWorks交流群(答疑@机器人)“
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。