开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据同步任务调优场景二:同步任务一直运行,但速率为0?

DataWorks数据同步任务调优场景二:同步任务一直运行,但速率为0?

展开
收起
真的很搞笑 2023-10-29 19:11:33 154 0
3 条回答
写回答
取消 提交回答
  • 如果DataWorks数据同步任务一直运行,但速率为0,可能的原因有多种。首先,查看运行日志会发现任务长时间处于运行状态,但速率为0。这种情况通常是由于拉取的SQL执行比较慢(例如源数据库CPU负载高或网络流量占用高),或在拉取SQL前进行了truncate等操作,导致处理时间较长。

    此外,数据同步速度也受到来源与目标端数据库环境及同步任务配置的影响。例如,源端和目的端数据库的性能、负载和网络情况是影响数据同步速度的重要因素。同时,数据集成同步任务默认不限速,任务将在所配置的并发数的限制上以最高能达到的速度进行同步。为了保护数据库免受过大的压力从而影响生产,数据集成提供了限速选项,您可以按照实际情况调优配置。

    请注意,数据集成同步任务不允许同一时间运行相同节点的不同实例(即相同JSON配置的同步任务不能同一时间运行多个)。例如,如果5分钟为周期的同步任务,由于上游延迟,在0点5分时调起了原本0点0分的实例和0点5分的实例,这样会导致其中一个实例无法调起。

    2023-10-30 14:46:16
    赞同 展开评论 打赏
  • 查看运行日志时,发现任务长时间处于运行状态,但速率为0。通常是由于拉取的SQL执行比较慢(源数据库CPU负载高或网络流量占用高),或在拉取SQL前进行truncate等操作,导致处理时间较长。问题示例查看任务运行日志,任务长时间执行,但速率为0,从18:00开始到21:13结束。查看运行日志中存在truncate操作记录,从18:00开始到21:13结束。image.png
    解决方法如问题示例所示,可能是truncate操作导致的同步任务慢,您需要检查源数据库truncate慢的原因。
    https://help.aliyun.com/document_detail/137827.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-29 23:38:35
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,看了你的问题,初步推测是源数据库中没有新的数据需要同步,如果源数据库中没有新增的数据需要同步,同步任务会一直运行,同时速率也为0。

    根据这个情况,你可以通过适当调整配置或者修改同步任务设置来优化同步任务的性能。

    2023-10-29 19:24:55
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多