DataWorks实时同步任务,增加了内存和目标端最大并发数,任务延迟仍然较高?
确认非读写异常引发的任务延迟,而是源端业务流量增长导致的延迟,则需要通过提高实时同步任务并发设置缓解延迟。
并发加大后也需要同步增加任务的内存设置,比例关系可以按照并发每增大4,内存增加1GB。
任务并发及内存设置方法如下:
对于DataStudio新建的单表到单表ETL实时同步任务,您可以单击右侧的基本配置设置任务并发和内存。
在DataStudio新建的数据库迁至DataHub等类型实时同步任务,您可以在运行资源设置步骤中设置并发,在右侧的基本配置设置任务内存。
在未开启分布式运行模式情况下,任务并发建议不超过32,如果超过20则会由于单机资源瓶颈导致任务延迟,此时特定通道可以通过开启分布式运行模式提升性能,目前支持开启分布式运行模式的通道如下:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
你好,我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)