影响数据同步速度的因素如下:来源端数据源数据库的性能:CPU、内存、SSD硬盘、网络和硬盘等。并发数:数据源并发数越高,数据库负载越高。网络:网络的带宽(吞吐量)、网速。通常,数据库的性能越好,它可以承载的并发数越高,您可以为数据同步作业配置越多的并发数据抽取。数据集成的同步任务配置传输速度:是否设置任务同步速度上限值。并发:从源并行读取或并行写入数据存储端的最大线程数。WAIT资源。Bytes的设置:单个线程的Bytes=1048576,在网速比较敏感时,会出现超时现象,此时建议将Bytes设置的较小。查询语句是否建索引。目的端数据源性能:CPU、内存、SSD 硬盘、网络和硬盘。负载:目的数据库负载过高会影响同步任务数据写入效率。网络:网络的带宽(吞吐量)、网速。数据源端和目的端数据库的性能、负载和网络情况主要由您自己关注和调优,下文为您介绍在数据集成产品中同步任务的优化配置。
https://help.aliyun.com/document_detail/137789.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。