dataworks中kafka源头的公网数据开8个并发同步也很慢,是什么原因啊。而且设置了空跑都能占用资源3个小时?
https://di-ap-southeast-1.data.aliyun.com/web/di/instanceLog?id=187166805&resourceGroup=S_res_group_215381139615713_1722244791155&requestId=7b9e93f9-fbec-4d1b-951d-b379b8aa35e4&projectId=71023
关键是4个并发和8个并发,一样的时间同步,并没有因为增加了并发,同步时间就短了
看起来实际是单并发执行,kafka有多少个分区呢
配置4并发和8并发 都是单并发执行 因为分区只有1个 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。