Flink CDC有测试过mysql-cdc的吞吐率么? 单线程每秒大概能获取多少的mysql数据?主要就是看增加薄荷额吞吐量吧
吞吐率是指单位时间内读取或写入数据的能力。对于Flink CDC而言,吞吐量受多种因素影响,包括源库类型、连接数、并发度等因素。
关于MySQL CDC的吞吐量,一般来说,它取决于源库的性能和带宽、目标系统的负载等情况。一般来说,全速读取时,单线程每秒可以处理数百条甚至数千条数据,具体取决于您的硬件配置和源库性能。
为了提高Flink CDC的吞吐量,您可以尝试以下方法:
只测过单表同步,1c2g全量大概5000/秒,增量的话测的不严谨,大概也得有个两三千,甚至还测出过两三万。总体性能还是不错的,此回答整理自钉群“Flink CDC 社区”
Flink CDC的吞吐率确实与多个因素有关,包括Flink的版本、MySQL的版本以及配置等。在实际应用中,我们通常通过测试来获取吞吐率数据。例如,据一份资料显示,使用Flink CDC 2.1.1版本(无锁同步)测试mysql-cdc时,单线程每秒大约能获取到约2万条MySQL数据。
另外,Flink CDC的使用也与Connectors有关。Flink从1.11版本开始引入了CDC机制,并提供了一组源连接器,这些连接器可以从MySQL、PostgreSQL等数据库直接读取全量数据和增量数据。而在实际操作中,用户可以选择适合自己需求的Connectors版本进行使用。
总的来说,Flink CDC的吞吐率主要取决于具体的实现方式和环境配置,因此在实际应用中需要根据具体情况进行测试和调优。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。