Flink CDC中kafka设置的5分区 现在kafka设置的是10分区 两种速度都区别不大 算子连拆开的话是不是还有额外的重分区开销,网络带宽是100m的 电脑内存20核64g 想着模拟下性能 我们cdc的正常速度大概多少呀?
Flink CDC的正常速度取决于多种因素,包括数据源的变更速率、网络带宽、Flink作业的并行度、Kafka集群的配置等。具体分析如下:
综上所述,要评估Flink CDC的正常速度,需要综合考虑以上因素,并进行实际的性能测试。可以通过模拟真实的数据变更场景,使用sysbench或其他压测工具来生成数据变更事件,然后观察Flink CDC处理这些事件的速度和效率。此外,监控Flink作业的CPU、内存使用情况以及网络IO可以帮助识别性能瓶颈。
Flink CDC的速度取决于多个因素,包括源数据库的数据更新速率、Kafka集群的性能、Flink作业的并行度、网络状况以及硬件配置等。对于您的配置(20核64G,100M网络带宽),无法直接给出一个具体的CDC速度数值,需要根据实际场景测试得出。增加Kafka分区数理论上可以提高并行处理能力,但若Flink作业的并行度未相应调整或数据分布不均匀,可能并不能明显提升性能,且可能导致额外的重分区开销。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。