开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有测试过mysql-cdc的吞吐率么? 单线程每秒大概能获取多少的mysql数据?

Flink CDC有测试过mysql-cdc的吞吐率么? 单线程每秒大概能获取多少的mysql数据?主要就是看增加薄荷额吞吐量吧

展开
收起
真的很搞笑 2023-11-15 08:38:12 200 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    吞吐率是指单位时间内读取或写入数据的能力。对于Flink CDC而言,吞吐量受多种因素影响,包括源库类型、连接数、并发度等因素。
    关于MySQL CDC的吞吐量,一般来说,它取决于源库的性能和带宽、目标系统的负载等情况。一般来说,全速读取时,单线程每秒可以处理数百条甚至数千条数据,具体取决于您的硬件配置和源库性能。
    为了提高Flink CDC的吞吐量,您可以尝试以下方法:

    • 增加硬件配置。例如,提升CPU性能、加大内存容量等;
    • 优化Flink CDC的配置,如调整并发度、使用高速网络等;
    • 对于批量数据处理,可以考虑使用Flink SQL或者自定义MapFunction等方式来提高效率。
    2023-11-15 14:42:26
    赞同 展开评论 打赏
  • 只测过单表同步,1c2g全量大概5000/秒,增量的话测的不严谨,大概也得有个两三千,甚至还测出过两三万。总体性能还是不错的,此回答整理自钉群“Flink CDC 社区”

    2023-11-15 12:36:31
    赞同 展开评论 打赏
  • Flink CDC的吞吐率确实与多个因素有关,包括Flink的版本、MySQL的版本以及配置等。在实际应用中,我们通常通过测试来获取吞吐率数据。例如,据一份资料显示,使用Flink CDC 2.1.1版本(无锁同步)测试mysql-cdc时,单线程每秒大约能获取到约2万条MySQL数据。

    另外,Flink CDC的使用也与Connectors有关。Flink从1.11版本开始引入了CDC机制,并提供了一组源连接器,这些连接器可以从MySQL、PostgreSQL等数据库直接读取全量数据和增量数据。而在实际操作中,用户可以选择适合自己需求的Connectors版本进行使用。

    总的来说,Flink CDC的吞吐率主要取决于具体的实现方式和环境配置,因此在实际应用中需要根据具体情况进行测试和调优。

    2023-11-15 08:59:58
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像