开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink-CDC 2H8G 4并发下 同步速率大概应该在多少算一个正常值?

Flink-CDC 2H8G 4并发下 同步速率大概应该在多少算一个正常值?目前我这边 IN RPS 和 OUT RPS 峰值可以到达 45K ,不知道这个指标算不错还是说需要再进行部分性能调优?

展开
收起
小小鹿鹿鹿 2024-01-18 07:45:00 103 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink-CDC的同步速率会受到多个因素的影响,包括数据源的大小、数据的变化频率、并发度等等。因此,没有一个固定的正常值可以适用于所有情况。

    一般来说,IN RPS(每秒输入记录数)和OUT RPS(每秒输出记录数)的峰值达到45K已经是一个不错的性能表现了。但是,具体的正常值还需要根据你的实际需求和系统负载来确定。

    如果你的系统在高并发的情况下仍然能够保持稳定的性能,并且能够满足你的业务需求,那么这个指标就可以认为是可以接受的。如果你希望进一步提高性能,可以考虑进行部分性能调优,例如优化数据源的读取速度、增加Flink集群的资源等等。

    2024-01-19 14:49:58
    赞同 展开评论 打赏
  • Flink-CDC 的性能与许多因素有关,如数据量、硬件配置、并发数等。根据您提供的信息,您的 Flink-CDC 在 2H8G 4并发的配置下,IN RPS 和 OUT RPS 峰值可以达到 45K。这是一个相当不错的指标,说明您的系统在当前配置下已经能够高效地处理数据同步任务。

    然而,为了进一步优化性能,您可以考虑以下几点:

    1. 调整参数:根据您的实际需求和数据库类型,可以尝试调整 Flink CDC 的参数。例如,增加 fetchTimeout 参数的值可以让 Flink CDC 在读取数据库时更加宽松。此外,增加 parallelism 参数的值可以让 Flink CDC 使用更多的计算资源来处理数据。

    2. 水平扩展:Flink CDC 支持并发读取,全量数据同步阶段可以更快地完成海量数据同步。您可以考虑通过增加节点数来加快数据处理速度和处理海量数据。

    3. 断点续传:Flink CDC 实现了断点续传功能,这可以在同步任务运行失败后减少数据的重跑时间。

    4. 实际场景测试:建议您在实际的业务场景中进行测试,以便更准确地评估 Flink CDC 的性能。例如,与其他框架进行对比测试,看看在特定场景下的性能差异。

    2024-01-19 09:02:06
    赞同 展开评论 打赏
  • 数据库日志生成速度。
    CDC connector对源数据库读取效率。
    Flink作业处理数据的速度及中间操作的影响。
    网络传输速度和目标系统的写入能力。
    
    2024-01-18 08:54:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载