Flink-CDC 的性能与许多因素有关,如数据量、硬件配置、并发数等。根据您提供的信息,您的 Flink-CDC 在 2H8G 4并发的配置下,IN RPS 和 OUT RPS 峰值可以达到 45K。这是一个相当不错的指标,说明您的系统在当前配置下已经能够高效地处理数据同步任务。
然而,为了进一步优化性能,您可以考虑以下几点:
调整参数:根据您的实际需求和数据库类型,可以尝试调整 Flink CDC 的参数。例如,增加 fetchTimeout 参数的值可以让 Flink CDC 在读取数据库时更加宽松。此外,增加 parallelism 参数的值可以让 Flink CDC 使用更多的计算资源来处理数据。
水平扩展:Flink CDC 支持并发读取,全量数据同步阶段可以更快地完成海量数据同步。您可以考虑通过增加节点数来加快数据处理速度和处理海量数据。
断点续传:Flink CDC 实现了断点续传功能,这可以在同步任务运行失败后减少数据的重跑时间。
实际场景测试:建议您在实际的业务场景中进行测试,以便更准确地评估 Flink CDC 的性能。例如,与其他框架进行对比测试,看看在特定场景下的性能差异。