Flink多个CDC作业导致数据库压力过大怎么办
已解决
收起
提个问题!
2024-05-31 18:05:49
89
0
1
条回答
写回答
取消
提交回答
-
MySQL CDC源表需要连接数据库读取Binlog,当源表数量逐渐增加,数据库压力也会逐渐增加。为了解决数据库压力过大的问题,可以考虑通过将表同步到Kafka消息队列中,再通过消费Kafka中数据进行解耦。详情请参见
MySQL整库同步Kafka。
如果是通过CTAS方式同步数据导致的数据库压力过大,可以将多个CTAS作业合并为一个作业运行。在配置相同的情况下,为每一个MySQL CDC源表配置相同Server ID,可以实现数据源的复用,从而减小数据库的压力。详情请参见
代码示例四:多CTAS语句。
2024-05-31 18:05:50