Flink CDC中mysql到mysql如何实现？
Flink CDC中mysql到mysql如何实现？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
北京阿里云ACE会长
Flink实现MySQL到MySQL的CDC数据同步,可以采用以下方式:
使用Flink CDC监控MySQL源库变更日志,同时将数据写出至Kafka/Kinesis等消息中间件。
然后使用Flink SQL从消息队列消费数据,写入目标MySQL数据库。使用Debezium监控MySQL源库变更日志,同步生成SQL DML语句,写入Kafka。
然后使用Flink SQL消费Kafka,执行DML操作写入目标MySQL。使用Debezium监控源库变更日志,使用JDBC Sink将DML statements直接写入目标MySQL数据库。
如果源目标数据库相同,可以利用MySQL binlog feature实现,使用FlinkSQL跨库查询同步。
选择方式需要考虑:
两数据库是否相同
是否需要中间缓冲
限流控制需求
并发性能
一般采用第1、2种方式间接实现优先,避免直接操作MySQL可能产生的并发问题。2023-08-10 22:53:29赞同 展开评论 -
意中人就是我呀！
cdc-》jdbc，有jdbc的 connector你看看flink 官网里有的，cdc 只是source 。此回答整理至钉群“Flink CDC 社区”。
2023-08-09 12:18:02赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。