开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中mysql到mysql如何实现?

Flink CDC中mysql到mysql如何实现?
bd4eede6c8380c5fd06970f4e30c119c.png

展开
收起
十一0204 2023-08-09 10:07:01 119 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink实现MySQL到MySQL的CDC数据同步,可以采用以下方式:

    使用Flink CDC监控MySQL源库变更日志,同时将数据写出至Kafka/Kinesis等消息中间件。
    然后使用Flink SQL从消息队列消费数据,写入目标MySQL数据库。

    使用Debezium监控MySQL源库变更日志,同步生成SQL DML语句,写入Kafka。
    然后使用Flink SQL消费Kafka,执行DML操作写入目标MySQL。

    使用Debezium监控源库变更日志,使用JDBC Sink将DML statements直接写入目标MySQL数据库。

    如果源目标数据库相同,可以利用MySQL binlog feature实现,使用FlinkSQL跨库查询同步。

    选择方式需要考虑:

    两数据库是否相同
    是否需要中间缓冲
    限流控制需求
    并发性能
    一般采用第1、2种方式间接实现优先,避免直接操作MySQL可能产生的并发问题。

    2023-08-10 22:53:29
    赞同 展开评论 打赏
  • 意中人就是我呀!

    cdc-》jdbc,有jdbc的 connector你看看flink 官网里有的,cdc 只是source 。此回答整理至钉群“Flink CDC 社区”。

    2023-08-09 12:18:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像