开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc内置了kafka 监听binlog文件的时候 是把所有监听的数据写入kafka的

还是只是记录偏移量 数据还是从biglog取的

展开
收起
雪哥哥 2022-10-30 07:40:51 1446 0
4 条回答
写回答
取消 提交回答
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    Flink在1.11版本中新增了CDC的特性,简称 改变数据捕获。

    之前的mysql binlog日志处理流程是canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。

    分步操作:

    mysql开启binlog canal同步binlog数据写入到kafka flink读取kakfa中的binlog数据进行相关的业务处理。

    整体的处理链路较长,需要用到的组件也比较多。

    现在数据不再通过canal与kafka进行同步,而flink直接进行处理mysql的数据。节省了canal与kafka的过程。

    在Flink 1.11中可以直接通过Flink来直接消费mysql,postgresql的数据进行业务的处理。

    Apache Flink CDC的方式替代了之前的canal+kafka节点.直接通过sql的方式来实现对mysql数据的同步。

    2022-11-25 14:03:58
    赞同 展开评论 打赏
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    实时日志的消费,流处理,MySQL的binlog日志完整记录数据库中的变更,把binlog文件看作流的数据源,binlog文件中包含了所有的历史变更明细,这个在同步kafka的时候,保证数据的完整性,保障实时的进行流式的消费,提供实时的数据消费处理

    2022-11-24 20:18:05
    赞同 1 展开评论 打赏
  • GitHub https://github.com/co63oc/cloud

    写入所有监听的数据, 如果kafka记录偏移量,消费端没有数据库连接配置信息,也不能连接数据库

    2022-11-24 17:41:32
    赞同 展开评论 打赏
  • flink-cdc-connectors组件,能够间接从 MySQL、PostgreSQL等数据库间接读取全量binlog数据和增量变更binlog数据。

    2022-11-24 07:30:26
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载