flink cdc内置了kafka 监听binlog文件的时候 是把所有监听的数据写入kafka的
还是只是记录偏移量 数据还是从biglog取的
写回答
-
十年摸盘键，代码未曾试。 今日码示君，谁有上云事。Flink在1.11版本中新增了CDC的特性，简称 改变数据捕获。
之前的mysql binlog日志处理流程是canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。
分步操作：
mysql开启binlog canal同步binlog数据写入到kafka flink读取kakfa中的binlog数据进行相关的业务处理。
整体的处理链路较长，需要用到的组件也比较多。
现在数据不再通过canal与kafka进行同步，而flink直接进行处理mysql的数据。节省了canal与kafka的过程。
在Flink 1.11中可以直接通过Flink来直接消费mysql,postgresql的数据进行业务的处理。
Apache Flink CDC的方式替代了之前的canal+kafka节点.直接通过sql的方式来实现对mysql数据的同步。
2022-11-25 14:03:58赞同 展开评论 打赏 -
网站：http://ixiancheng.cn/ 微信订阅号：小马哥学JAVA实时日志的消费，流处理，MySQL的binlog日志完整记录数据库中的变更，把binlog文件看作流的数据源，binlog文件中包含了所有的历史变更明细，这个在同步kafka的时候，保证数据的完整性，保障实时的进行流式的消费，提供实时的数据消费处理
2022-11-24 20:18:05赞同 1 展开评论 打赏 -
GitHub https://github.com/co63oc/cloud
写入所有监听的数据， 如果kafka记录偏移量，消费端没有数据库连接配置信息，也不能连接数据库
2022-11-24 17:41:32赞同 展开评论 打赏 -
flink-cdc-connectors组件，能够间接从 MySQL、PostgreSQL等数据库间接读取全量binlog数据和增量变更binlog数据。
2022-11-24 07:30:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关文章
相关电子书
更多
