今一早看了 Flink CDC 重播，有两个问题想请教下您：1. 不太理解 debez #Flink
今一早看了 Flink CDC 重播，有两个问题想请教下您： 1. 不太理解 debezium-json , canal-json 这两个format 存在的意义是什么？ 既然已经直接对接mysql binlog 了，flink 内部直接对binlog 解析就可以了吗，为啥还要依赖于canal，debezium 组件呢？ 既然有debezium-json 、 canal-json 、 那必然要实现debezium-avro 、 canal-protobuf 。因为json 这种flat Message 对于大数据量时延迟影响非常大。 2. 如果不采用 cdc -> kafka ，而直接采用 cdc - flink 。 那么每一个新需求都需要从mysql 上接一个flink cdc ，如果mysql 接的cdc 太多了能否抗的住呢？ 我倒是认为cdc -> kafka 然后多消费这种模式更加稳妥些。 #Flink
展开
收起
1
条回答
写回答
写回答
-
- 如果已经有了 debezium 和 canal，可以直接去读 debezium/canal 的数据，这是 debezium-json 的意义。如果直接使用 flink 对接 mysql binlog，就不需要依赖 canale/debezium了。 2. 如果数据量大，或者由多个下游需要消费，那么建议cdc->kafka， 这里可以用 flink 采集，也可以用 debezium/canal 采集。
2020-08-07 16:31:28赞同 展开评论 打赏
问答分类：
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
