请教大家,cdc是如何读取增量binlog的呢?假如我的源端库有1000张表,我只同步其中10张表数据, 1.cdc会读取到这1000张表的log过来到本地服务器,提取需要的10张,其余丢弃? 2.作业任务去源端读取到10张表的变更记录,只传输10张表的变更记录?
Flink CDC 会连接到 MySQL 数据库的 binlog 日志,然后以增量的方式读取 binlog 中的数据变更信息,然后将这些变更信息转换成 Flink 数据流的形式,最终输出到您指定的 Sink 中。
对于您提到的问题,答案如下:
1、Flink CDC 不会直接读取所有表的 binlog 日志,而是会连接到 MySQL 数据库的 binlog,然后通过指定参数的方式来告知 Flink CDC 哪些表需要被同步,因此不需要读取无关的表的 binlog 日志。
2、是的,Flink CDC 只会读取您指定的需要同步的表的 binlog 日志,然后将这些变更记录传输到您指定的 Sink 中。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。