Flink CDC中表A 中有10列数据,我只关心 3列数据创建CDC 数据源的时候只建3列的源
使用过程中其它7列的数据修改,我这边数据源会收到数据变更的通知吗?
只关系3列数据的变更,源表是polar-MySQL 8.0的。源表更新太频繁了,我这边只能在写代码比较指定列数据变更前后的对比吗?
Flink CDC 通过监控数据源的数据变化来实现增量数据同步,可以及时捕获数据变更并将其同步到目标数据存储中。如果 Flink CDC 监控的数据源中的其他列发生了变化,Flink CDC 可能会将这些变化识别为数据变更并进行同步。
具体来说,如果数据源中的其他列发生了变化,例如新增或删除列、修改列名或数据类型等,可能会影响 Flink CDC 的数据同步。在这种情况下,您需要更新 Flink CDC 的配置,以保证其能够正确识别和同步数据变更。
另外,如果数据源中的其他列发生了变化,但这些变化不影响 Flink CDC 的数据同步,例如新增了一个与 Flink CDC 无关的列,那么 F
"都会。debezium.column.include.list = databaseName.tableName.columnName
这样你就只能拿到这些列变化的数据,其他列变化不产生数据,缺点:不能拿到完整的一行数据。此回答整理至钉群“Flink CDC 社区”"
如果只关心表A中的3列数据,那么在使用Flink CDC时,只有这3列的数据变更会触发数据源的变化通知。其它7列的数据修改不会触发通知。
在这种情况下,需要在代码中比较指定列数据变更前后的对比,以便及时处理这些变更。可以使用Flink CDC提供的DataChangeEvent
对象来获取变更事件的信息,并根据需要进行相应的处理。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。