开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中使用过程中其它7列的数据修改,我这边数据源会收到数据变更的通知吗?

Flink CDC中表A 中有10列数据,我只关心 3列数据创建CDC 数据源的时候只建3列的源
使用过程中其它7列的数据修改,我这边数据源会收到数据变更的通知吗?
只关系3列数据的变更,源表是polar-MySQL 8.0的。源表更新太频繁了,我这边只能在写代码比较指定列数据变更前后的对比吗?

展开
收起
十一0204 2023-07-24 21:36:15 62 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 通过监控数据源的数据变化来实现增量数据同步,可以及时捕获数据变更并将其同步到目标数据存储中。如果 Flink CDC 监控的数据源中的其他列发生了变化,Flink CDC 可能会将这些变化识别为数据变更并进行同步。
    具体来说,如果数据源中的其他列发生了变化,例如新增或删除列、修改列名或数据类型等,可能会影响 Flink CDC 的数据同步。在这种情况下,您需要更新 Flink CDC 的配置,以保证其能够正确识别和同步数据变更。
    另外,如果数据源中的其他列发生了变化,但这些变化不影响 Flink CDC 的数据同步,例如新增了一个与 Flink CDC 无关的列,那么 F

    2023-07-29 18:50:42
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "都会。debezium.column.include.list = databaseName.tableName.columnName
    这样你就只能拿到这些列变化的数据,其他列变化不产生数据,缺点:不能拿到完整的一行数据。此回答整理至钉群“Flink CDC 社区”"

    2023-07-26 11:27:29
    赞同 展开评论 打赏
  • 存在即是合理

    如果只关心表A中的3列数据,那么在使用Flink CDC时,只有这3列的数据变更会触发数据源的变化通知。其它7列的数据修改不会触发通知。

    在这种情况下,需要在代码中比较指定列数据变更前后的对比,以便及时处理这些变更。可以使用Flink CDC提供的DataChangeEvent对象来获取变更事件的信息,并根据需要进行相应的处理。

    2023-07-25 18:59:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载