开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中这个是不是发布有问题,cdc 是不是只能监听到主键的变化?

Flink CDC中这个是不是发布有问题,cdc 是不是只能监听到主键的变化?
42668af38bcae996d920f6c5c86f9374.png

展开
收起
十一0204 2023-08-09 09:12:26 80 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC(Change Data Capture)是一种用于捕获数据库中数据变化的技术,用于将变化的数据流实时传输给 Flink 进行处理。关于 Flink CDC 的问题和功能,以下是一些解释:

    发布问题:Flink CDC 是 Flink 社区提供的一个功能模块,用于与各种数据库集成并捕获数据变化。它是一个成熟的功能,并且在许多生产环境中得到广泛使用。然而,与数据库的集成和配置可能会因不同的数据库和版本而有所不同,因此在使用 Flink CDC 时,需要仔细阅读文档并根据特定的数据库进行配置和调优。

    CDC 监听功能:Flink CDC 不仅仅只能监听主键的变化,它可以捕获数据库表中的各种数据变化,包括插入、更新和删除操作。它通过解析数据库的事务日志或日志文件,识别并提取变化的数据,并将其作为数据流传递给 Flink 进行处理。因此,您可以在 Flink 中获取完整的变化数据,而不仅仅是主键的变化。

    数据变化类型:Flink CDC 可以捕获表中各种数据变化的信息,包括插入新记录、更新现有记录以及删除记录。它可以识别每个变化操作的类型,并将相应的数据变化传递给 Flink 进行处理。您可以根据数据变化类型进行相应的业务逻辑处理。

    2023-08-11 21:20:44
    赞同 展开评论 打赏
  • 意中人就是我呀!

    监控的表需要设置replica identity的值为full才能得到变更前的值。此回答整理至钉群“Flink CDC 社区”。

    2023-08-09 12:06:34
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载