Flink CDC中这个是不是发布有问题,cdc 是不是只能监听到主键的变化?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink CDC(Change Data Capture)是一种用于捕获数据库中数据变化的技术,用于将变化的数据流实时传输给 Flink 进行处理。关于 Flink CDC 的问题和功能,以下是一些解释:
发布问题:Flink CDC 是 Flink 社区提供的一个功能模块,用于与各种数据库集成并捕获数据变化。它是一个成熟的功能,并且在许多生产环境中得到广泛使用。然而,与数据库的集成和配置可能会因不同的数据库和版本而有所不同,因此在使用 Flink CDC 时,需要仔细阅读文档并根据特定的数据库进行配置和调优。
CDC 监听功能:Flink CDC 不仅仅只能监听主键的变化,它可以捕获数据库表中的各种数据变化,包括插入、更新和删除操作。它通过解析数据库的事务日志或日志文件,识别并提取变化的数据,并将其作为数据流传递给 Flink 进行处理。因此,您可以在 Flink 中获取完整的变化数据,而不仅仅是主键的变化。
数据变化类型:Flink CDC 可以捕获表中各种数据变化的信息,包括插入新记录、更新现有记录以及删除记录。它可以识别每个变化操作的类型,并将相应的数据变化传递给 Flink 进行处理。您可以根据数据变化类型进行相应的业务逻辑处理。
监控的表需要设置replica identity的值为full才能得到变更前的值。此回答整理至钉群“Flink CDC 社区”。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。