我记得debezium是存的文件,Flink CDC是做了改造吗?
Debezium 和 Flink CDC 都是 Change Data Capture (CDC) 框架,都可以从数据库捕获数据变化,并将这些变化发送到 Kafka 等消息系统中。
Debezium 是一个开源框架,它支持 PostgreSQL、MySQL、MariaDB、Oracle、MongoDB 等多种数据库。Debezium 使用 binary log 或 row log 来捕获数据变化,并将这些变化发送到 Kafka 等消息系统中。
Flink CDC 是 Flink 提供的数据集成框架,它可以将数据从不同的数据源读取到 Flink 中进行处理。Flink CDC 使用 Debezium 作为 MySQL 的 CDC 实现,可以从 MySQL 数据库中捕获数据变化,并将这些变化发送到 Kafka 等消息系统中。
Flink CDC 在 Debezium 的基础上做了一些改造,主要包括以下几个方面:
支持 Flink 的流式计算模型。Flink CDC 可以将数据变化作为流式数据处理,这对于实时数据处理非常有用。
支持 Flink 的状态管理。Flink CDC 可以使用 Flink 的状态管理来保存数据变化的状态,这对于处理重复数据或延迟数据非常有用。
支持 Flink 的窗口函数。Flink CDC 可以使用 Flink 的窗口函数来对数据变化进行聚合,这对于分析数据非常有用。
总体来说,Flink CDC 是一个非常强大的数据集成框架,它可以帮助我们将数据从不同的数据源读取到 Flink 中,并进行流式计算或批处理计算。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。