开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我记得debezium是存的文件,Flink CDC是做了改造吗?

我记得debezium是存的文件,Flink CDC是做了改造吗?

展开
收起
真的很搞笑 2023-08-20 13:07:36 24 0
1 条回答
写回答
取消 提交回答
  • Debezium 和 Flink CDC 都是 Change Data Capture (CDC) 框架,都可以从数据库捕获数据变化,并将这些变化发送到 Kafka 等消息系统中。

    Debezium 是一个开源框架,它支持 PostgreSQL、MySQL、MariaDB、Oracle、MongoDB 等多种数据库。Debezium 使用 binary log 或 row log 来捕获数据变化,并将这些变化发送到 Kafka 等消息系统中。

    Flink CDC 是 Flink 提供的数据集成框架,它可以将数据从不同的数据源读取到 Flink 中进行处理。Flink CDC 使用 Debezium 作为 MySQL 的 CDC 实现,可以从 MySQL 数据库中捕获数据变化,并将这些变化发送到 Kafka 等消息系统中。

    Flink CDC 在 Debezium 的基础上做了一些改造,主要包括以下几个方面:

    支持 Flink 的流式计算模型。Flink CDC 可以将数据变化作为流式数据处理,这对于实时数据处理非常有用。
    支持 Flink 的状态管理。Flink CDC 可以使用 Flink 的状态管理来保存数据变化的状态,这对于处理重复数据或延迟数据非常有用。
    支持 Flink 的窗口函数。Flink CDC 可以使用 Flink 的窗口函数来对数据变化进行聚合,这对于分析数据非常有用。
    总体来说,Flink CDC 是一个非常强大的数据集成框架,它可以帮助我们将数据从不同的数据源读取到 Flink 中,并进行流式计算或批处理计算。

    2023-09-20 11:28:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载