开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

安装flink12版本 ,可以用 flink cdc 吗?

安装flink12版本 ,可以用 flink cdc 吗?

展开
收起
雪哥哥 2022-10-24 23:32:43 926 0
4 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,安装Flink12版本可以用FlinkCDC。FlinkCDC其实和canal差不多,只不过就是Flink社区开发的组件,用起来更方便一些。

      Flink在1.11版本中新增了CDC的特性,简称改变数据捕获。

      以上是之前的mysql binlog日志处理流程,例如canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。

    mysql开启binlog canal同步binlog数据写入到kafka flink读取kakfa中的binlog数据进行相关的业务处理。 整体的处理链路较长,需要用到的组件也比较多。Apache Flink CDC可以直接从数据库获取到binlog供下游进行业务计算分析。

    2023-01-30 11:02:51
    赞同 1 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    flink12版本是可以使用flink cdc的,cdc的核心思想是监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。

    2023-01-29 15:07:18
    赞同 展开评论 打赏
  • Flink 1.2版本支持CDC(Change Data Capture)功能, 你可以使用Flink自带的CDC模块来实现对数据变化的监控。

    Flink 1.2提供了一种基于流的CDC方法,它通过将数据源与Flink流式处理系统集成来实现对数据变化的实时监控。

    你需要使用Flink SQL API或者Table API来实现对数据变化的监控,通过连接到数据库并设置好连接参数。

    在Flink 1.2 之后版本中,还有一些第三方模块如Apache Nifi, Debezium等可以使用来实现CDC功能。

    2023-01-17 16:11:31
    赞同 展开评论 打赏
  • Flink1.12,支持CDC功能和更好的流批一体

    2023-01-16 13:08:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载