安装flink12版本 ,可以用 flink cdc 吗?

安装flink12版本 ,可以用 flink cdc 吗?

展开
收起
雪哥哥 2022-10-24 23:32:43 950 分享
分享
版权
举报
4 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,安装Flink12版本可以用FlinkCDC。FlinkCDC其实和canal差不多,只不过就是Flink社区开发的组件,用起来更方便一些。

      Flink在1.11版本中新增了CDC的特性,简称改变数据捕获。

      以上是之前的mysql binlog日志处理流程,例如canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。

    mysql开启binlog canal同步binlog数据写入到kafka flink读取kakfa中的binlog数据进行相关的业务处理。 整体的处理链路较长,需要用到的组件也比较多。Apache Flink CDC可以直接从数据库获取到binlog供下游进行业务计算分析。

    2023-01-30 11:02:51 举报
    赞同 1 评论

    评论

    全部评论 (0)

    登录后可评论
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    flink12版本是可以使用flink cdc的,cdc的核心思想是监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。

    2023-01-29 15:07:18 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • Flink 1.2版本支持CDC(Change Data Capture)功能, 你可以使用Flink自带的CDC模块来实现对数据变化的监控。

    Flink 1.2提供了一种基于流的CDC方法,它通过将数据源与Flink流式处理系统集成来实现对数据变化的实时监控。

    你需要使用Flink SQL API或者Table API来实现对数据变化的监控,通过连接到数据库并设置好连接参数。

    在Flink 1.2 之后版本中,还有一些第三方模块如Apache Nifi, Debezium等可以使用来实现CDC功能。

    2023-01-17 16:11:31 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • Flink1.12,支持CDC功能和更好的流批一体

    2023-01-16 13:08:23 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等