开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC连kafka的时候,如果消费掉的消息,能删除掉吗?

Flink CDC连kafka的时候,如果消费掉的消息,能删除掉吗?

展开
收起
真的很搞笑 2023-12-01 08:33:51 73 0
2 条回答
写回答
取消 提交回答
  • 是的,Flink CDC在连接到Kafka时,可以消费掉的消息并将其删除。这是因为Flink CDC会监控并捕获数据库的变动,包括数据的插入、更新和删除,然后将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。当Flink CDC消费掉Kafka中的消息后,它会自动删除这些消息,以防止重复消费。

    2023-12-02 17:14:40
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,据我所知道的,阿里云Flink CDC在消费Kafka消息时,可以设置多种不同的消费模式(如自动提交、手动提交等),但无论采用何种方式,都无法删除Kafka上已经消费掉的消息。因为Kafka本身是一个持久化存储系统,它会一直保存所有的消息,除非你手动删除或自动过期删除。

    2023-12-02 07:50:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载