开发者社区> 问答> 正文

重启Canal导致数据重新写入kafka

近日canal升级漏洞安装包,重启canal Server 服务,发现同步mysql的binlog数据全部重新进入kafka一次,导致数据翻倍增加,想问一下有没有大佬遇到过这种问题,如何解决?

什么都没有修改,好像canal底层记录的一个标志位(事物id),混乱了,然后本身01机器应该消费到第十条,02机器消费到第20条,然后重启的时候全部冲第十条开始消费了.感觉没走自己值钱记录的事物id

原提问者GitHub用户Anandonzy

展开
收起
后端老大 2023-04-26 16:48:41 242 0
1 条回答
写回答
取消 提交回答
  • 需要采用文件或者zookeeper模式记录上一次的位点

    原回答者GitHub用户agapple

    2023-04-26 19:28:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载