开发者社区 问答 正文

重启Canal导致数据重新写入kafka

近日canal升级漏洞安装包,重启canal Server 服务,发现同步mysql的binlog数据全部重新进入kafka一次,导致数据翻倍增加,想问一下有没有大佬遇到过这种问题,如何解决?

什么都没有修改,好像canal底层记录的一个标志位(事物id),混乱了,然后本身01机器应该消费到第十条,02机器消费到第20条,然后重启的时候全部冲第十条开始消费了.感觉没走自己值钱记录的事物id

原提问者GitHub用户Anandonzy

展开
收起
后端老大 2023-04-26 16:48:41 282 发布于北京 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 需要采用文件或者zookeeper模式记录上一次的位点

    原回答者GitHub用户agapple

    2023-04-26 19:28:56 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等