HA机制,master长时间宕机重启后产生重复消费

master停机5分钟期间slave开始承接正常业务,客户端正常消费。

5分钟后master重启,slave的syncAll()机制,从master复制了一份5分钟前的消费偏移量数据,覆盖掉了最新的偏移量信息。

导致client消费到的重复的消息。

希望提供官方的master重启机制。

建议后期添加节点内broker同步数据以offset最大为主,和master与slave反向同步的机制。 或者在重启服务前,节点要完全下线,slave下线不提供服务,master重启前,从slave最大偏移量线下拷贝consumeOffset.json文件。

原提问者GitHub用户beijixiongzzj

展开
收起
芬奇福贵 2023-05-26 16:05:40 131 分享 版权
1 条回答
写回答
取消 提交回答
  • 这一块的确可以优化,但是反向复制的话会增加系统的复杂度,当然,拷贝位点文件也是个不错的做法

    原回答者GitHub用户duhenglucky

    2023-05-26 18:04:16
    赞同 展开评论
问答地址: