HA机制,master长时间宕机重启后产生重复消费

master停机5分钟期间slave开始承接正常业务,客户端正常消费。

5分钟后master重启,slave的syncAll()机制,从master复制了一份5分钟前的消费偏移量数据,覆盖掉了最新的偏移量信息。

导致client消费到的重复的消息。

希望提供官方的master重启机制。

建议后期添加节点内broker同步数据以offset最大为主,和master与slave反向同步的机制。 或者在重启服务前,节点要完全下线,slave下线不提供服务,master重启前,从slave最大偏移量线下拷贝consumeOffset.json文件。

原提问者GitHub用户beijixiongzzj

展开
收起
芬奇福贵 2023-05-26 16:05:40 130 分享 版权
1 条回答
写回答
取消 提交回答
  • 这一块的确可以优化,但是反向复制的话会增加系统的复杂度,当然,拷贝位点文件也是个不错的做法

    原回答者GitHub用户duhenglucky

    2023-05-26 18:04:16
    赞同 展开评论
问答地址:

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

还有其他疑问?
咨询AI助理