master停机5分钟期间slave开始承接正常业务,客户端正常消费。
5分钟后master重启,slave的syncAll()机制,从master复制了一份5分钟前的消费偏移量数据,覆盖掉了最新的偏移量信息。
导致client消费到的重复的消息。
希望提供官方的master重启机制。
建议后期添加节点内broker同步数据以offset最大为主,和master与slave反向同步的机制。 或者在重启服务前,节点要完全下线,slave下线不提供服务,master重启前,从slave最大偏移量线下拷贝consumeOffset.json文件。
原提问者GitHub用户beijixiongzzj
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
这一块的确可以优化,但是反向复制的话会增加系统的复杂度,当然,拷贝位点文件也是个不错的做法
原回答者GitHub用户duhenglucky
阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。