我们在使用过程中看到这样的日志 12-23 15:54:11 INFO BrokerControllerScheduledThread1 - Slave fall behind master: -7955368551255983524 bytes
另外有频繁的这样的警告 2019-12-23 15:54:53 WARN ConsumerManageThread_5 - [NOTIFYME]update consumer offset less than store
我们在使用过程中,发现某些TOPIC缺少rocketmq_producer_tps监控,有一台broker的rocketmq_broker_qps参数经常突然跌到很低,然后又暴涨。(这台broker所在机器使用的是SSD,内存也很大) 分析日志和查看代码都找不到问题原因。 版本是4.1
原提问者GitHub用户ntysdd
关于第一条日志,其中提到了Slave fall behind master,表示某个Slave的日志已经落后于Master,偏移量为-7955368551255983524 bytes。这可能是由于网络延迟、消息发送速度过慢等原因导致的。
第二条日志中提到了Consumer offset less than store,表示消费者已经消费的消息偏移量小于存储的消息偏移量。这可能是由于消息丢失、消费者处理消息速度过慢等原因导致的。
第三条日志中提到了rocketmq_producer_tps监控缺失,这可能表明该TOPIC的生产者发送消息的速度过慢,导致监控数据无法及时更新。
第四条日志中提到了rocketmq_broker_qps参数突然跌落,这可能与该Broker的负载过高、消息处理速度过慢、网络延迟等问题有关。
建议您可以对RocketMQ进行一些性能调优和优化,以提高其性能和稳定性。此外,也可以考虑使用其他工具或监控系统来进一步诊断问题,例如Grafana等。
第一个问题能不能同时提供下ms的store日志,按道理slave在这种情况下应该还是在继续同步数据的,不会影响系统,如果是这样的话,可以暂时忽略这个问题。
第二个问题,一般发生在consumer group被删掉后又重新上线或者是持续的rebalance过程中,但是应该不会持续发生很多,会逐渐稳定。
第三个的话,看下store.log, storeerror.log 相关的日志是否存在问题,有没有发生锁占用很长的情况。
Issue一般用来做bug report以及feature request,所以有问题还是希望在邮件列表里面搜索提问,邮件列表地址,所以我先关掉这个issue,有问题的话也可以再打开。
原回答者GitHub用户duhenglucky
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。