开发者社区 > 云原生 > 正文

请问这种offset为负数的日志代表什么?

我们在使用过程中看到这样的日志 12-23 15:54:11 INFO BrokerControllerScheduledThread1 - Slave fall behind master: -7955368551255983524 bytes

另外有频繁的这样的警告 2019-12-23 15:54:53 WARN ConsumerManageThread_5 - [NOTIFYME]update consumer offset less than store

我们在使用过程中,发现某些TOPIC缺少rocketmq_producer_tps监控,有一台broker的rocketmq_broker_qps参数经常突然跌到很低,然后又暴涨。(这台broker所在机器使用的是SSD,内存也很大) 分析日志和查看代码都找不到问题原因。 版本是4.1

原提问者GitHub用户ntysdd

展开
收起
芬奇福贵 2023-05-26 14:16:39 164 0
2 条回答
写回答
取消 提交回答
  • 关于第一条日志,其中提到了Slave fall behind master,表示某个Slave的日志已经落后于Master,偏移量为-7955368551255983524 bytes。这可能是由于网络延迟、消息发送速度过慢等原因导致的。

    第二条日志中提到了Consumer offset less than store,表示消费者已经消费的消息偏移量小于存储的消息偏移量。这可能是由于消息丢失、消费者处理消息速度过慢等原因导致的。

    第三条日志中提到了rocketmq_producer_tps监控缺失,这可能表明该TOPIC的生产者发送消息的速度过慢,导致监控数据无法及时更新。

    第四条日志中提到了rocketmq_broker_qps参数突然跌落,这可能与该Broker的负载过高、消息处理速度过慢、网络延迟等问题有关。

    建议您可以对RocketMQ进行一些性能调优和优化,以提高其性能和稳定性。此外,也可以考虑使用其他工具或监控系统来进一步诊断问题,例如Grafana等。

    2023-05-27 10:07:24
    赞同 展开评论 打赏
  • 第一个问题能不能同时提供下ms的store日志,按道理slave在这种情况下应该还是在继续同步数据的,不会影响系统,如果是这样的话,可以暂时忽略这个问题。

    第二个问题,一般发生在consumer group被删掉后又重新上线或者是持续的rebalance过程中,但是应该不会持续发生很多,会逐渐稳定。

    第三个的话,看下store.log, storeerror.log 相关的日志是否存在问题,有没有发生锁占用很长的情况。

    Issue一般用来做bug report以及feature request,所以有问题还是希望在邮件列表里面搜索提问,邮件列表地址,所以我先关掉这个issue,有问题的话也可以再打开。

    原回答者GitHub用户duhenglucky

    2023-05-26 17:44:27
    赞同 展开评论 打赏
问答标签:
问答地址:

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载