ActiveMQ多个消费者消费不均匀问题

简介: 如果客户端处理很慢的话,Broker会在之前发送消息的反馈之前,继续发送新的消息到客户端。如果客户端依旧很慢的话,没有得到确认反馈的消息会持续增长。
img_ebf50624bab2719d45615d8e90d39803.jpe

如果客户端处理很慢的话,Broker会在之前发送消息的反馈之前,继续发送新的消息到客户端。如果客户端依旧很慢的话,没有得到确认反馈的消息会持续增长。在这种情况下,Broker有可能会停止发送消息给消费者。当未被反馈的消息达到了prefetch limit设置的数字时,Broker将会停止给消费者发送新的消息。除非消费者开始给与反馈,否则得不到任何消息。

Default Prefetch Limit(默认预取限制):不同的消费者类型有不同的默认设置,具体设置如下:

Queue consumer:默认1000

如果你使用一组消费者进行分散工作量的话(一个Queue对应多个消费者),典型的你应该把数字设置的小一些。如果一个消费者被允许可以聚集大量的未被确认的消息的话,会导致其它的消费者无事可做。同时,如果这个消费者出错的话,会导致大量的消息不能被处理,直到消费者恢复之前。

Queue browser:默认500

Topic consumer:默认32766

默认值32766是数字short的最大值,也是预取限制的最大值。

Durable topic subscriber:默认100

通常你可以通过增加预取限制来改善性能。

Optimizing prefetch limits(优化预取限制):通常的,优化Queue消费和持久化主题订阅者(durable topic subscriber)是个好主意。

Queue consumers—如果你的queue只有一个消费者的话,你可以设置预取限制为一个相当大的值。但,如果一个queue有一组消费者的话,你最好限制到一个比较小的数字上,比如0或者1.

Durable topic subscribers—通常增大预取限制的数量会提高性能。尝试一下增加到1000.

How to set prefectch limits(如何设置预取限制):你可以在Broker端或者消费者端设置预取制限。这有三种粒度的设置方式。如下:

java写法

ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory();

Properties props = new Properties();

props.setProperty("prefetchPolicy.queuePrefetch", "1000");

props.setProperty("prefetchPolicy.queueBrowserPrefetch", "500");

props.setProperty("prefetchPolicy.durableTopicPrefetch", "100");

props.setProperty("prefetchPolicy.topicPrefetch", "32766");

factory.setProperties(props);

Per destination:一个最好的粒度,你可以在创建消费者的时候设置每个目的的预取限制。消费queue,TEST.QUEUE,时指定预取限制为10.创建MessageConsumer 实例的代码如下:

Queue queue =

new ActiveMQQueue("TEST.QUEUE?consumer.prefetchSize=10");

MessageConsumer consumer = session.createConsumer(queue);

Java高架构师、分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师之路想要学习以上内容进群:835638062免费学习,进群获取全套架构师视频、笔记、源码、课件、等书籍资料

相关文章
uniApp获取当前位置经纬度
uniApp获取当前位置经纬度
1279 0
|
并行计算 PyTorch 算法框架/工具
mmcv-full1.3.8 在win10上的安装
mmcv-full1.3.8 在win10上的安装
1050 0
|
JavaScript 前端开发 API
基于Vue和Element UI实现前后端分离和交互
基于Vue和Element UI实现前后端分离和交互
1557 1
|
人工智能 前端开发 架构师
Agent 2.0“三剑客”:MCP协议、A2A协议、AG-UI协议
Agent 2.0“三剑客”:MCP协议、A2A协议、AG-UI协议
|
传感器 安全 Java
如何使用 CoAP 协议进行设备通信
CoAP(Constrained Application Protocol)是一种适用于资源受限设备的轻量级协议,常用于物联网(IoT)设备之间的通信。本文介绍如何使用 CoAP 协议进行设备通信,包括协议的基本概念、消息格式、请求与响应流程以及实际应用示例。
2228 4
|
SQL 关系型数据库 MySQL
深入探究MySQL中的NULL
不知道大家有没有遇到这样的问题,当我们在对MySQL数据库进行查询操作时,条件写的是status!=1,理论上会将所有不符合条件的查询出来,但奇怪的是结果为NULL的就查不出来,必须得拼接上条件or status IS NULL。本篇文章我们就一起探究一下MySQL中的NULL。
1510 0
|
消息中间件 供应链 Java
RabbitMQ入门指南(九):消费者可靠性
RabbitMQ是一个高效、可靠的开源消息队列系统,广泛用于软件开发、数据传输、微服务等领域。本文主要介绍了消费者确认机制、失败重试机制、失败处理策略、业务幂等性等内容。
1059 0
RabbitMQ入门指南(九):消费者可靠性
|
PyTorch 算法框架/工具 网络架构
UNet详细解读(二)pytorch从头开始搭建UNet
UNet详细解读(二)pytorch从头开始搭建UNet
798 0
|
存储 缓存 Java
从浏览器发送请求给SpringBoot后端时,是如何准确找到哪个接口的?(下篇)
从浏览器发送请求给SpringBoot后端时,是如何准确找到哪个接口的?(下篇)
797 1
|
安全 API 数据安全/隐私保护
3分钟教你开通阿里云AccessKey秘钥,并完成对应授权!
3分钟教你开通阿里云AccessKey秘钥,并完成对应授权!
9671 0
3分钟教你开通阿里云AccessKey秘钥,并完成对应授权!