Rabbitmq插件实现延迟队列

简介: RabbitMQ只会检查第一个消息是否过期,如果过期则丢到死信队列,如果第一个消息的延时时长很长,而第二个消息的延时时长很短,第二个消息并不会优先得到执行。

原因:RabbitMQ只会检查第一个消息是否过期,如果过期则丢到死信队列,如果第一个消息的延时时长很长,而第二个消息的延时时长很短,第二个消息并不会优先得到执行。


操作前需要安装延时队列插件  


在官网上下载https://www.rabbitmq.com/community-plugins.html,下载


rabbitmq_delayed_message_exchange插件,然后解压放置到RabbitMQ的插件目录。


进入RabbitMQ的安装目录下的plgins目录,执行下面命令让该插件生效,然后重启RabbitMQ /usr/lib/rabbitmq/lib/rabbitmq_server-3.8.8/plugins


rabbitmq-plugins enable rabbitmq_delayed_message_exchange


6de66bfe2cd74b0dabef9b94a5653931.png


代码架构图



在这里新增了一个队列delayed.queue,一个自定义交换机delayed.exchange,绑定关系如下:


6d35c4754882429980ffeb6675f199d2.png


配置文件类代码  



在我们自定义的交换机中,这是一种新的交换类型,该类型消息支持延迟投递机制 消息传递后并不会立即投递到目标队列中,而是存储在mnesia(一个分布式数据系统)表中,当达到投递时间时,才投递到目标队列中。


/**
 * 基于插件的延迟队列
 */
@Configuration
public class DelayQueueConfig {
    public static  final  String DELAYED_QUEUE_NAME="delayed.queue";
    public static  final  String DELAYED_EXCHANGE_NAME="delayed.exchange";
    public static  final  String DELAYED_ROUTING_KEY="delayed.routingkey";
    @Bean
    public Queue delayedQueue()
    {
        return new Queue(DELAYED_QUEUE_NAME);
    }
    //自定义交换机,再这里定义的是一个延迟交换机
    @Bean
    public CustomExchange delayedExchange()
    {
        Map<String, Object> map = new HashMap<>();
        //自定义交换机的类型
        map.put("x-delayed-type","direct");
        return new CustomExchange(DELAYED_EXCHANGE_NAME,"x-delayed-message",true,false,map);
    }
    @Bean
    public Binding bindingDelayedQueue(@Qualifier("delayedExchange") CustomExchange customExchange,@Qualifier("delayedQueue") Queue queue){
        return BindingBuilder.bind(queue).to(customExchange).with(DELAYED_ROUTING_KEY).noargs();
    }
}


消息生产者代码  



@RestController
@Slf4j
@RequestMapping("ttl")
public class DelayedProduce {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @GetMapping("sendDelayMsg/{message}/{delayTime}")
    public void sendMsg(@PathVariable String message,@PathVariable String delayTime)
    {
        log.info("当前时间:{},发送一条时长{}毫秒TTL信息给队列C:{}", new Date(),delayTime, message);
        rabbitTemplate.convertAndSend(DelayQueueConfig.DELAYED_EXCHANGE_NAME,DelayQueueConfig.DELAYED_ROUTING_KEY,message, correlationData ->{
            correlationData.getMessageProperties().setExpiration(delayTime);
            return correlationData;
        });
    }
}


消息消费者代码



@Slf4j
@Component
public class DelayConsumer {
    @RabbitListener(queues = DelayQueueConfig.DELAYED_QUEUE_NAME)
    public  void receiveDelayedQueue(Message message)
    {
        String s = new String(message.getBody());
        log.info("当前时间:{},收到延时队列的消息:{}" ,new Date().toString(), s);
    }
}



发起请求:

http://localhost:8080/ttl/sendDelayMsg/come on baby1/20000

http://localhost:8080/ttl/sendDelayMsg/come on baby2/2000


161a45be5f0944ff8bf2bd006db40cc8.png

bb18f55836f84be28c7f7e80a1fae40e.png


第二个消息被先消费掉了,符合预期


延时队列在需要延时处理的场景下非常有用,使用RabbitMQ来实现延时队列可以很好的利用


RabbitMQ的特性,如:消息可靠发送、消息可靠投递、死信队列来保障消息至少被消费一次以及未被正确处理的消息不会被丢弃。另外,通过RabbitMQ集群的特性,可以很好的解决单点故障问题,不会因为单个节点挂掉导致延时队列不可用或者消息丢失。


当然,延时队列还有很多其它选择,比如利用Java的DelayQueue,利用Redis的zset,利用Quartz


或者利用kafka的时间轮,这些方式各有特点,看需要适用的场景




相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
4月前
|
消息中间件 存储 监控
RabbitMQ 队列之战:Classic 和 Quorum 的性能洞察
RabbitMQ 是一个功能强大的消息代理,用于分布式应用程序间的通信。它通过队列临时存储消息,支持异步通信和解耦。经典队列适合高吞吐量和低延迟场景,而仲裁队列则提供高可用性和容错能力,适用于关键任务系统。选择哪种队列取决于性能、持久性和容错性的需求。
313 6
|
5月前
|
消息中间件 JSON Java
|
5月前
|
消息中间件
rabbitmq,&队列
rabbitmq,&队列
|
6月前
|
消息中间件 存储 NoSQL
MQ的顺序性保证:顺序队列、消息编号、分布式锁,一文全掌握!
【8月更文挑战第24天】消息队列(MQ)是分布式系统的关键组件,用于实现系统解耦、提升可扩展性和可用性。保证消息顺序性是其重要挑战之一。本文介绍三种常用策略:顺序队列、消息编号与分布式锁,通过示例展示如何确保消息按需排序。这些方法各有优势,可根据实际场景灵活选用。提供的Java示例有助于加深理解与实践应用。
230 2
|
5月前
|
消息中间件 JSON Java
玩转RabbitMQ声明队列交换机、消息转换器
玩转RabbitMQ声明队列交换机、消息转换器
135 0
|
6月前
|
消息中间件 存储 RocketMQ
2分钟看懂RocketMQ延迟消息核心原理
本文从源码层面解析了RocketMQ延迟消息的实现原理,包括延迟消息的使用、Broker端处理机制以及定时任务对延迟消息的处理流程。
2分钟看懂RocketMQ延迟消息核心原理
|
7月前
|
消息中间件 RocketMQ
MetaQ/RocketMQ 原理问题之当消费集群规模较大时,处理分配不到队列的Consumer的问题如何解决
MetaQ/RocketMQ 原理问题之当消费集群规模较大时,处理分配不到队列的Consumer的问题如何解决
|
6月前
|
消息中间件 Kafka Apache
kafka vs rocketmq: 不要只顾着吞吐量而忘了延迟这个指标
这篇文章讨论了Apache RocketMQ和Kafka的对比,强调RocketMQ在低延迟、消息重试与追踪、海量Topic、多租户等方面进行了优化,特别是在小包非批量和大量分区场景下的吞吐量超越Kafka,适合电商和金融领域等高并发、高可靠和高可用场景。
219 0
|
7月前
|
消息中间件 Java Kafka
说说RabbitMQ延迟队列实现原理?
说说RabbitMQ延迟队列实现原理?
125 0
说说RabbitMQ延迟队列实现原理?
|
7月前
|
消息中间件 NoSQL 关系型数据库
【RocketMQ系列十三】RocketMQ的集群核心概念之消费重试&死信队列&幂等消息的出现以及处理
【RocketMQ系列十三】RocketMQ的集群核心概念之消费重试&死信队列&幂等消息的出现以及处理
211 1