【RabbitMQ高级篇】消息可靠性问题(1)(上)

简介: 【RabbitMQ高级篇】消息可靠性问题(1)

1.消息可靠性

消息从发送,到消费者接收,会经理多个过程:

其中的每一步都可能导致消息丢失,常见的丢失原因包括:

  • 发送时丢失:
  • 生产者发送的消息未送达exchange
  • 消息到达exchange后未到达queue
  • MQ宕机,queue将消息丢失
  • consumer接收到消息后未消费就宕机

针对这些问题,RabbitMQ分别给出了解决方案:

  • 生产者确认机制
  • mq持久化
  • 消费者确认机制
  • 失败重试机制

下面我们就通过案例来演示每一个步骤。

首先,导入课前资料提供的demo工程:

项目结构如下:

1.1.生产者消息确认

RabbitMQ提供了publisher confirm机制来避免消息发送到MQ过程中丢失。这种机制必须给每个消息指定一个唯一ID。消息发送到MQ以后,会返回一个结果给发送者,表示消息是否处理成功。

返回结果有两种方式:

  • publisher-confirm,发送者确认
  • 消息成功投递到交换机,返回ack
  • 消息未投递到交换机,返回nack
  • publisher-return,发送者回执
  • 消息投递到交换机了,但是没有路由到队列。返回ACK,及路由失败原因。

注意:

1.1.1.修改配置

首先,修改publisher服务中的application.yml文件,添加下面的内容:

1. spring:
2.   rabbitmq:
3.     publisher-confirm-type: correlated
4.     publisher-returns: true
5. template:
6.       mandatory: true

说明:

  • publish-confirm-type:开启publisher-confirm,这里支持两种类型:
  • simple:同步等待confirm结果,直到超时
  • correlated:异步回调,定义ConfirmCallback,MQ返回结果时会回调这个ConfirmCallback
  • publish-returns:开启publish-return功能,同样是基于callback机制,不过是定义ReturnCallback
  • template.mandatory:定义消息路由失败时的策略。true,则调用ReturnCallback;false:则直接丢弃消息

1.1.2.定义Return回调

每个RabbitTemplate只能配置一个ReturnCallback,因此需要在项目加载时配置:

修改publisher服务,添加一个:

1. package cn.itcast.mq.config;
2. 
3. import lombok.extern.slf4j.Slf4j;
4. import org.springframework.amqp.rabbit.core.RabbitTemplate;
5. import org.springframework.beans.BeansException;
6. import org.springframework.context.ApplicationContext;
7. import org.springframework.context.ApplicationContextAware;
8. import org.springframework.context.annotation.Configuration;
9. 
10. @Slf4j
11. @Configuration
12. public class CommonConfig implements ApplicationContextAware {
13. @Override
14. public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
15. // 获取RabbitTemplate
16. RabbitTemplate rabbitTemplate = applicationContext.getBean(RabbitTemplate.class);
17. // 设置ReturnCallback
18.         rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
19. // 投递失败,记录日志
20.             log.info("消息发送失败,应答码{},原因{},交换机{},路由键{},消息{}",
21.                      replyCode, replyText, exchange, routingKey, message.toString());
22. // 如果有业务需要,可以重发消息
23.         });
24.     }
25. }

1.1.3.定义ConfirmCallback

ConfirmCallback可以在发送消息时指定,因为每个业务处理confirm成功或失败的逻辑不一定相同。

在publisher服务的cn.itcast.mq.spring.SpringAmqpTest类中,定义一个单元测试方法:

1. public void testSendMessage2SimpleQueue() throws InterruptedException {
2. // 1.消息体
3. String message = "hello, spring amqp!";
4. // 2.全局唯一的消息ID,需要封装到CorrelationData中
5. CorrelationData correlationData = new CorrelationData(UUID.randomUUID().toString());
6. // 3.添加callback
7.     correlationData.getFuture().addCallback(
8.         result -> {
9. if(result.isAck()){
10. // 3.1.ack,消息成功
11.                 log.debug("消息发送成功, ID:{}", correlationData.getId());
12.             }else{
13. // 3.2.nack,消息失败
14.                 log.error("消息发送失败, ID:{}, 原因{}",correlationData.getId(), result.getReason());
15.             }
16.         },
17.         ex -> log.error("消息发送异常, ID:{}, 原因{}",correlationData.getId(),ex.getMessage())
18.     );
19. // 4.发送消息
20.     rabbitTemplate.convertAndSend("task.direct", "task", message, correlationData);
21. 
22. // 休眠一会儿,等待ack回执
23.     Thread.sleep(2000);
24. }

1.2.消息持久化

生产者确认可以确保消息投递到RabbitMQ的队列中,但是消息发送到RabbitMQ以后,如果突然宕机,也可能导致消息丢失。

要想确保消息在RabbitMQ中安全保存,必须开启消息持久化机制。

  • 交换机持久化
  • 队列持久化
  • 消息持久化

1.2.1.交换机持久化

RabbitMQ中交换机默认是非持久化的,mq重启后就丢失。

SpringAMQP中可以通过代码指定交换机持久化:

1. @Bean
2. public DirectExchange simpleExchange(){
3. // 三个参数:交换机名称、是否持久化、当没有queue与其绑定时是否自动删除
4. return new DirectExchange("simple.direct", true, false);
5. }

事实上,默认情况下,由SpringAMQP声明的交换机都是持久化的。

可以在RabbitMQ控制台看到持久化的交换机都会带上D的标示:

1.2.2.队列持久化

RabbitMQ中队列默认是非持久化的,mq重启后就丢失。

SpringAMQP中可以通过代码指定交换机持久化:

1. @Bean
2. public Queue simpleQueue(){
3. // 使用QueueBuilder构建队列,durable就是持久化的
4. return QueueBuilder.durable("simple.queue").build();
5. }

事实上,默认情况下,由SpringAMQP声明的队列都是持久化的。

可以在RabbitMQ控制台看到持久化的队列都会带上D的标示:

1.2.3.消息持久化

利用SpringAMQP发送消息时,可以设置消息的属性(MessageProperties),指定delivery-mode:

  • 1:非持久化
  • 2:持久化

用java代码指定:

默认情况下,SpringAMQP发出的任何消息都是持久化的,不用特意指定。



相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
7月前
|
消息中间件 存储 运维
|
1天前
|
消息中间件 Java 中间件
MQ四兄弟:如何保证消息可靠性
本文介绍了RabbitMQ、RocketMQ、Kafka和Pulsar四种消息中间件的可靠性机制。这些中间件通过以下几种方式确保消息的可靠传输:1. 消息持久化,确保消息在重启后不会丢失;2. 确认机制,保证消息从生产者到消费者都被成功处理;3. 重试机制,处理失败后的重试;4. 死信队列,处理无法消费的消息。每种中间件的具体实现略有不同,但核心思想相似,都是从生产者、中间件本身和消费者三个角度来保障消息的可靠性。
10 0
|
4月前
|
消息中间件 存储 运维
RabbitMQ-消息消费时的可靠性保障
将这些实践融入到消息消费的处理逻辑中,可以很大程度上保障RabbitMQ中消息消费的可靠性,确保消息系统的稳定性和数据的一致性。这些措施的实施,需要在系统的设计和开发阶段充分考虑,以及在后续的维护过程中不断的调整和完善。
64 0
|
7月前
|
消息中间件 存储 运维
深入理解MQ消息队列的高可用与可靠性策略
深入理解MQ消息队列的高可用与可靠性策略
1349 3
|
7月前
|
消息中间件 存储 Java
RabbitMQ——高级篇
RabbitMQ——高级篇
62 0
|
7月前
|
消息中间件 Java API
【微服务系列笔记】MQ消息可靠性
消息可靠性涉及防止丢失,包括生产者发送时丢失、未到达队列以及消费者消费失败处理后丢失。 确保RabbitMQ消息可靠性的方法有:开启生产者确认机制,确保消息到达队列;启用消息持久化以防止未消费时丢失;使用消费者确认机制,如设置为auto,由Spring确认处理成功后ack。此外,可开启消费者失败重试机制,多次失败后将消息投递到异常交换机。
131 1
|
7月前
|
消息中间件 供应链 Java
RabbitMQ入门指南(九):消费者可靠性
RabbitMQ是一个高效、可靠的开源消息队列系统,广泛用于软件开发、数据传输、微服务等领域。本文主要介绍了消费者确认机制、失败重试机制、失败处理策略、业务幂等性等内容。
300 0
RabbitMQ入门指南(九):消费者可靠性
|
7月前
|
消息中间件 Java 微服务
RabbitMQ入门指南(七):生产者可靠性
RabbitMQ是一个高效、可靠的开源消息队列系统,广泛用于软件开发、数据传输、微服务等领域。本文主要介绍了消息丢失的可能性、生产者可靠性中的生产者重试机制和生产者确认机制等内容。
218 0
RabbitMQ入门指南(七):生产者可靠性
|
7月前
|
消息中间件 存储 Java
RabbitMQ高级
RabbitMQ高级
48 0
|
7月前
|
消息中间件 安全 Java
SpringBoot基于RabbitMQ实现消息可靠性
SpringBoot基于RabbitMQ实现消息可靠性
117 0
下一篇
DataWorks