八、SpringBoot+RabbitMQ削峰

简介: 八、SpringBoot+RabbitMQ削峰

当大量的客户访问请求打到后端,去访问数据库等,瞬间会爆炸的。
经过前端或者其他的方案进行限流外。
还是有大量的请求,这个时候需要削峰了

1. 削峰示例1

application.yaml

rabbitmq:
    listener:
          simple:
            acknowledge-mode: manual  #消息手动确认
            #削峰限流
            prefetch: 1  #消费者每次从队列中取几个消息
            concurrency: 1 #消费者数量
            max-concurrency: 1  #启动消费者最大数量

生产者:

@RestController
public class DirectProducer {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @PostMapping("direct")
    public String sendMessage(){
        String message = "消息";
        for(int i =0;i<10;i++) {
            rabbitTemplate.convertAndSend("myExchange", "myKey", message+":"+i);
            System.out.println("生产者发送消息:" + message+":"+i);
        }
        return "send message successfully";
    }
}

消费者:

先设置小一点,然后循环往队列里面放消息,消费的时候延迟2

@Component
public class DirectConsumer {
    // 监听并接收队列中的消息
    @RabbitHandler
    @RabbitListener(queues = "myQueue")
    public void getMessage(String msg, Channel channel, Message message) throws InterruptedException {
        Thread.sleep(2000L);
        System.out.println("消费者接收到了消息:" + msg);
        try {
            channel.basicAck(message.getMessageProperties().getDeliveryTag(),false);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

效果:此时消息会全部放到列队,但是会一条一条消费。简单的实现了削峰处理

2. 削峰示例2

调整消费者的数量:

rabbitmq:
    listener:
          simple:
            acknowledge-mode: manual  #消息手动确认
            #削峰限流
            prefetch: 1  #消费者每次从队列中取几个消息
            concurrency: 3 #消费者数量
            max-concurrency: 10  #启动消费者最大数量

生产者发出50条message到MQ中

@PostMapping("direct")
    public String sendMessage(){
        String message = "消息";
        for(int i =0;i<50;i++) {
            rabbitTemplate.convertAndSend("myExchange", "myKey", message+":"+i);
            System.out.println("生产者发送消息:" + message+":"+i);
        }
        return "send message successfully";
    }

此时就会有3个消费者同时去消费队列中的消息。所以这个消费者数量需要根据实际的情况去设置所能承受的一个值,也就是峰值

3. 重试策略

如果说消费者在消费的过程中失败了,那么会一直消费,一直到成功为止。

但是也可以添加重试策略,比如失败三次就不在消费了。

rabbitmq:
    listener:
          simple:
            acknowledge-mode: manual  #消息手动确认
            #削峰限流
            prefetch: 1  #消费者每次从队列中取几个消息
            concurrency: 3 #消费者数量
            max-concurrency: 10  #启动消费者最大数量
            default-requeue-rejected: true #消息消费失败后,重新进入消费队列中
            #重试策略
            retry:
              initial-interval: 1000 #1秒后重试
              enabled: true #启用发布重试
              max-attempts: 3 #传递消息的最大尝试次数
              max-interval: 10000 #尝试的最大时间间隔
              multiplier: 1.0 #应用于先前传递重试时间间隔的乘数

消费者处理有异常:

@RabbitHandler
    @RabbitListener(queues = "myQueue")
    public void getMessage(String msg, Channel channel, Message message) throws InterruptedException {
        Thread.sleep(2000L);
         System.out.println("消费者接收到了消息:" + msg);
        int a = 10/0;  // 有异常
        try {
            channel.basicAck(message.getMessageProperties().getDeliveryTag(),false);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

运行效果:

每次接收有异常,会将消息重新放到队列中

重试3次后,还有异常,则不再重试,直接报异常

4. 如何保证rabbitmq消息不丢失

丢失数据场景:

  1. 生产者没有生产成功,即生产者丢失
  2. rabbitmq丢失了
  3. 消费端丢失,即消费端没消费成功。

开启confirm回调,启动手动确定消息消费。

rabbitmq:
    host: localhost
    port: 5672
    username: guest
    password: guest
    publisher-confirm-type: correlated  # 生产者发送消息到交换机 消息确认
    publisher-returns: true  # 交换机绑定到队列 消息确认
    listener:
      simple:
        acknowledge-mode: manual  #消息手动确认
        #削峰限流
        prefetch: 1  #消费者每次从队列中取几个消息
        concurrency: 3 #消费者数量
        max-concurrency: 10  #启动消费者最大数量
        default-requeue-rejected: true #消息消费失败后,重新进入消费队列中
        #重试策略
        retry:
          initial-interval: 1000 #1秒后重试
          enabled: true #启用发布重试
          max-attempts: 3 #传递消息的最大尝试次数
          max-interval: 10000 #尝试的最大时间间隔
          multiplier: 1.0 #应用于先前传递重试时间间隔的乘数
    template:
      mandatory: true
        #在消息没有被路由到合适队列情况下会将消息返还给消息发布者
        #当mandatory标志位设置为true时,如果exchange根据自身类型和消息routingKey无法找到一个合适的queue存储消息,
        # 那么broker会调用basic.return方法将消息返还给生产者;当mandatory设置为false时,
        # 出现上述情况broker会直接将消息丢弃;通俗的讲,mandatory标志告诉broker代理服务器至少将消息route到一个队列中, 否则就将消息return给发送者;
        #: true # 启用强制信息
相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
6天前
|
消息中间件 Java 网络架构
|
2月前
|
消息中间件 Java RocketMQ
消息队列 MQ产品使用合集之当SpringBoot应用因网络不通而启动失败时,该如何解决
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
5天前
|
网络协议 Java 物联网
MQTT(EMQX) - SpringBoot 整合MQTT 连接池 Demo - 附源代码 + 在线客服聊天架构图
MQTT(EMQX) - SpringBoot 整合MQTT 连接池 Demo - 附源代码 + 在线客服聊天架构图
20 2
|
6天前
|
消息中间件 Java Maven
|
1月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
112 1
|
1月前
|
消息中间件 Java 数据安全/隐私保护
Spring Boot与RabbitMQ的集成
Spring Boot与RabbitMQ的集成
|
1月前
|
消息中间件 Java RocketMQ
Spring Boot与RocketMQ的集成
Spring Boot与RocketMQ的集成
|
1月前
|
消息中间件 Java Spring
实现Spring Boot与RabbitMQ消息中间件的无缝集成
实现Spring Boot与RabbitMQ消息中间件的无缝集成
|
2月前
|
消息中间件 JavaScript Java
消息队列 MQ产品使用合集之如何嵌入到Spring Boot中运行
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
21天前
|
消息中间件 C语言 RocketMQ
消息队列 MQ操作报错合集之出现"Connection reset by peer"的错误,该如何处理
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。