有关于RabbitMQ的简单介绍与主流MQ框架

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 主要解决异步处理、应用解耦、流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构 1.异步处理 用户注册后,需要发注册邮件和注册短信 2.应用解耦 用户下单后,订单系统需要通知库存系统 3.流量削锋(重点) 流量削锋也是消息队列中的常用场景,一般在秒杀或团抢活动中使用广泛
  1. 什么是MQ
    消息队列(Message Queue,简称MQ),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message而已

    作用:应用程序“对”应用程序的通信方法。

  2. 应用场景
    主要解决异步处理、应用解耦、流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构

    1.异步处理

    用户注册后,需要发注册邮件和注册短信
    

    2.应用解耦

    用户下单后,订单系统需要通知库存系统
    

    3.流量削锋(重点)

    流量削锋也是消息队列中的常用场景,一般在秒杀或团抢活动中使用广泛
    
    应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列
    a、可以控制活动的人数
    b、可以缓解短时间内高流量压垮应用
    用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面。
    秒杀业务根据消息队列中的请求信息,再做后续处理
    

    4.日志处理

    日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解决大量日志传输的问题
    1.日志采集客户端,负责日志数据采集,定时写受写入Kafka队列
    2.Kafka消息队列,负责日志数据的接收,存储和转发
    3.日志处理应用:订阅并消费kafka队列中的日志数据
    
    
  3. 主流MQ框架
    MQ框架非常之多,比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka,以及阿里开源的RocketMQ。
    本文主要介绍RabbitMq

    RabbitMQ是以AMQP协议实现的一种消息中间件产品。AMQP是Advanced Message Queuing Protocol的简称,
    它是一个面向消息中间件的开放式标准应用层协议。

  4. Docker安装部署RabbitMQ
    注意获取镜像的时候要获取management版本的,不要获取last版本的,management版本的才带有管理界面

    #1.查询镜像

    $ docker search rabbitmq:management

    #2.获取镜像

    $ docker pull rabbitmq:management

    #3.运行镜像
    ##方式一:默认guest用户,密码也是guest

    $ docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq:management

    ##方式二:设置用户名和密码

    $ docker run -d \

    --name my-rabbitmq \
    -p 5672:5672 -p 15672:15672 \
    -v /data:/var/lib/rabbitmq \
    --hostname my-rabbitmq-host \
    -e RABBITMQ_DEFAULT_VHOST=my_vhost \
    -e RABBITMQ_DEFAULT_USER=admin \
    -e RABBITMQ_DEFAULT_PASS=admin \
    --restart=always \
    rabbitmq:management 
    

    参数说明:
    -d:后台运行容器
    -name:指定容器名
    -p:指定服务运行的端口(5672:应用访问端口;15672:控制台Web端口号)
    -v:映射目录或文件,启动了一个数据卷容器,数据卷路径为:/var/lib/rabbitmq,再将此数据卷映射到住宿主机的/data目录
    --hostname:主机名(RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据,默认为主机名)
    -e:指定环境变量;(

RABBITMQ_DEFAULT_VHOST:默认虚拟机名;
RABBITMQ_DEFAULT_USER:默认的用户名;
RABBITMQ_DEFAULT_PASS:默认用户名的密码)
--restart=always:当Docker重启时,容器能自动启动
rabbitmq:management:镜像名

注1:RABBITMQ_DEFAULT_VHOST=my_vhost,my_vhost名字请记好,在之后的编程中要用到,

    如果启动时没指定,默认值为/

#4.进入RabbitMQ管理平台进行相关操作

注1:容器启动后,可以通过docker logs 窗口ID/容器名字 查看日志

    docker logs my-rabbitmq    

注2:停止并删除所有容器

    docker stop $(docker ps -aq) && docker rm $(docker ps -aq)

  1. RabbitMQ管理平台
    后台地址:http://[宿主机IP]:15672
    默认账号:guest/guest,用户也可以自己创建新的账号,例如:admin/admin
    RabbitMQ管理平台详情:资料/(0401|0402|0403)

    1.Virtual Hosts
    就象mysql有数据库的概念并且可以指定用户对库和表等操作的权限。那RabbitMQ呢?RabbitMQ也有类似的权限管理。
    在RabbitMQ中可以虚拟消息服务器VirtualHost,每个VirtualHost相当于一个相对独立的RabbitMQ服务器,
    每个VirtualHost之间是相互隔离的。exchange、queue、message不能互通

    另外,虚拟主机的限制有两个:最大连接数和最大队列数

    详情见:images/05 RibbitMQ的Virtual Hosts.png

    2.RabbitMQ关键名词
    Server(Broker):接收客户端连接,实现AMQP协议的消息队列和路由功能的进程;
    Virtual Host:虚拟主机的概念,类似权限控制组,一个Virtual Host里可以有多个Exchange和Queue。
    Exchange:交换机,接收生产者发送的消息,并根据Routing Key将消息路由到服务器中的队列Queue。
    ExchangeType:交换机类型决定了路由消息行为,RabbitMQ中有三种类型Exchange,分别是fanout、direct、topic;
    Message Queue:消息队列,用于存储还未被消费者消费的消息;
    Message:由Header和body组成,Header是由生产者添加的各种属性的集合,包括Message是否被持久化、优先级是多少、由哪个Message Queue接收等;body是真正需要发送的数据内容;
    BindingKey:绑定关键字,将一个特定的Exchange和一个特定的Queue绑定起来。

  2. MQ的核心概念
    生产者、队列、消费者、消息

    生产者生产消息并投递到队列中,
    消费者可以从队列中获取消息并消费,
    消息指的是各个服务之间要传递的数据

单一生产者和单一消费者

  1. springboot整合rabbitmq
    1.安装好rabbitmq,登陆RabbitMQ管理平台,新增管理用户并设置权限

    见:images\06 新增管理用户并设置权限
    1.新增用户:springboot/123456
      图1
    2.切换到springboot用户登陆,在All users中,点击Name为springboot, 进入权限设置页面
    3.在权限设置页面,进入Permissions页面,点击“Set permission"
      

    2.pom.xml添加rabbitmq依赖

    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>
    

    3.rabbitmq连接配置

    server.port=8080
    ## rabbitmq config
    spring.rabbitmq.host=192.168.199.144
    spring.rabbitmq.port=5672
    spring.rabbitmq.username=springboot
    spring.rabbitmq.password=123456
    
    ## 与启动容器时虚拟主机名字一致~~~与启动容器时虚拟主机名字一致~~~与启动容器时虚拟主机名字一致~~~
    spring.rabbitmq.virtual-host=my_vhost
    

    4.创建Rabbit配置类RabbitConfig

    配置类主要用来配置队列、交换器、路由等高级信息
    @Configuration
    public class RabbitConfig {
      @Bean
      public Queue firstQueue() {
        // 创建一个队列,名称为:first
        return new Queue("first");
      }
    }
    

    5.创建消息产生者类

    @Component
    public class Sender {
      @Autowired
      private AmqpTemplate rabbitTemplate;
    
      public void send() {
        rabbitTemplate.convertAndSend("first", "test rabbitmq message !!!");
      }
    }
    

    6.创建消息消费者

    @Component
    @RabbitListener(queues = "first")
    public class Receiver {
        @RabbitHandler
        public void process(String msg) {
            System.out.println("receive msg : " + msg);
        }
    }
    
    注解作用:
    @RabbitListener注解:定义该类需要监听的队列
    @RabbitHandler注解:指定对消息的处理
    

7.启动主程序

 控制台如果出现以下信息,则说明rabbitmq连接成功
 Created new connection: rabbitConnectionFactory#5adb0db3:0/SimpleConnection@183e8023 [delegate=amqp://springboot@192.168.199.144:5672/my_vhost, localPort= 53066] 

8.创建测试类

 @RunWith(SpringJUnit4ClassRunner.class)
 @SpringBootTest
 public class RabbitmqTest {

     @Autowired
     private Sender sender;

     @Test
     public void testRabbitmq() throws Exception {
         sender.send();
     }
 }

 执行测试方法testRabbitmq,控制台输出:receive msg : test rabbitmq message !!!
 集成Rabbit MQ完毕!

 注1:测试用例报错“@RunWith和@SpringBootTest注解失效”
      解决方案:将测试用例保存到test/java目录下,而非main/java目录下

 



相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
3月前
|
消息中间件 Java Kafka
消息传递新纪元:探索RabbitMQ、RocketMQ和Kafka的魅力所在
【8月更文挑战第29天】这段内容介绍了在分布式系统中起到异步通信与解耦作用的消息队列,并详细探讨了三种流行的消息队列产品:RabbitMQ、RocketMQ 和 Kafka。其中,RabbitMQ 是一个基于 AMQP 协议的开源消息队列系统,支持多种消息模型;RocketMQ 则是由阿里巴巴开源的具备高性能、高可用性和高可靠性的分布式消息队列,支持事务消息等多种特性;而 Kafka 作为一个由 LinkedIn 开源的分布式流处理平台,以高吞吐量和良好的可扩展性著称。此外,还提供了使用这三种消息队列发送和接收消息的代码示例。总之,这三种消息队列各有优势,适用于不同的业务场景。
68 3
|
5天前
|
消息中间件 大数据 Kafka
大厂面试高频:Kafka、RocketMQ、RabbitMQ 的优劣势比较
本文深入探讨了消息队列的核心概念、应用场景及Kafka、RocketMQ、RabbitMQ的优劣势比较,大厂面试高频,必知必会,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:Kafka、RocketMQ、RabbitMQ 的优劣势比较
|
4月前
|
消息中间件 Java 测试技术
消息队列 MQ使用问题之数据流出规则是否支持平台的云RabbitMQ
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
20天前
|
消息中间件 存储 监控
ActiveMQ、RocketMQ、RabbitMQ、Kafka 的区别
【10月更文挑战第24天】ActiveMQ、RocketMQ、RabbitMQ 和 Kafka 都有各自的特点和优势,在不同的应用场景中发挥着重要作用。在选择消息队列时,需要根据具体的需求、性能要求、扩展性要求等因素进行综合考虑,选择最适合的消息队列技术。同时,随着技术的不断发展和演进,这些消息队列也在不断地更新和完善,以适应不断变化的应用需求。
64 1
|
1月前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
25 1
|
3月前
|
消息中间件 存储 监控
RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别
RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别,设计目标、适用场景、吞吐量、消息存储和持久化、可靠性、集群负载均衡
RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别
|
2月前
|
消息中间件 监控 物联网
MQTT协议对接及RabbitMQ的使用记录
通过合理对接MQTT协议并利用RabbitMQ的强大功能,可以构建一个高效、可靠的消息通信系统。无论是物联网设备间的通信还是微服务架构下的服务间消息传递,MQTT和RabbitMQ的组合都提供了一个强有力的解决方案。在实际应用中,应根据具体需求和环境进行适当的配置和优化,以发挥出这两个技术的最大效能。
168 0
|
4月前
|
消息中间件 API 开发工具
消息队列 MQ使用问题之如何开启RabbitMQ的MQTT功能
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
4月前
|
消息中间件 小程序 RocketMQ
消息队列 MQ使用问题之如何在小程序中引用paho-mqtt
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
4月前
|
消息中间件 存储 Java
消息队列 MQ使用问题之如何将RocketMQ中某个集群的topic迁移到另一个集群
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。