异步消息组件MQ基础

简介: 本课程学习MQ的应用场景及RabbitMQ入门开发,掌握同步与异步调用区别,理解工作队列、发布订阅模型及各类交换机(Fanout、Direct、Topic)特性,学会解决消息堆积、应用惰性与优先级队列,并在商城项目中实践MQ技术。

学习目标
能够说出MQ的应用场景
能够编写RabbitMQ收发消息的入门程序
能够说出工作队列模型的特点
能够说出发布订阅模型的交换机类型
能够说出fanout交换机的特性
能够说出Direct交换机的特性
能够说出Topic交换机的特性
能够说出惰性队列的特性
能够说出优先级队列的特性
能够说出如何解决MQ消息堆积问题
能够在商城项目应用MQ
1.初识MQ
1.1 同步调用与异步调用
前边我们学习了微服务之间远程调用方式,通常服务端提供HTTP RESTful接口,客户端通过HTTP Client工具进行远程调用,远程调用工具有RestTemplate、OpenFeign、OkHttp等技术,这些技术实现的都是一种类型即同步调用,微服务之间通信还有一种异步调用,什么是同步调用?什么是异步调用?
拿订单支付功能举例,下图表示了同步调用
支付的交互流程如下:
支付服务调用用户服务扣减余额。
余额扣减成功后支付服务更新数据库中的交易流水状态为已支付。
更新成功后支付服务调用交易服务更新订单状态为已支付。
像这种每一步调用者必须等待被调用方完全执行完毕并返回结果之后才能继续执行后续代码,叫同步调用。
同步调用就是顺序执行,执行完一步再执行下一步。
什么是异步调用?
异步调用是调用者发出调用后无需等待被调用方完成就可以继续执行其他任务。
举例:
支付的交互流程如下:
支付服务调用用户服务扣减余额。
余额扣减成功后支付服务更新数据库中的交易流水状态为已支付。
更新交易流水成功支付服务向消息中间件发消息(XX订单支付成功),此时支付服务程序执行结束
由消息中间件去通知交易服务更新订单状态
由消息中间件去通知短信服务通知用户订单支付成功啦
上边交互流程中前3步为同步调用,后2步为异步调用。
支付服务向消息中间件发过消息后不用等继续执行其它操作,这就是异步调用。
现在生活中异步调用的例子很多:
餐厅点餐:
想象一下你去一家餐厅吃饭,你坐下后,服务员过来让你点菜。在这个过程中:
异步调用:你告诉服务员你想要什么菜品,然后服务员把订单送到厨房。你不需要等待食物准备完成,可以继续聊天或浏览菜单。当食物准备好时,服务员会将食物端到你的桌上。
同步调用:如果你必须站在厨房门口等着厨师为你准备食物,那么这就是一个同步的过程。你无法做其他事情,直到食物准备完毕。
医院挂号:
异步调用:打电话挂号,接通电话你告诉工作人员挂哪个科室,工作人员让你挂断电话稍后通过手机查看挂号结果。
同步调用:打电话挂号,接通电话你告诉工作人员挂哪个科室,工作人员开始查看该科室是否有号,并进行挂号,挂号结束告诉你几点来看病,最后挂断电话。
同步调用:
特点:
在同步调用中,调用者必须等待被调用方完全执行完毕并返回结果之后才能继续执行后续代码。
控制流是线性的,即程序按照顺序执行每个操作。
如果被调用方执行时间较长,那么整个程序会处于等待状态,直到该调用完成。
适合场景:
对实时性要求较高的场景,例如用户界面操作。
调用简单且执行快速的操作。
优点
简单直观:代码易于理解和编写,因为它是按顺序执行的。
易于调试:由于执行顺序明确,调试起来相对容易。
缺点
阻塞执行:如果一个操作需要很长时间来完成,那么整个程序会被阻塞,不能执行其他任务。
资源浪费:在等待长时间操作完成时,CPU和其他资源可能会处于空闲状态。
异步调用:
特点:
在异步调用中,调用者发出调用后无需等待被调用方完成就可以继续执行其他任务。
被调用方完成操作后,通常会通过回调函数、事件通知或者完成信号等方式告知调用者。
可以提高程序的并发能力和响应速度。
适合场景:
需要处理耗时操作,例如网络请求、文件I/O等。
多个操作之间不存在严格的依赖关系。
对系统性能和响应时间有较高要求的应用场景。
优点
提高效率:异步调用可以使程序在等待某些耗时操作完成的同时执行其他任务,提高整体执行效率。
资源利用率高:在等待耗时操作时,可以释放资源给其他任务使用,避免了资源浪费。
更好的用户体验:在网络应用中,用户不必等待页面加载完成就能进行其他操作,提高了用户体验。
缺点
复杂性增加:异步编程通常比同步编程更复杂,因为它涉及更多的控制结构和错误处理逻辑。
调试困难:由于执行路径不是线性的,调试起来相对困难。
1.2 初识MQ
异步调用方式其实就是基于消息通知的方式,一般包含三个角色:
消息发送者:投递消息的人,就是原来的调用方
消息Broker(消息代理/消息中间件):管理、暂存、转发消息,你可以把它理解成微信服务器
消息接收者:接收和处理消息的人,就是原来的服务提供方
在异步调用中,发送者不再直接同步调用接收者的业务接口,而是发送一条消息投递给消息Broker。然后接收者根据自己的需求从消息Broker那里订阅消息。每当发送方发送消息后,接收者都能获取消息并处理。
这样,发送消息的人和接收消息的人就完全解耦了。
消息Broker,目前常见的实现方案就是消息队列(MessageQueue),简称为MQ.
AI:消息队列的应用场景
异步处理:
场景: 当应用程序需要执行耗时的操作(如发送电子邮件、文件上传或下载等)时,可以将这些任务发送到消息队列中,由专门的任务处理程序异步执行。
好处: 减少了用户的等待时间,提高了用户体验。
解耦:
场景: 当一个系统由多个组件组成时,这些组件之间可以使用消息队列进行通信。
好处: 单个组件的变化不会直接影响到其他组件,提高了系统的可扩展性。
流量削峰
场景:在许多互联网应用和服务中,尤其是那些具有明显周期性流量特征的应用(如电商平台、社交网络等),常常会遇到流量突增的情况。例如,在电商促销期间,大量的用户会在短时间内访问网站并提交订单,这种短时间内产生的巨大流量可能会导致服务器过载,影响用户体验甚至导致服务不可用。
好处:当流量激增时接收到请求会被暂时存储在消息队列中,而不是直接发送到后端服务进行处理。这样做可以避免后端服务因为短时间内处理大量请求而过载。后端服务可以从消息队列中按需拉取消息进行处理。这种异步处理机制可以有效地分散流量峰值,确保后端服务的稳定运行。如下图:
目比较常见的MQ实现:
ActiveMQ:https://activemq.apache.org/
RabbitMQ:https://www.rabbitmq.com/
RocketMQ:https://rocketmq.apache.org/
Kafka:https://kafka.apache.org/
几种常见MQ的对比:
追求可靠性:RabbitMQ、RocketMQ
追求吞吐(高并发)能力:RocketMQ、Kafka
追求消息低延迟:RabbitMQ、Kafka
这四种的MQ在市场都是非常流行,本课程讲解RabbitMQ。
Spring Boot默认支持AMQP协议,RabbitMQ支持AMQP协议 。
1.3 面试题
MQ有什么应用场景?
2 RabbitMQ入门
2.1 RabbitMQ介绍
RabbitMQ是基于Erlang语言开发的开源消息通信中间件,官网地址:https://www.rabbitmq.com/
RabbitMQ的架构如图:
其中包含几个概念:
publisher:生产者,也就是发送消息的应用程序
consumer:消费者,也就是消费消息的应用程序
queue:队列,存储消息的缓冲区。生产者投递的消息会暂存在消息队列中,等待消费者处理
exchange:交换机,负责消息路由。生产者发送的消息由交换机决定投递到哪个队列。
virtual host:虚拟主机,起到数据隔离的作用。每个虚拟主机相互独立,有各自的exchange、queue
上述这些东西都可以在RabbitMQ的管理控制台来管理,下一节我们就一起来学习控制台的使用。
2.2. 安装
已帮大家装好mq,但是这里面有很多冗余的数据,你可以直接启动
docker ps -a:查看所有,可以看到有单机mq,和集群的mq1~3
docker start mq启动即可
或先删除【建议】
docker rm -f mq
然后执行下面的启动脚本即可
或启动时候,命名一个新的
docker run \
-e RABBITMQ_DEFAULT_USER=itheima \
-e RABBITMQ_DEFAULT_PASS=123321 \
-v mq-plugins:/plugins \
--name mq197 \
-p 15672:15672 \
-p 5672:5672 \
-d \
rabbitmq:3.8-management
我们同样基于Docker来安装RabbitMQ,使用下面的命令即可:
找到课前资料下的mq.tar(rabbitmq的镜像文件),上传到/root下。
利用docker load命令加载:docker load -i mq.tar
执行下边的脚本创建容器:
可以看到在安装命令中有两个映射的端口:
15672:RabbitMQ提供的管理控制台的端口
5672:RabbitMQ的消息发送处理接口
安装完成后,我们访问 http://192.168.101.68:15672 即可看到管理控制台。首次访问需要登录,默认的用户名:itheima,密码:123321。登录后即可看到管理控制台总览页面:
2.3. 收发消息
2.3.1 搭建环境
RabbitMQ安装成功后下边我们编写消息发送与消息接收程序实现收发消息,如下图:publisher即消息发送者将消息发送到MQ的队列中,consumer即消息消费者从MQ中接收消息。
RabbitMQ通信采用了AMQP (Advanced Message Queuing Protocol) 协议,因此它具备跨语言的特性,任何语言只要遵循AMQP协议都可以使用RabbitMQ收发消息。
RabbitMQ官方也提供了各种不同语言的客户端API,RabbitMQ官方提供的Java客户端编码相对复杂,一般生产环境下我们更多会结合Spring来使用。而Spring的官方刚好基于RabbitMQ提供了这样一套消息收发的模板工具:SpringAMQP。并且还基于SpringBoot对其实现了自动装配,使用起来非常方便。
SpringAmqp的官方地址:https://spring.io/projects/spring-amqp
SpringAMQP提供了三个功能:
自动声明队列、交换机及其绑定关系
基于注解的监听器模式,异步接收消息
封装了RabbitTemplate工具,用于发送消息
下边使用SpringAMQP实现消息收发,上图是RabbitMQ最简单的工作模型,我们仅作测试使用,这种模式一般很少在生产中使用。
在课前资料给大家提供了一个Demo工程,方便我们学习SpringAMQP的使用:
将其复制到你的工作空间,然后用Idea打开,项目结构如图:
包括三部分:
mq-demo:父工程,管理项目依赖
publisher:消息的发送者
consumer:消息的消费者
在mq-demo这个父工程中,已经配置好了SpringAMQP相关的依赖:
XML
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
<?xml version="1.0" encoding="UTF-8"?>


4.0.0

相关文章
|
2月前
|
消息中间件 人工智能 NoSQL
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
Apache RocketMQ 推出轻量级通信模型 LiteTopic,专为 AI 时代多智能体协作设计。它通过百万级队列支持、会话状态持久化与断点续传能力,解决传统架构中通信脆弱、状态易失等问题。结合 A2A 协议与阿里巴巴 AgentScope 框架,实现高可靠、低延迟的 Agent-to-Agent 通信,助力构建稳定、可追溯的智能体应用。现已开源并提供免费试用,加速 AI 应用落地。
370 36
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
|
2月前
|
存储 缓存 NoSQL
阿里云 Tair 联手 SGLang 共建 HiCache,构建面向“智能体式推理”的缓存新范式
针对智能体式推理对KVCache的挑战,阿里云Tair KVCache团队联合SGLang社区推出HiCache技术,通过多级存储卸载与全局共享机制,实现缓存命中率翻倍、TTFT降低56%、QPS提升2倍,构建面向长上下文、高并发、多智能体协作的下一代推理缓存基础设施。
386 27
阿里云 Tair 联手 SGLang 共建 HiCache,构建面向“智能体式推理”的缓存新范式
|
2月前
|
缓存 算法 Java
IO/线程 线程池
本文深入剖析Java线程池的工作原理,涵盖ThreadPoolExecutor与ScheduledThreadPoolExecutor的实现机制。通过源码分析,详解线程池如何管理线程生命周期、任务调度策略及延时队列等核心组件,并结合Executors工具类说明各类线程池的应用场景。
|
2月前
|
人工智能 安全 数据可视化
面向业务落地的AI产品评测体系设计与平台实现
在AI技术驱动下,淘宝闪购推进AI应用落地,覆盖数字人、数据分析、多模态创作与搜推AI化四大场景。面对研发模式变革与Agent链路复杂性,构建“评什么、怎么评、如何度量”的评测体系,打造端到端质量保障平台,并规划多模态评测、可视化标注与插件市场,支撑业务持续创新。
519 38
|
2月前
|
存储 消息中间件 Apache
ZooKeeper 实战指南:从入门到场景解析
Apache ZooKeeper是分布式系统的协调核心,本文带你快速搭建环境,掌握Znode操作与Watcher机制,深入理解其在分布式锁、配置管理、服务发现等场景的应用,并解析美团Leaf中的实践案例。
444 169
|
2月前
|
监控 Java 开发工具
Android 崩溃监控实战:一次完整的生产环境崩溃排查全流程
某 App 新版上线后收到大量用户投诉 App 闪退和崩溃。仅凭一条崩溃日志和会话追踪,团队如何在2小时内锁定「快速刷新导致数据竞态」这一根因?本文带你复现真实生产环境下的完整排查路径:从告警触发、堆栈分析、符号化解析,到用户行为还原——见证 RUM 如何让“无法复现的线上崩溃”无所遁形。
368 40
|
2月前
|
消息中间件 人工智能 NoSQL
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
基于 RocketMQ SDK 实现了 A2A 协议的 ClientTransport 接口(部分核心代码现已开源),并与 AgentScope 框架深度集成,共同构建了全新的 A2A 智能体通信基座,为多智能体应用提供企业级、高可靠的异步协同方案。
429 58
|
人工智能 缓存 运维
探秘 AgentRun丨通过无代码创建的 Agent,如何用高代码进行更新?
AgentRun 打破 AI Agent 开发困局,无代码快速验证想法,一键转高代码实现深度定制。60 秒创建 Agent,支持多模型、工具集成与 Prompt 优化;业务增长后可平滑演进,保留配置生成高质量代码,助力从原型到生产的持续迭代。
311 31
|
2月前
|
消息中间件 人工智能 NoSQL
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
Apache RocketMQ 推出轻量级通信模型 LiteTopic,专为 AI 场景设计,结合 A2A 协议与 AgentScope 框架,实现多智能体高效、可靠协作,支持海量会话持久化、断点续传与动态订阅,重塑企业级 AI 应用架构。
222 28
|
2月前
|
监控 Java C语言
揭开 Java 容器“消失的内存”之谜:云监控 2.0 SysOM 诊断实践
本文介绍云原生环境下Java应用内存超限问题的诊断与治理,聚焦容器化后常见的JVM堆外内存、JNI内存泄漏、LIBC分配器特性及Linux透明大页等导致OOM的根源,结合阿里云SysOM系统诊断工具,通过真实案例详解如何实现从应用到系统的全链路内存分析,精准定位“消失的内存”,提升资源利用率与稳定性。
169 19