消息队列面试解析系列(三)-消息模型辨析(下)

简介: 消息队列面试解析系列(三)-消息模型辨析

RabbitMQ消息模型


少数依然坚持使用队列模型的产品之一。怎么解决多消费者问题的?

RabbitMQ中,Exchange位于生产者和队列间,生产者并不关心将消息发给哪个队列,而将消息发送给Exchange,由Exchange策略决定将消息投递到哪些队列。


image.png


同份消息若需被多消费者消费,需配置Exchange将消息发到多个队列,每个队列都存放一份完整消息数据,可为一个消费者提供消费服务。这也可变相实现发布-订阅模型的“一份消息数据可被多订阅者多次消费”功能。


RocketMQ的消息模型



RocketMQ使用标准的发布-订阅模型,其中的生产者、消费者、主题与前文讲的发布-订阅模型中的概念一致。


RocketMQ还有队列概念,又有何作用?

几乎所有MQ都使用一种非常朴素的“请求-确认”机制,确保消息不会在传递过程中由于网络或服务器故障而丢失。

具体做法也简单。


  • 生产者先将消息发给服务端(即Broker),服务端在收到消息并将消息写入主题或队列后,给生产者发送确认的响应。
  • 若生产者未收到服务端的确认或收到失败的响应,则重新发送;
  • 消费者在收到消息并完成消费业务逻辑(比如将数据保存到数据库)后,也会给服务端发消费成功的确认,服务端只有收到消费确认后,才认为一条消息被成功消费,否则它会给消费者重发送这条消息,直到收到对应的消费成功确认


确认机制保证消息传递过程中的可靠性,但该机制在消费端带来不小问题。

为确保消息的有序性,在某条消息被成功消费前,下条消息是不能被消费的,否则就会出现消息空洞,违背有序性原则。

即每个主题在任意时刻,至多只能有一个消费者实例在进行消费,那就没法通过水平扩展消费者数量提升消费端总体的消费性能。为解决问题,RocketMQ在主题下增加队列概念。


每个主题包含多个队列,通过多队列实现多实例并行生产和消费。注意RocketMQ只在队列保证消息有序性,主题层面无法保证消息的严格顺序。



RocketMQ中,订阅者的概念是通过消费组(Consumer Group)体现。

每个消费组都消费主题中一份完整消息,不同消费组间消费进度彼此不受影响,即一条消息被Consumer Group1消费过,也会再给Consumer Group2消费。


角色完全相同的消费者被分组在一起,称为消费组。通过它,在消息消费方面实现负载平衡和容错非常容易。


Consumer Group的Consumer实例必须具有完全相同的主题订阅。


消费组包含多个消费者,同组的消费者是竞争消费关系,每个消费者负责消费组内的一部分消息。若一条消息被Consumer1消费,那同组的其他消费者就不会再收到该消息。


在Topic的消费过程,由于消息需要被不同组进行多次消费,所以消费完的消息并不会立即被删,这需要RocketMQ为每个消费组在每个队列维护一个消费位置(Consumer Offset),该位置之前的消息都被消费过,之后消息都未被消费过,每成功消费一条消息,消费位置加一。

这个消费位置是非常重要的概念,丢消息的原因大多是由于消费位置处理不当导致。


  • RocketMQ的消息模型的核心概念

image.png


在消费时,为保证消息的不丢失和严格顺序,每个队列只能串行消费,无法做到并发,否则会出现消费空洞的问题。那如果放宽一下限制,不要求严格顺序,能否做到单个队列的并行消费呢?如果可以,该如何实现?

todo


Kafka的消息模型

RocketMQ的完全一致,上节所有RocketMQ中对应的概念,和生产消费过程中的确认机制,都完全适用于Kafka。

唯一区别:

Kafka中,队列概念的名称不一样,Kafka中对应的名称分区(Partition),本质毫无差异。    


总结

队列和主题的区别,这俩概念的背后实际对应两种不同的消息模型:队列模型和发布-订阅模型。这两种消息模型其实并无本质区别,都可通过一些扩展或者变化来互相替代。


  • RabbitMQ采用的是队列模型,但是它一样可以实现发布-订阅功能
  • RocketMQ和Kafka采用的是发布-订阅模型,并且二者的消息模型是基本一致的。



本文消息模型相关概念都是业务层面模型,但业务模型不等于实现层面模型。

比如MySQL和Hbase都是支持SQL的数据库,它们的业务模型中,存放数据的单元都是“表”。

但在实现层面,没有哪个数据库是以二维表方式存储数据,MySQL使用B+树,HBase使用KV结构。

同理,像Kafka和RocketMQ的业务模型基本一样,并非指实现就一样,实际俩实现完全不同。



参考

目录
相关文章
|
2月前
|
存储 缓存 NoSQL
Redis常见面试题全解析
Redis面试高频考点全解析:从过期删除、内存淘汰策略,到缓存雪崩、击穿、穿透及BigKey问题,深入原理与实战解决方案,助你轻松应对技术挑战,提升系统性能与稳定性。(238字)
|
4月前
|
存储 安全 测试技术
Python面试题精选及解析
本文详解Python面试中的六大道经典问题,涵盖列表与元组区别、深浅拷贝、`__new__`与`__init__`、GIL影响、协程原理及可变与不可变类型,助你提升逻辑思维与问题解决能力,全面备战Python技术面试。
200 0
|
6月前
|
Web App开发 缓存 前端开发
浏览器常见面试题目及详细答案解析
本文围绕浏览器常见面试题及答案展开,深入解析浏览器组成、内核、渲染机制与缓存等核心知识点。内容涵盖浏览器的主要组成部分(如用户界面、呈现引擎、JavaScript解释器等)、主流浏览器内核及其特点、从输入URL到页面呈现的全过程,以及CSS加载对渲染的影响等。结合实际应用场景,帮助读者全面掌握浏览器工作原理,为前端开发和面试提供扎实的知识储备。
296 4
|
2月前
|
监控 Java 关系型数据库
面试性能测试总被刷?学员真实遇到的高频问题全解析!
面试常被性能测试题难住?其实考的不是工具,而是分析思维。从脚本编写到瓶颈定位,企业更看重系统理解与实战能力。本文拆解高频面试题,揭示背后考察逻辑,并通过真实项目训练,帮你构建性能测试完整知识体系,实现从“会操作”到“能解决问题”的跨越。
|
6月前
|
存储 安全 Java
2025 最新史上最全 Java 面试题独家整理带详细答案及解析
本文从Java基础、面向对象、多线程与并发等方面详细解析常见面试题及答案,并结合实际应用帮助理解。内容涵盖基本数据类型、自动装箱拆箱、String类区别,面向对象三大特性(封装、继承、多态),线程创建与安全问题解决方法,以及集合框架如ArrayList与LinkedList的对比和HashMap工作原理。适合准备面试或深入学习Java的开发者参考。附代码获取链接:[点此下载](https://pan.quark.cn/s/14fcf913bae6)。
3823 48
|
6月前
|
前端开发 JavaScript 开发者
2025 最新 100 道 CSS 面试题及答案解析续篇
本文整理了100道CSS面试题及其答案,涵盖CSS基础与进阶知识。内容包括CSS引入方式、盒模型、选择器优先级等核心知识点,并通过按钮、卡片、导航栏等组件封装实例,讲解单一职责原则、样式隔离、响应式设计等最佳实践。适合前端开发者巩固基础、备战面试或提升组件化开发能力。资源地址:[点击下载](https://pan.quark.cn/s/50438c9ee7c0)。
153 5
2025 最新 100 道 CSS 面试题及答案解析续篇
|
6月前
|
缓存 NoSQL Java
Java Redis 面试题集锦 常见高频面试题目及解析
本文总结了Redis在Java中的核心面试题,包括数据类型操作、单线程高性能原理、键过期策略及分布式锁实现等关键内容。通过Jedis代码示例展示了String、List等数据类型的操作方法,讲解了惰性删除和定期删除相结合的过期策略,并提供了Spring Boot配置Redis过期时间的方案。文章还探讨了缓存穿透、雪崩等问题解决方案,以及基于Redis的分布式锁实现,帮助开发者全面掌握Redis在Java应用中的实践要点。
385 6
|
6月前
|
NoSQL Java 微服务
2025 年最新 Java 面试从基础到微服务实战指南全解析
《Java面试实战指南:高并发与微服务架构解析》 本文针对Java开发者提供2025版面试技术要点,涵盖高并发电商系统设计、微服务架构实现及性能优化方案。核心内容包括:1)基于Spring Cloud和云原生技术的系统架构设计;2)JWT认证、Seata分布式事务等核心模块代码实现;3)数据库查询优化与高并发处理方案,响应时间从500ms优化至80ms;4)微服务调用可靠性保障方案。文章通过实战案例展现Java最新技术栈(Java 17/Spring Boot 3.2)的应用.
579 10
|
6月前
|
设计模式 安全 Java
Java 基础知识面试题全解析之技术方案与应用实例详解
本内容结合Java 8+新特性与实际场景,涵盖函数式编程、Stream API、模块化、并发工具等技术。通过Lambda表达式、Stream集合操作、Optional空值处理、CompletableFuture异步编程等完整示例代码,助你掌握现代Java应用开发。附面试题解析与技术方案,提升实战能力。代码示例涵盖计算器、员工信息统计、用户查询、模块化系统设计等,助你轻松应对技术挑战。
203 9
|
6月前
|
缓存 算法 NoSQL
校招 Java 面试高频常见知识点深度解析与实战案例详细分享
《2025校招Java面试核心指南》总结了Java技术栈的最新考点,涵盖基础语法、并发编程和云原生技术三大维度: 现代Java特性:重点解析Java 17密封类、Record类型及响应式Stream API,通过电商案例演示函数式数据处理 并发革命:对比传统线程池与Java 21虚拟线程,详解Reactor模式在秒杀系统中的应用及背压机制 云原生实践:提供Spring Boot容器化部署方案,分析Spring WebFlux响应式编程和Redis Cluster缓存策略。
183 0

推荐镜像

更多
  • DNS