消息队列面试解析系列(一)-消息队列(MQ)的意义(下)

简介: 消息队列面试解析系列(一)-消息队列(MQ)的意义

2.2.1 优点


能根据下游的处理能力自动调节流量,达到“削峰填谷”。


2.2.2 缺点


  • 增加系统调用链环节,导致总体响应延时加长
  • 上下游系统都要将同步调用改为异步消息,增加系统复杂度


有无简单点流控方式?如果能预估秒杀服务的能力,就可用MQ实现个令牌桶,更简单流控。


2.2.3 令牌桶控流原理


单位时间内只发放固定数量的令牌到令牌桶,规定服务在处理请求前须先从令牌桶中拿个令牌,若令牌桶中无令牌,则拒绝请求。

这保证单位时间,能处理请求不超过发放令牌数量,达成流控。

实现也简单,无需破坏原有调用链,只要网关在处理APP请求时加个获取令牌流程。


image.png


令牌桶可简单地用一个有固定容量的消息队列加一个“令牌发生器”来实现:令牌发生器按照预估的处理能力,匀速生产令牌并放入令牌队列(如果队列满了则丢弃令牌),网关在收到请求时去令牌队列消费一个令牌,获取到令牌则继续调用后端秒杀服务,如果获取不到令牌则直接返回秒杀失败。


令牌桶可以用消息队列实现,也可以用Redis实现,也可以写一个简单的令牌桶服务,原理是一样的。


以上常用的使用消息队列两种进行流量控制的设计方法,可以根据各自的优缺点和不同的适用场景进行合理选择。


2.3 服务解耦


比如新订单创建时:


  1. 支付系统需要发起支付流程
  2. 风控系统需要审核订单的合法性
  3. 客服系统需要给用户发短信告知用户
  4. 经营分析系统需要更新统计数据;


这些订单下游系统都需实时获得订单数据。随业务发展,订单下游不断变化,每个系统可能只需订单数据子集,订单服务团队不得不花精力,应对不断增变下游,不停修改订单系统与下游系统之间接口。任一下游系统接口变更,都需订单模块重上线,对核心的订单服务,这是不可接受的。


所有的电商都选择用MQ解决类似的系统高耦合问题。

订单服务在订单变化时发送一条消息到MQ的一个主题Order,所有下游系统都订阅该主题,这样每个下游系统都可获得一份实时完整订单数据。


无论增加、减少下游系统或是下游系统需求如何变化,订单服务无需更改,实现了订单服务与下游服务解耦。

优点


  • 可在模块、服务、接口等不同粒度上实现解耦
  • 订阅/消费模式也可在数据粒度上解耦


基于 Pub/Sub 发布/订阅模型实现的事件驱动


原来使用 ETL、HTTP 调用 API方式,现在使用 MQ 可定时任务去拉取数据。

再比如实现一个微服务系统间的观察者模式。


实现事务的最终一致性

比如使用 rabbitmq 和 rocketmq。


其他适用场景还有比如连接流计算任务和数据、将消息广播给大量接收者。

在单体应用里需要用队列解决的,在分布式系统中大都可用MQ解决。

MQ适用场景还是很多的,如秒杀、发邮件、发短信、高并发订单等。

注意



不适合 MQ 的场景

如银行转账、电信开户、第三方支付等。

关键还是要意识到消息队列的优劣点,然后分析场景是否适用。


3 是否可利用共享内存、RDMA提高MQ性能?


如果你说的共享内存指的是PageCache,很多消息队列都会用到,RDMA据我所知常见的几种消息队列应该都还没有使用,像Kafka它在消费的时候,直接使用Zero Copy,数据直接从PageCache写到NIC的缓冲区中,都不需要进入应用内存空间。


另外,现代的消息队列瓶颈并不在本机内存数据交换这块,主要还是受限于网卡带宽或者磁盘的IO,像JMQ、Kafka这些消息队列,都可以打满万兆网卡或者把磁盘的读写速度拉满。


4 APP⇆网关–生产–>消息队列–消费–>秒杀服务问题


4.1 海量请求都放在MQ,MQ整体容量如何衡量?


消息队列不可能能存放无限的消息,消息队列满应该也会有拒绝策略,比如线程池的任务队列,任务队列满,并且超过最大的线程池数,四种的拒绝策略。


实际上,只要有足够的磁盘容量,消息队列确实可以存放无限的消息。像秒杀请求这种数据,峰值并发高,但总数据量并不是很大,所以,堆积在消息队列中完全没问题。


4.2 APP响应超时,即网关超过一定的时间没有返回


消息还在任务队列中,还是会被秒杀服务处理,这样的话,返回给APP秒杀失败,但是秒杀服务已经消费了消息?难道是在网关做补偿么?如果连接已经断开,将秒杀服务对此消息的处理做回滚操作么?


都按照秒杀失败处理即可。


4.3 网关和秒杀服务是通过消息队列进行通信,那响应消息也通过队列进行返回么?

队列中会有APP对应的地址比如IP之类的?那这样的话,APP的海量连接都同时连接着网关,不是会有问题么?

响应一般采用RPC来实现。超时或者返回秒杀结果之前,网关和APP确实要保持连接,这是HTTP协议决定的。至于网关能不能承受海量的APP连接,这个应该不用担心,网关的作用就是用来抗海量连接的,它也会有各种方法来解决这个问题。


4.4 消息队列应该也会做多备的策略?比如队列消息的服务挂了,那些消息全部不见,这样不是也会存在问题么?


是的,大部分生产系统中的消息队列要配置成集群,确保可用性和数据可靠性,这个后面的课程我们会讲。



  • 参考
    《消息队列高手课》
相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
1月前
|
机器学习/深度学习 人工智能 JSON
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
Resume Matcher 是一款开源AI简历优化工具,通过解析简历和职位描述,提取关键词并计算文本相似性,帮助求职者优化简历内容,提升通过自动化筛选系统(ATS)的概率,增加面试机会。
155 18
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
|
5月前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
167 2
|
4月前
|
Java 程序员
面试官的加分题:super关键字全解析,轻松应对!
小米,29岁程序员,通过一个关于Animal和Dog类的故事,详细解析了Java中super关键字的多种用法,包括调用父类构造方法、访问父类成员变量及调用父类方法,帮助读者更好地理解和应用super,应对面试挑战。
80 3
|
5月前
|
存储 网络协议 安全
30 道初级网络工程师面试题,涵盖 OSI 模型、TCP/IP 协议栈、IP 地址、子网掩码、VLAN、STP、DHCP、DNS、防火墙、NAT、VPN 等基础知识和技术,帮助小白们充分准备面试,顺利踏入职场
本文精选了 30 道初级网络工程师面试题,涵盖 OSI 模型、TCP/IP 协议栈、IP 地址、子网掩码、VLAN、STP、DHCP、DNS、防火墙、NAT、VPN 等基础知识和技术,帮助小白们充分准备面试,顺利踏入职场。
551 2
|
5月前
|
存储 NoSQL MongoDB
MongoDB面试专题33道解析
大家好,我是 V 哥。今天为大家整理了 MongoDB 面试题,涵盖 NoSQL 数据库基础、MongoDB 的核心概念、集群与分片、备份恢复、性能优化等内容。这些题目和解答不仅适合面试准备,也是日常工作中深入理解 MongoDB 的宝贵资料。希望对大家有所帮助!
161 7
|
1月前
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
170 29
|
1月前
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
59 3
|
1月前
|
JavaScript 算法 前端开发
JS数组操作方法全景图,全网最全构建完整知识网络!js数组操作方法全集(实现筛选转换、随机排序洗牌算法、复杂数据处理统计等情景详解,附大量源码和易错点解析)
这些方法提供了对数组的全面操作,包括搜索、遍历、转换和聚合等。通过分为原地操作方法、非原地操作方法和其他方法便于您理解和记忆,并熟悉他们各自的使用方法与使用范围。详细的案例与进阶使用,方便您理解数组操作的底层原理。链式调用的几个案例,让您玩转数组操作。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
|
1月前
|
移动开发 前端开发 JavaScript
从入门到精通:H5游戏源码开发技术全解析与未来趋势洞察
H5游戏凭借其跨平台、易传播和开发成本低的优势,近年来发展迅猛。接下来,让我们深入了解 H5 游戏源码开发的技术教程以及未来的发展趋势。
|
1月前
|
负载均衡 JavaScript 前端开发
分片上传技术全解析:原理、优势与应用(含简单实现源码)
分片上传通过将大文件分割成多个小的片段或块,然后并行或顺序地上传这些片段,从而提高上传效率和可靠性,特别适用于大文件的上传场景,尤其是在网络环境不佳时,分片上传能有效提高上传体验。 博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~

相关产品

  • 云消息队列 MQ
  • 推荐镜像

    更多
    下一篇
    oss创建bucket