关于MQ的几件小事(七)如果让你设计一个MQ,你怎么设计

简介: 介绍设计一个MQ,应该要考虑的点

其实回答这类问题,说白了,起码不求你看过那技术的源码,起码你大概知道那个技术的基本原理,核心组成部分,基本架构构成,然后参照一些开源的技术把一个系统设计出来的思路说一下就好。


比如说这个消息队列系统,我们来从以下几个角度来考虑一下

(1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker -> topic -> partition,每个partition放一个机器,就存一部分数据。如果现在资源不够了,简单啊,给topic增加partition,然后做数据迁移,增加机器,不就可以存放更多数据,提供更高的吞吐量了?


(2)其次你得考虑一下这个mq的数据要不要落地磁盘吧?那肯定要了,落磁盘,才能保证别进程挂了数据就丢了。那落磁盘的时候怎么落啊?顺序写,这样就没有磁盘随机读写的寻址开销,磁盘顺序读写的性能是很高的,这就是kafka的思路。


(3)其次你考虑一下你的mq的可用性啊?这个事儿,具体参考我们之前可用性那个环节讲解的kafka的高可用保障机制。多副本 -> leader & follower -> broker挂了重新选举leader即可对外服务。


(4)能不能支持数据0丢失啊?可以的,参考我们之前说的那个kafka数据零丢失方案

其实一个mq肯定是很复杂的,其实这是个开放题,就是看看你有没有从架构角度整体构思和设计的思维以及能力。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
1天前
|
消息中间件 NoSQL Kafka
【消息队列】如何做技术选型?
【消息队列】如何做技术选型?
9 1
|
9月前
|
消息中间件 存储 监控
实际工作及面试中遇到的消息队列问题
在分布式架构的日益流行的当下,拥有使用一款优秀的消息队列已成为系统异步解耦的“必需品”,但是实际生产中使用消息也会也遇到诸多问题。但是阿里云的RocketMQ则是一款在高可靠低延迟方面重点优化,构建了全新的低延迟存储引擎和多场景容灾解决方案。面向业务集成过程中链路逻辑的多样性,RocketMQ提供了丰富的业务消息类型,这些特性的积累使得它成为金融级业务消息的首选方案。接下来将以阿里云的消息队列为例,了解更多消息队列在实际应用中的最佳实践,简单讨论一下在生产级业务中使用消息队列最难的问题。
69 1
实际工作及面试中遇到的消息队列问题
|
消息中间件 存储 缓存
搭了一个RocketMQ高可用集群,同事直呼哇塞!
搭了一个RocketMQ高可用集群,同事直呼哇塞!
|
消息中间件 网络协议 Java
到底什么才是面向消息的分布式架构呢?看完之后我终于明白了
在SOA或者微服务架构中,普遍会采用HTTP作为通信协议。HTTP具有平台无关性、语言中立性等特点,在分布式系统中被广泛应用。特别是微服务架构的流行,遵循一致的REST风格的HTTP,更能在各个微服务之间实现低沟通成本的通信。
|
消息中间件 缓存 算法
阿里二面:RocketMQ 消息积压了,增加消费者有用吗?
阿里二面:RocketMQ 消息积压了,增加消费者有用吗?
209 0
阿里二面:RocketMQ 消息积压了,增加消费者有用吗?
|
消息中间件 大数据 Kafka
|
消息中间件 Kafka
|
消息中间件 NoSQL Kafka
|
消息中间件 监控 数据库