MQ 学习日志(二) 为什么使用消息队列,mq有什么优点和缺点

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 为什么使用消息队列,mq有什么优点和缺点

为什么使用消息队列,mq有什么优点和缺点,kafka,activemq,rabbitmq,rocketmq都有什么优点?

先说一下MQ的使用场景吧

其实场景有很多,但是比较核心的有三个:解耦,异步,消峰

解耦

现场画个图说明一下,A系统发送一个数据到BCD三个系统,接口调用发送,如果E系统也要这个数据呢,那如果C系统现在不需要了呢,现在A系统又要发送第二种数据了呢,A系统负责人崩溃中,再来点更加崩溃的事情,A系统要时时刻刻考虑BCDE四个系统如果挂了怎么办,要不要重新发送,要不要把消息存放起来,等等。。。

异步

现场画个图说明一下,A系统接收一个请求,需要在自己本地写库,还需要再BCD三个系统写库,自己本地写库需要3MS,BCD三个系统分别写库要300ms,450ms,200ms,最终请求延时是3+450+300+200,接近1s,用户感觉这是个什么东西,慢死了

削峰

每天0-11点,A系统风平浪静,每秒并发请求数量也就100个,结果每次一到11点-1点,每秒并发请求数量突然暴增到1万条,但是系统最大的处理能力也就只能是每秒钟处理1000个请求,怎么办。。。

消息队列有什么优点和缺点

优点:就是再特殊场景下其对应的好处,解耦,异步,消峰

缺点:

  1. 系统可用性降低:系统引入的外部依赖越多,越容易挂掉
  2. 系统复杂性提高:MQ加进来后,会有很多麻烦的问题:重复消费,消息丢失,怎么保证消息的顺序性,等等
  3. 一致性问题:A系统处理完了,返回给用户成功,用户以为操作成功了,但是C系统挂了,导致数据不一致,

所以MQ是一种非常复杂的架构,引入他有很多的好处,但是也得针对它带来的坏处做各种二外的技术方案和架构来规避,最终可能导致系统的复杂度提升了很大的量级,但是关键时刻改用还是得用

Kafka,RabbitMq,RocketMq都有什么优缺点

特性 ActiveMq RabbitMQ RocketMQ Kafka
单机吞吐量 万级,吞吐量比RocketMq 和 KafKa要低一个数量级 万级,吞吐量比RocketMq 和 KafKa要低一个数量级 10万级,RocketMQ也是可以支撑高吞吐的一种MQ 10万级别,这是Kafka最大的优点,就是吞吐量高
Topic数量对吞吐量的影响 topic可以达到几百,几千个级别,吞吐量会有较小幅度的下降,这事RocketMQ的一大优势,在同等机器下,可以支撑大量的Topic Topic从几十个到几百个的时候,吞吐量会大幅度下降,所以在同等机器下,kafka尽量保证topic数量不能过多,如果需要支撑大规模topic,则需要增加更多的机器资源
时效性 ms级 微妙级,这是RabbitMQ的一大特点,延迟是最低的 ms级 延迟再ms级以内
可用性 高,基于主从架构实现高可用性 高,基于主从架构实现高可用性 非常高,分布式架构 非常高,kafka是分布式的,一个数据多个副本,少数机器宕机不会丢失数据,不会导致不可用
消息可靠性 有较低的概率丢失数据 经过参数优化配置,可以做到0丢失 经过参数优化配置,消息可以做到0丢失
核心特点 MQ领域功能机器完备 基于Erlang语言开发,所以并发能力很强,性能极其好,延时很低 MQ功能较为完善,还是分布式的,拓展性好 功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用,是事实上的标准
优劣势总结 非常成熟,功能强大,在业内大量的公司以及项目都有应用,偶尔会有较低的概率丢失消息,而且现在社区以及国内应用都越来越少,官方社区现在对ActiveMq5.x维护也越来越少,而且确实主要是基于异步和解耦来用的,较少在大规模吞吐的场景中使用 erlang语言开发,性能极其好,而且开源提供的管理界面非常好,但是问题也是显而易见的,RabbitMQ确实吞吐量会低一些,这是因为他做的实现机制比较重,而且erlang开发,国内能做erlang源生的公司太少,导致公司对于该产品的掌控太少,只能依赖于开源社区以及官方修复BUG,并且RabbitMQ集群动态拓展会很麻烦,主要是erlang语言本身带来的问题,很难读懂源码,很难定制和掌控 接口简单易用,而且毕竟在阿里大规模应用过,有阿里品牌保障日处理消息上百亿之多,可以做到大规模吞吐,性能也非常好,分布式拓展也很方便,社区维护还可以,可靠性和可用性都是ok的,还可以支撑大规模的topic数量,支持复杂MQ业务场景,并且我们可以自己阅读源码,定制自己公司的MQ,可以掌控,社区活跃度相对来说一般,文档相对来说简单一点,但是接口这块不是按照标准的JMS规范走的,有些系统迁移需要修改大量的代码,还有就是阿里的技术,需要做好这个技术一旦被抛弃,社区黄掉的风险,需要公司有一定的技术实力 kafka的特点其实很明显,就是仅仅提供较好的核心功能,但是提供超高的吞吐量,ms级的延迟,较高的可用性以及可靠性,而且分布式可以任意拓展,同时kafka最好是支撑教师奥德topic数量即可,保证其超高吞吐量,而且kaafka唯一的劣势是有可能消息重复消费,这样对于数据的准确性会造成机器轻微的影响,再大数据领域中以及日志采集中,这点轻微影响可以忽略,这个特性天然适合各大数据试试计算以及日志收集
目录
相关文章
|
6月前
|
调度
FreeRTOS学习日志 - 第一天
这就是我的FreeRTOS学习日志 - 第一天的内容,明天继续探索这片实时操作系统的广阔海洋。+
109 12
|
Arthas 监控 Java
JVM知识体系学习七:了解JVM常用命令行参数、GC日志详解、调优三大方面(JVM规划和预调优、优化JVM环境、JVM运行出现的各种问题)、Arthas
这篇文章全面介绍了JVM的命令行参数、GC日志分析以及性能调优的各个方面,包括监控工具使用和实际案例分析。
1157 3
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
162 3
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
275 0
|
11月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
3150 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
5月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
678 54
|
10月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
287 9
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
1139 3
|
8月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
675 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log

热门文章

最新文章