企业业务数据处理用“work”还是“MQ”

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

  近期公司在做架构梳理已经项目架构方向,不知不觉就引起了使用“work”跑数据还是用“MQ”进行跑数据的争论!

对于争论这件事在各行各业都有,其实我觉得针对“争论”这个词的根源在于一件事情有很多解决方案,每个人的认知不同,

给出的解决方案也不同。然而如果有一个对实际情况都了解和对解决问题有充足认知的情况下,我想他是会权衡利弊的。

  我们先列举几个已经算是比较成熟的开源框架:

  WORK:TBschedule、Quartz、spring schedule、JDK的time ,线程池定时等;

  MQ:RocketMQ、RabbitMQ、Kafka、ActiveMQ、MSMQ、ZeroMQ等等;

 

  好,废话不多说,我们就事论事,我们就单纯的从以下几个角度来评论以下到底谁(work/mq)更有优势:

  1、易用性

  2、可扩展性

  3、可监控性

  4、性能

  5、可堆积数据量

  6、稳定性

  以上是我列出的几个对比选项,我们将逐一解说。(对于work和MQ的选型不是本人讨论的范围不做深入讨论)

  我们就拿上面列出的work系列的第一个与MQ系列的第一个进行比较:

  Tbshcedule与RocketMQ,这两个都是阿里开发并开源的比较起来可能会更好一点。擂台开始

  

  1、易用性

    WORK:TBSchedule最新版本使用zookeeper作为注册一致性等功能的调和器,zookeeper本身很稳定不用怎么管理,

        开发代码是直接继承接口,然后自己实现业务逻辑,处理完成之后需要做状态回传处理(比如更新数据状态)

        处理失败,会多次重复处理可能会因为一条数据的失败而导致后面数据处理不了(除非自己做优先级策略)

        定义数据平均分发策略。

        读取数据会平均分发到对应的处理器类,可批量,部署的时候需要调整策略,最小时间间隔是1s

    RocketMQ:开源的架构模式为多个节点注册到命名服务,生产者与消费者以及broker的分发负载通过命名服务来管理。

        开发代码同样是继承接口实现,然后数据分发到对应的处理器类,最后成功与否返回对应的ack,处理失败不影响

        后续数据处理,失败数据会延迟重复处理多次。同样可批量,没有定时执行的概念,有数据就处理,几乎不会等待。

    小结:处理数据同样都依赖数据状态标记,但是RocketMQ已经为我们实现了基本失败处理的简单机制,不是特别的情况,

       已经足够用了,这是优势之一,数据处理状态不用与第三方系统交互,这是优势之二。其中有TBSchedule有一点就是

       自己定义数据平均分发策略,目前不能评判是缺点还是优点,文章后面会说明

  2、可扩展性

    可扩展性从两个方面讲,一个是基础服务,一个是消费服务。

    基础服务就是我用这两个框架的时候肯定需要相关的基础作为支撑,比如TBSchedule需要zookeeper,RocketMQ需要borker等

    基础服务:

      WORK:TBSchedule需要zookeeper,zookeeper的可扩展性比较一般,是CP型的,不过zookeeper非常稳定可以互相抵消

      RocketMQ:需要架设broker和namespace两种服务,两种服务都是可以平行横向扩展的,

            然而RocketMQ的主要数据交换服务broker是可以在线透明扩展的,不用重启生产和消费客户端

      小结:基础服务说实话可比性不是很强烈,都比较稳定,没有相差太大。

    消费服务:

      WORK:TBSchedule任务处理客户端可以直接copy一份然后运行起来,注册一下,调整一下线程分配,虽然有步骤但是还算简单

      RocketMQ:直接copy处理程序运行包启动运行就OK了,线程会自动调节(开发的时候会根据服务器配置业务量等调整一个合理的范围)

      小结:是不是感觉RocketMQ更方便那,大家了解了架构之后自然会知道两个的区别。

  3、可监控性

    WORK:TBSchedule只有任务主机及线程存活监控监控,数据挤压以及处理速度需要自己额外开发

        

 

    RocketMQ:对数据处理实例(消费端)等都有数据处理速度和待处理积压量相关显示。

        

   小结:不知道大家更需要哪个,哪个更好,自己斟酌选择吧!这个不多说

  4、性能

    其实对于性能我就不展开说了没什么可比性,关键是取决于业务处理的速度,如果非要较真的话,

    TBSchedule每个线程执行有1秒的停顿,不过这个可以忽略(不要告诉我说你就处理10几条数据,每条几毫秒就处理完了)

    虽然不较真但是从第一点易用性看还是有差别的,因为RocketMQ做数据状态回传的时候应该会更快,因为不依赖其他数据载体,

    因为数据载体就是broker本身,优化的更好。

  5、可堆积数量

    两个框架的堆积数量也不太好比较,因为TBSchedule依赖的是其他数据载体(比如数据库),

    RocketMQ使用的是索引加文件几乎是无限堆积(为什么是“几乎”,自行查资料,关键取决于磁盘大小)

    这里反过来对第四点做一点补充就是,堆积量上来之后对于RocketMQ性能几乎没什么影响,

    但是对于TBSchedule可能就取决于数据载体了

  6、稳定性

    这个也不展开讨论,直接说实际使用情况

    TBSchedule会有时不时的莫名其妙的假死现象

    RocketMQ最多是因为硬件承载量不够而拒绝服务,但是还是能提供服务的。

    大家自己心里评判吧!

 

  可能有很多人说这两个东西是没有可比性的,因为根本就是不同的框架,一个是定时任务一个是消息传输,说的很对,但是你反过来想

  都是为了处理业务数据,都是将数据从一种状态或结构转换成另一种。很多情况下两者都可以做完同样的事情,所以就带来了争论和选择

  如果你那RocketMQ和操作系统linux比较我想这真的是没有可比性的。

  最后还是简单总结一下

    Work和MQ都是随时代或者说是技术发展的过程逐渐演变的,work是定时任务的高级扩展,MQ是伴随着业务发展而逐渐流行起来的框架设计

  两者都在企业信息化发展中起到关键的作用,然而work却在逐渐慢慢消退,但是不太可能会被替代(这里不是指被MQ替代),当然更不会被MQ替代

  MQ框架现在发展非常迅猛,虽然在一段时间内还会非常迅猛,同样时代在变化,技术在发展,慢慢陨落是不可避免的,只是时间问题而已。

    两个框架都有自己更适合的使用场景(使用场景包括人和业务这里就不具体举例说明了),脱离业务的设计都是耍流氓。

    希望本篇文章对你有帮助。

 

  

 

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
1月前
|
消息中间件 存储 监控
MQ线上大规模消息堆积问题处理及使用场景详解
【11月更文挑战第21天】在如今的高并发互联网应用中,消息队列(Message Queue,简称MQ)扮演着至关重要的角色
100 1
|
2月前
|
消息中间件 存储 分布式计算
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
42 4
|
2月前
|
消息中间件 缓存 大数据
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
49 3
|
4月前
|
消息中间件 安全 Kafka
"深入实践Kafka多线程Consumer:案例分析、实现方式、优缺点及高效数据处理策略"
【8月更文挑战第10天】Apache Kafka是一款高性能的分布式流处理平台,以高吞吐量和可扩展性著称。为提升数据处理效率,常采用多线程消费Kafka数据。本文通过电商订单系统的案例,探讨了多线程Consumer的实现方法及其利弊,并提供示例代码。案例展示了如何通过并行处理加快订单数据的处理速度,确保数据正确性和顺序性的同时最大化资源利用。多线程Consumer有两种主要模式:每线程一个实例和单实例多worker线程。前者简单易行但资源消耗较大;后者虽能解耦消息获取与处理,却增加了系统复杂度。通过合理设计,多线程Consumer能够有效支持高并发数据处理需求。
197 4
|
4月前
|
消息中间件 负载均衡 Java
"深入Kafka核心:探索高效灵活的Consumer机制,以Java示例展示数据流的优雅消费之道"
【8月更文挑战第10天】在大数据领域,Apache Kafka凭借其出色的性能成为消息传递与流处理的首选工具。Kafka Consumer作为关键组件,负责优雅地从集群中提取并处理数据。它支持消息的负载均衡与容错,通过Consumer Group实现消息的水平扩展。下面通过一个Java示例展示如何启动Consumer并消费数据,同时体现了Kafka Consumer设计的灵活性与高效性,使其成为复杂消费场景的理想选择。
141 4
|
7月前
|
消息中间件 Java 调度
【深度挖掘RocketMQ底层源码】「底层源码挖掘系列」透彻剖析贯穿RocketMQ的消费者端的运行调度的流程(Pull模式)
【深度挖掘RocketMQ底层源码】「底层源码挖掘系列」透彻剖析贯穿RocketMQ的消费者端的运行调度的流程(Pull模式)
68 1
|
7月前
|
消息中间件 Java RocketMQ
【深度挖掘 RocketMQ底层源码】「底层源码挖掘系列」抽丝剥茧贯穿RocketMQ的消费者端的运行核心的流程(Pull模式-下)
【深度挖掘 RocketMQ底层源码】「底层源码挖掘系列」抽丝剥茧贯穿RocketMQ的消费者端的运行核心的流程(Pull模式-下)
51 1
|
7月前
|
消息中间件 存储 NoSQL
【深度挖掘 RocketMQ底层源码】「底层源码挖掘系列」透彻剖析贯穿RocketMQ的消费者端的运行核心的流程(Pull模式-上)
【深度挖掘 RocketMQ底层源码】「底层源码挖掘系列」透彻剖析贯穿RocketMQ的消费者端的运行核心的流程(Pull模式-上)
62 1
|
7月前
|
消息中间件 关系型数据库 MySQL
Kafka Connect :构建强大分布式数据集成方案
Kafka Connect 是 Apache Kafka 生态系统中的关键组件,专为构建可靠、高效的分布式数据集成解决方案而设计。本文将深入探讨 Kafka Connect 的核心架构、使用方法以及如何通过丰富的示例代码解决实际的数据集成挑战。
|
7月前
|
消息中间件 Kafka
初尝Kafka(四):数据的从生产到消费
初尝Kafka(四):数据的从生产到消费
79 0