拆解一下消息队列、任务队列、任务调度系统

简介: 拆解一下消息队列、任务队列、任务调度系统

最近调研了下任务调度系统中间件,包括xxl-job、elastic-job等,发现跟任务队列有一些类似的能力,比如通过API(事件)触发任务执行。

随即想到,能否用任务调度系统覆盖任务队列的场景呢?

另外,一直以来,很多同学也经常会产生困惑,任务队列和消息队列究竟有什么区别?

因此,本文通过多个维度来进行拆解,试着分析 任务队列、消息队列、任务调度系统 这三类中间件 究竟有哪些不同,究竟谁更适合什么场景。

  • 从基本功能说起
  • 对比系统角色
  • 本质区别
  • 总结


1、从基本功能说起


什么是消息队列?

消息队列大家基本是耳熟能详,不管是经典的kafka、rocketmq,还是新兴的pulsar。
虽然它们在架构上都有所区别,但是本质上都是一种 应用 对 应用的 「通信方式」

应用程序通过读写出入队列的「消息」来通信,而无需点对点直接连接应用。主要解决应用耦合、异步消息、流量削等问题,用来实现高性能,高可用,可伸缩和最终一致性架构。

什么是任务调度系统?

任务调度系统也是大家比较熟悉的,从quartz到xxl-job,到elastic-job。主要解决的问题是,解决分布式场景下的 离线任务、定时任务 的调度问题,具备高可用、可视化、可运维、低延时等能力。

一些复杂场景,可能还需要进行任务编排(DAG)执行。

什么是任务队列?

任务队列可能听过的人会少一点,没有特别出名的java开源框架,相对活跃一点的包括Celery、Resque等。

它解决的问题是比较经典的,在线业务如何 实时 处理 长耗时 任务。

任务队列通过封装 异步任务发送、任务处理、任务状态存储、异常处理 等环节,提供了一套完整的处理长耗时任务的编程框架,实现了 隔离性、容错性 的应用架构。


2、对比系统角色


2.1 任务队列 VS 消息队列


认识一个系统,除了通过文字简单了解基本功能外,最直接的方式是看看整体系统架构的角色。

先看下消息队列的系统角色。

640.png

主要包括:

  • 生产者 Producer
    发布消息的角色。Producer通过 MQ 的负载均衡模块选择相应的 Broker 集群队列进行消息投递,投递的过程支持快速失败和重试。
  • 消费者 Consumer
    消息消费的角色。
  • 代理服务器 Broker
    Broker主要负责消息的存储、投递和查询以及服务高可用保证。

然后,我们看看任务队列的系统角色包括哪些。

640.png

主要包括4类角色:

  • 任务生产者 Producer
    发布任务的角色。Producer通过 MQ 的负载均衡模块选择相应的 Broker 集群队列进行消息投递,投递的过程支持快速失败和重试。
  • 消费者 Consumer
    消费任务的角色。
  • 队列queue
    Broker主要负责任务的存储、投递和查询以及服务高可用保证。
  • 任务状态持久化storage
    storage主要负责任务的状态持久化、查询等能力。可以选择独立的DB,也可以直接复用queue。

通过系统角色对比,我们可以看到,消息队列是任务队列的其中一个角色,任务队列中queue的选型可以是消息队列kafka、rocketmq,甚至可以是能提供类似能力的redis。

除了queue之外,任务队列的一个显著特点是,一般还需要一个storage系统角色来持久化任务的状态


2.2 任务队列 VS 任务调度系统


任务调度系统比较有代表性的开源产品包括Quartz、Elastic-job、XXL-JOB。

我们以XXL-JOB为例,来看下系统角色。

640.png

包括2个角色:

  • 调度模块(调度中心):
    负责管理调度信息,按照调度配置发出调度请求,自身不承担业务代码。调度系统与任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块;
  • 执行模块(执行器):
    负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作,开发和维护更加简单和高效。接收“调度中心”的执行请求、终止请求和日志请求等。

从这里能看出,XXL-JOB是一个典型的「中心化」系统,任务都是根据预设规则从 调度中心 发起,然后由执行器来执行。当然,Elastic-job中的ElasticJob-lite也有「去中心化」方案,但是从逻辑模型的角度来说,仍然是一个需要调度中心进行调度的。

而任务队列的整个模型就是一个「去中心化」、「应用 对 应用 生产消费」系统,任务由producer发起,由consumer消费。


3、本质区别


结合前面的基本功能和系统角色,我们可以更好地体会三个中间件的本质区别。

消息队列 本质上都是一种 应用 对 应用「通信方式」,主要解决应用耦合、异步消息、流量削锋等问题。

任务队列 本质上是一种封装好的 应用 对 应用 异步任务 「编程框架」,它封装了对异步任务的如何重试、如何消费、如何获取任务结果、如何监控任务的运行情况 等等问题,让业务开发只关心业务逻辑。

同时,任务队列也是一种典型的 「架构风格」,这个编程框架 指导 业务开发对 长耗时 任务从普通 在线业务 的服务中拆分出来,避免影响在线业务的稳定性。因此,任务队列的主要应用场景也是 在线业务

任务调度系统 设计之初就是为了解决分布式场景下的 离线任务、定时任务 的调度问题,它的设计目标是 轻量级、可视化、易扩展。

因此,它的设计没有 应用 对 应用 的生产消费概念,也不具备对高流量的承受能力(削峰)。

当然,任务调度系统 跟 任务队列 最大的区别,它不具备将 长耗时 任务从普通 在线业务 的服务中拆分出来的这种架构思想指导(大部分定时任务都是在夜间执行)。

任务调度系统的定位还是应用于 轻量级、离线业务 场景最为合适。


4、总结


回过头看看一开始的两个问题。

1)能否用任务调度系统覆盖任务队列的场景呢?

不能。任务调度系统适用于 轻量级、离线业务 场景下的 定时任务 和 离线任务,使用调度/执行模式,不具备承接在线业务高流量的能力。

而任务队列适用于 在线业务 场景下的 长耗时任务,使用 生产消费模式,具备对高流量的承受能力(削峰)。并且指导业务开发将 长耗时 任务从普通 在线业务 的服务中拆分出来的架构思想。

2)任务队列和消息队列究竟有什么区别?

任务队列是一个封装好的 异步任务编程框架,也是一种 长耗时任务 与 普通在线业务 拆分的架构思想。消息队列只是任务队列中的一个系统角色。

总结一下,其实三者的差异还是非常大的。

640.png


往期热门笔记合集推荐:

  • HBase原理与实战笔记合集
  • MySQL实战笔记合集
  • Canal/Otter源码与实战笔记合集
  • Java实战技巧笔记合集
相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
5月前
|
消息中间件 存储 Java
使用Java构建可扩展的消息队列系统
使用Java构建可扩展的消息队列系统
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
82 6
|
4月前
|
消息中间件 存储 负载均衡
现代消息队列与云存储问题之消息队列支持定时消息和延迟队列的问题如何解决
现代消息队列与云存储问题之消息队列支持定时消息和延迟队列的问题如何解决
|
1月前
|
消息中间件 Java Kafka
初识Apache Kafka:搭建你的第一个消息队列系统
【10月更文挑战第24天】在数字化转型的浪潮中,数据成为了企业决策的关键因素之一。而高效的数据处理能力,则成为了企业在竞争中脱颖而出的重要武器。在这个背景下,消息队列作为连接不同系统和服务的桥梁,其重要性日益凸显。Apache Kafka 是一款开源的消息队列系统,以其高吞吐量、可扩展性和持久性等特点受到了广泛欢迎。作为一名技术爱好者,我对 Apache Kafka 产生了浓厚的兴趣,并决定亲手搭建一套属于自己的消息队列系统。
68 2
初识Apache Kafka:搭建你的第一个消息队列系统
|
2月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现
消息队列系统中的确认机制在分布式系统中如何实现
|
2月前
|
消息中间件 存储 监控
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
|
2月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?
|
4月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?
|
4月前
|
消息中间件 存储 Kafka
ZooKeeper助力Kafka:掌握这四大作用,让你的消息队列系统稳如老狗!
【8月更文挑战第24天】Kafka是一款高性能的分布式消息队列系统,其稳定运行很大程度上依赖于ZooKeeper提供的分布式协调服务。ZooKeeper在Kafka中承担了四大关键职责:集群管理(Broker的注册与选举)、主题与分区管理、领导者选举机制以及消费者组管理。通过具体的代码示例展示了这些功能的具体实现方式。
133 2
|
4月前
|
消息中间件 Cloud Native API
核心系统转型问题之消息队列提升交易响应时间如何解决
核心系统转型问题之消息队列提升交易响应时间如何解决