推荐一款好用的Java分布式任务调度框架!

简介: 推荐一款好用的Java分布式任务调度框架!

XXL-Job 是一个分布式任务调度框架,由大众点评内部员工xxl使用Java语言开发,以轻量、易扩展、高性能、高可靠为设计目标。


该框架与 Quartz、Elastic-Job 等调度框架相比有着更加便捷易用和高效的特点。


项目地址:https://github.com/xuxueli/xxl-job


什么是任务调度?


任务调度 是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程。有了任务调度即可解放更多的人力,而是由系统自动去执行任务。


以下业务场景的解决方案就是任务调度。

  • 某电商系统需要在每天上午10点,下午3点,晚上8点发放一批优惠券。
  • 某银行系统需要在信用卡到期还款日的前三天进行短信提醒。
  • 某财务系统需要在每天凌晨0:10结算前一天的财务数据,统计汇总。
  • 12306会根据车次的不同,设置某几个时间点进行分批放票。


实现任务调度的方案有哪些?


  • 多线程方式
  • 各语言提供的任务调度API,比如:ScheduledExecutor
  • 任务调度框架,例如Quartz、elastic-job、Cron等 ,都是功能强大的任务调度框架,可以满足更多更复杂的调度需求


XXL-Job介绍


xxl-job 中的任务分为两种,一种是定时任务,另一种是任务执行器。

定时任务的执行方式可以是corn表达式、固定频率或者固定延迟,而任务执行器是用来处理实际业务逻辑的


XXL-Job架构:任务调度中心、执行器和客户端。任务调度中心是用来管理任务的,执行器是用来执行任务的,而客户端则是连接任务执行中心和执行器的桥梁。其中,任务调度中心和执行器都可以进行集群部署。


XXL-Job框架的特点包括:


  • 核心组件:XXL-Job的核心组件包括任务调度中心、调度执行器和客户端,这些组件实现了多任务调度、分布式任务处理、任务路、故障恢复、任务状态监控和报警等功能。
  • 容错性与高可靠性:XXL-Job框架实现了任务调度在调度心和执行器之间的分布式控制,确保了任务调度在异常情况下的性能与稳定性。
  • 灵活性和扩展性:XXL-Job框架允许用户定制任务调度策略、任务执行器、任务日志处理等方,支持通过SPI机制扩展自定义的任务。此外,框架在设计上充分考虑了可扩展和适配性,可以满足各种复杂业务场景的需求。


主要特性详情


简单灵活

  • 提供 Web 页面对任务进行管理,管理系统支持用户管理、权限控制;
  • 支持容器部署;
  • 支持通过通用HTTP提供跨平台任务调度;


丰富的任务管理功能

  • 支持页面对任务CRUD操作;
  • 支持在页面编写脚本任务、命令行任务、Java代码任务并执行;
  • 支持任务级联编排,父任务执行结束后触发子任务执行;
  • 支持设置指定任务执行节点路由策略,包括轮询、随机、广播、故障转移、忙碌转移等;
  • 支持Cron方式、任务依赖、调度中心API接口方式触发任务执行


高性能

  • 任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰;


高可用

  • 任务调度中心、任务执行节点均 集群部署,支持动态扩展、故障转移
  • 支持任务配置路由故障转移策略,执行器节点不可用是自动转移到其他节点执行
  • 支持任务超时控制、失败重试配置
  • 支持任务处理阻塞策略:调度当任务执行节点忙碌时来不及执行任务的处理策略,包括:串行、抛弃、覆盖策略


易于监控运维

  • 支持设置任务失败邮件告警,预留接口支持短信、钉钉告警;
  • 支持实时查看任务执行运行数据统计图表、任务进度监控数据、任务完整执行日志;


在应用XXL-Job框架时,需要配置调度中心和执行器的信息。下是配置示例:


调度中心配置文件:

### xxl-job, access token
xxl.job.accessToken=
### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
xxl.job.i18n=zh_CN
## xxl-job, triggerpool max size
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### xxl-job, log retention days
xxl.job.logretentiondays=30

执行maven打包命令:package ,打完包以后,从项目的target目录中找到jar包拷贝到不带空格和中文的目录下


执行以下命令,启动项目

java -jar xxl-job-admin-2.2.0-SNAPSHOT.jar

调度中心访问地址:http://localhost:8888/xxl-job-admin (该地址执行器将会使用到,作为回调地址)


总结


总的来说,XXL-Job是一个优秀的分布式任务调度框架,具有轻量易用、高性能、高可靠和扩展性等点。在实际应用中,可以通过XXL-Job实现对复杂业务逻辑的可靠调度和处理。

相关文章
|
4天前
|
存储 Java 容器
Java一分钟之-高级集合框架:LinkedList与TreeSet
【5月更文挑战第17天】这篇博客对比了Java集合框架中的LinkedList和TreeSet。LinkedList是双向链表,适合中间插入删除,但遍历效率低且占用空间大;TreeSet基于红黑树,保证元素有序且不重复,插入删除速度较LinkedList慢但查找快。选择时需根据操作需求和性能考虑。
12 2
|
5天前
|
Java 数据安全/隐私保护 Spring
Java 中 Spring Boot 框架下的 Email 开发
Java 中 Spring Boot 框架下的 Email 开发
247 2
|
19小时前
|
消息中间件 Java Linux
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
|
2天前
|
机器学习/深度学习 分布式计算 调度
机器学习分布式框架Ray
Ray是UC Berkeley RISELab推出的一个高性能分布式执行框架,它比Spark更具计算优势,部署简单,支持机器学习和深度学习的分布式训练。Ray包括节点(head和worker)、本地调度器、object store、全局调度器(GCS),用于处理各种分布式计算任务。它支持超参数调优(Ray Tune)、梯度下降(Ray SGD)、推理服务(Ray SERVE)等。安装简单,可通过`pip install ray`。使用时,利用`@ray.remote`装饰器将函数转换为分布式任务,通过`.remote`提交并用`ray.get`获取结果。5月更文挑战第15天
22 3
|
2天前
|
监控 数据可视化 Java
【JAVA】分布式链路追踪技术概论
skywalking拥有更加的强大和细粒度的图形监控界面。
14 2
|
3天前
|
安全 Java 容器
Java一分钟之-高级集合框架:并发集合(Collections.synchronizedXXX)
【5月更文挑战第18天】Java集合框架的`Collections.synchronizedXXX`方法可将普通集合转为线程安全,但使用时需注意常见问题和易错点。错误的同步范围(仅同步单个操作而非迭代)可能导致并发修改异常;错误地同步整个集合类可能引起死锁;并发遍历和修改集合需使用`Iterator`避免`ConcurrentModificationException`。示例代码展示了正确使用同步集合的方法。在复杂并发场景下,推荐使用`java.util.concurrent`包中的并发集合以提高性能。
17 3
|
3天前
|
Java 开发者
Java一分钟之-高级集合框架:优先队列(PriorityQueue)
【5月更文挑战第18天】`PriorityQueue`是Java集合框架中的无界优先队列,基于堆数据结构实现,保证队头元素总是最小。常见操作包括`add(E e)`、`offer(E e)`、`poll()`和`peek()`。元素排序遵循自然排序或自定义`Comparator`。常见问题包括错误的排序逻辑、可变对象排序属性修改和混淆`poll()`与`peek()`。示例展示了自然排序和使用`Comparator`的排序方式。正确理解和使用`PriorityQueue`能提升应用性能。
36 6
|
3天前
|
存储 Java
Java一分钟之-高级集合框架:Queue与Deque接口
【5月更文挑战第18天】本文探讨Java集合框架中的`Queue`和`Deque`接口,两者都是元素序列的数据结构。`Queue`遵循FIFO原则,主要操作有`add/remove/element/peek`,空队列操作会抛出`NoSuchElementException`。`Deque`扩展`Queue`,支持首尾插入删除,同样需注意空`Deque`操作。理解并正确使用这两个接口,结合具体需求选择合适数据结构,能提升代码效率和可维护性。
29 4
|
4天前
|
存储 算法 Java
Java 集合框架
5月更文挑战第10天
|
5天前
|
SQL 缓存 Java
Java一分钟之-Hibernate:ORM框架实践
【5月更文挑战第15天】Hibernate是Java的ORM框架,简化数据库操作。本文列举并解决了一些常见问题: 1. 配置SessionFactory,检查数据库连接和JDBC驱动。 2. 实体类需标记主键,属性映射应匹配数据库列。 3. 使用事务管理Session,记得关闭。 4. CRUD操作时注意对象状态和查询结果转换。 5. 使用正确HQL语法,防止SQL注入。 6. 根据需求配置缓存。 7. 懒加载需在事务内处理,避免`LazyInitializationException`。理解和避免这些问题能提升开发效率。
20 0