分布式定时任务框架Quartz总结和实践(1)

简介: Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个,百个,甚至是好几万个Jobs这样复杂的程序。Jobs可以做成标准的Java组件或 EJBs。

一、概述

Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个,百个,甚至是好几万个Jobs这样复杂的程序。Jobs可以做成标准的Java组件或 EJBs。

1.特性

  1. 支持多任务调度和管理,Quartz可以在数据库中存储多个定时任务进行作业调度,可以实现定时任务的增删改查等管理。
  2. 纯Java实现,可以作为独立的应用程序,也可以嵌入在另一个独立式应用程序运行。
  3. 强大的调度功能,Spring默认的调度框架,灵活可配置。
  4. 作业持久化,调度环境持久化机制,可以保存并恢复调度现场。系统关闭数据不会丢失;灵活的应用方式,可以任意定义触发器的调度时间表,支持任务和调度各种组合,组件式监听器、各种插件、线程池等功能,多种存储方式等。
  5. 分布式和集群能力,可以被实例化,一个Quartz集群中的每个节点作为一个独立的Quartz使用,通过相同的数据库表来感知到另一个Quartz应用。

2.使用场景

Quartz是一个分布式的任务调度框架,在分布式环境下需要进行任务调度可以使用。

3.同类框架对比

和Spring框架中的@schedule相比,他们都能基于cron表达式执行定时任务,但明显Quartz框架的能力更强,他可以对任务进行增删改查的操作。

二、原理

1.框架

Quartz主要包括JobDetail、Trigger和Scheduler三部分,JobDetail包含了任务的实现类和任务的描述信息,Trigger决定了任务什么时候执行,Scheduler是调度器,将JobDetail和Trigger结合起来,定时定频率的执行任务。

img

2.组成部分说明

(1)Job

表示一个需要定时执行的任务,只需要实现Job接口的execute()方法,该方法就是定时执行的操作。Quartz 每次调度 Job 时,都重新创建一个 Job 实例,因此它不接受多个 Job 的实例。

public interface Job {
   
   
    void execute(JobExecutionContext context)
        throws JobExecutionException;
}

(2)JobDetail

JobDetail主要由JobKey(job的名字name和分组group)、JobClass、JobDataMap(任务相关的数据)、JobBuilder组成。他实际保存了Job的描述信息,以便运行时通过 newInstance() 的反射机制实例化 Job。

public class JobDetailImpl implements Cloneable, java.io.Serializable, JobDetail {
    private String name;

    private String group = Scheduler.DEFAULT_GROUP;

    private String description;

    private Class<? extends Job> jobClass;

    private JobDataMap jobDataMap;

    private boolean durability = false;

    private boolean shouldRecover = false;

    private transient JobKey key = null;
    //省略...
    }

(3)Trigger

Trigger规定触发执行Job实现类,主要有SimpleTrigger和CronTrigger两个实现类。Trigger由以下部分组成:

  1. TriggerKey(job的名字name和分组group)
  2. JobDataMap(Trigger相关的数据,同JobDetail中JobDataMap,存相同key,若value不同,会覆盖前者。)
  3. ScheduleBuilder(有CronScheduleBuilder、SimpleScheduleBuilder、CalendarIntervalScheduleBuilder、DailyTimeIntervalScheduleBuilder常用前2种。)

(4)Scheduler

Scheduler调度器就是为了读取触发器Trigger从而触发定时任务JobDetail。可以通过SchedulerFactory进行创建调度器,分为StdSchedulerFactory(常用)和DirectSchedulerFactory两种。

  1. StdSchedulerFactory使用一组属性(放在配置文件中)创建和初始化调度器,然后通过getScheduler()方法生成调度程序。
  2. DirectSchedulerFactory不常用,容易硬编码。

3.cron表达式

定时任务离不开Cron表达式设置具体执行时间或执行周期,Cron表达式是一个字符串,一般有两种表达:

  1. 秒 分 小时 日 月 星期 年
  2. 秒 分 小时 日 月 星期

其中,年份即为可选的,所以一般表达式为6-7个域,每个域以空格分开。其中的星期除了可以使用英文缩写,也可以用数字1-7数字来表示,注意1表示的是星期日7表示的星期六

image-20230806223900175

  • *:星号,表示每个字段对应的时间域的每一个,如在日中,就是表示每天。
  • ?:问号,只能在日期和星期字段中使用,表示无意义的值,等价于点位符。
  • -:减号,表示一个范围,如在分钟中使用5-8,则表示5-8分钟,即5、6、7、8分钟。
  • ,:逗号,表示一个列表值,如在星期中星期一和星期三使用MON,WED,也可以使用数字来表示:1,3
  • /:斜杠,使用x/y来表示一个等步长序列,x表示起始值,y表示步长值。如在秒字段中使用0/15,表示从0秒开始,每15秒增量,即0秒,15秒,30秒,45秒,这种就可以理解为每15秒执行任务。
  • L:只能在日期和星期字段中使用,表示Last。在日期中,L表示月份的最后一天,如1月中的31日;在星期中,L表示星期六(或数字7)。
  • W:只能在日期字段中使用,表示离该日期最近的工作期,不可以跨月。如10W,表示离该月10号最近的工作日,若10号为星期六,则匹配9号星期五;若10号为星期日,则匹配11号星期一;若10号为星期一,则匹配10号星期一。LW组合表示该月的最后一个工作日。
  • C:只能在日期和星期字段中使用,表示Calendar,即计划所关联的日期,若日期未被关联,则等价于关联所有日期。如日期中使用4C,表示日期4号以后的第一天;星期中使用1C,表示星期日后的第一天。
  • #:井号只能在星期字段中使用,表示当月某个工作日。如6#2表示当月的第二个星期五(其中,6表示星期五,#3表示当月的第二个).
    Cron示例
Cron表达式 说明
0 0 * ? 每小时0分0秒运行
0 0 1 ? 每天01:00:00运行运行
0 0 1 ? * 每天01:00:00运行运行,同上
0 0 1 ? 2021 2021年每天01:00:00运行
0 10 * ? 每天10点-11点之间每分钟运行一次,开始于10:00:00,结束于10:59:00
0 0/5 10 ? 每天10点-11点之间每5分钟运行一次,开始于10:00:00,结束于10:59:00
0 0/5 10,15 ? 每天10点-11点之间每5分钟运行一次,每天15点-16点之间每5分钟运行一次
0 0-10 10 ? 每天10:00-10:10之间每分钟运行
0 10 1 ? * MON-FRI 每周一,二,三,四,五的1:10分运行
0 10 1 1 * ? 每月1日的1:10分运行
0 10 1 L * ? 每月最后一天1:10分运行
0 10 1 ? * 6L 每月最后一个星期五1:10分运行
0 10 1 ? * 6#3 每月第3个星期五1:10分运行

参考资料 :SpringBoot——Quartz定时框架的使用详解和总结:https://juejin.cn/post/6946348432244080676#heading-9

三、实践

1.基于Springboot的Quartz实现

(1)POM中引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-quartz</artifactId>
</dependency>

(2)定义Job

import org.quartz.Job;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;

/**
 * @author yangnk
 * @desc
 * @date 2023/08/05 23:57
 **/
public class MyJob implements Job {
   
   

    @Override
    public void execute(JobExecutionContext context) throws JobExecutionException {
   
   
        context.getJobDetail().getJobDataMap().forEach((k, v) ->{
   
   
            System.out.println("key = " + k);
            System.out.println("value = " + v);
            System.out.println("===System.currentTimeMillis() = " + System.currentTimeMillis());
        });
    }
}

(3)获取JobDetail

public static JobDetail getJobDetail() {
   
   
    Map<String, String> jobData = new HashMap<>();
    String jobName = "schedulerJob";
    String jobGroup = "schedulerGroup";
    jobData.put("key00","value00");
    jobData.put("key01","value01");
    jobData.put("key03","value03");
    JobDataMap jobDataMap = new JobDataMap();
    jobDataMap.putAll(jobData);

    JobDetail jobDetail = JobBuilder.newJob(MyJob.class)
            .withIdentity(jobName, jobGroup)
            .usingJobData(jobDataMap)
            .storeDurably()
            .build();
    return jobDetail;
}

(4)获取Trigger

public static Trigger getTrigger() {
   
   
    //CronScheduleBuilder
    String triggerName2 = "schedulerJob2";
    String triggerGroup2 = "schedulerGroup2";
    String jobTime = "0/1 * * * * ?";
    Trigger trigger2 = TriggerBuilder
            .newTrigger()
            .withIdentity(triggerName2, triggerGroup2)
            .startAt(DateBuilder.futureDate(1, DateBuilder.IntervalUnit.SECOND))
            .withSchedule(CronScheduleBuilder.cronSchedule(jobTime))
            .startNow()
            .build();
    return trigger2;
}

(5)验证和测试结果

public static void main(String[] args) throws SchedulerException {
   
   

    //StdSchedulerFactory方式,用的多
    SchedulerFactory schedulerFactory = new StdSchedulerFactory();
    Scheduler schedulerStd = schedulerFactory.getScheduler();

    JobDetail jobDetail = getJobDetail();
    Trigger trigger = getTrigger();

    //执行调度
    schedulerStd.scheduleJob(jobDetail, trigger);
    schedulerStd.start();
}

image-20230806003303702

代码实现:https://github.com/yangnk/SpringBoot_Learning/tree/d5b072c3e72d516511e85eda57f1c5a4aef56695/SpringBootExample/src/main/java/com/yangnk/quartzExample

TODO

  • [ ] 补充针对Quartz增删改查任务的代码;

参考资料

  1. 官网:http://www.quartz-scheduler.org/
  2. SpringBoot定时任务 - 基础quartz实现方式:https://www.pdai.tech/md/spring/springboot/springboot-x-task-quartz-timer.html
  3. SpringBoot——Quartz定时框架的使用详解和总结:https://juejin.cn/post/6946348432244080676#heading-9
  4. Quartz--SpringBoot--整合/使用/教程/实例:https://blog.51cto.com/knifeedge/5257084
目录
相关文章
|
3天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
16 2
|
11天前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。
|
18天前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
48 4
|
21天前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中,生成全局唯一的ID是一个常见且重要的需求。在微服务架构中,各个服务可能需要生成唯一标识符,如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求,而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成,并通过Java语言展示多个示例,同时分析每个实践方案的优缺点。
39 8
|
25天前
|
存储 Java 关系型数据库
在Spring Boot中整合Seata框架实现分布式事务
可以在 Spring Boot 中成功整合 Seata 框架,实现分布式事务的管理和处理。在实际应用中,还需要根据具体的业务需求和技术架构进行进一步的优化和调整。同时,要注意处理各种可能出现的问题,以保障分布式事务的顺利执行。
46 6
|
25天前
|
数据库
如何在Seata框架中配置分布式事务的隔离级别?
总的来说,配置分布式事务的隔离级别是实现分布式事务管理的重要环节之一,需要认真对待和仔细调整,以满足业务的需求和性能要求。你还可以进一步深入研究和实践 Seata 框架的配置和使用,以更好地应对各种分布式事务场景的挑战。
28 6
|
23天前
|
消息中间件 运维 数据库
Seata框架和其他分布式事务框架有什么区别
Seata框架和其他分布式事务框架有什么区别
23 1
|
2月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
18天前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`,我们可以轻松实现 Redis 分布式锁,从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁,可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
47 5
|
1月前
|
NoSQL Redis
Redis分布式锁如何实现 ?
Redis分布式锁通过SETNX指令实现,确保仅在键不存在时设置值。此机制用于控制多个线程对共享资源的访问,避免并发冲突。然而,实际应用中需解决死锁、锁超时、归一化、可重入及阻塞等问题,以确保系统的稳定性和可靠性。解决方案包括设置锁超时、引入Watch Dog机制、使用ThreadLocal绑定加解锁操作、实现计数器支持可重入锁以及采用自旋锁思想处理阻塞请求。
57 16
下一篇
DataWorks