Spring Boot 整合定时任务,可以动态编辑的定时任务

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 首先我们来看一个现成的框架:ElasticJob,有一个跟他齐名的 xxljob,这个咱们以后再抽空介绍。1. ElasticJob1.1 简介ElasticJob 是一个分布式作业调度解决方案,它的官网是:http://shardingsphere.apache.org/elasticjobElastic Job 的前身是由当当开源的一款分布式任务调度框架 dd-job,不过在 2020 年 5 月 28 日加入到了 Apache 基金会,成为 Apache 下 的 一个开源项目:

首先我们来看一个现成的框架:ElasticJob,有一个跟他齐名的 xxljob,这个咱们以后再抽空介绍。

1. ElasticJob

1.1 简介

ElasticJob 是一个分布式作业调度解决方案,它的官网是:

Elastic Job 的前身是由当当开源的一款分布式任务调度框架 dd-job,不过在 2020 年 5 月 28 日加入到了 Apache 基金会,成为 Apache 下 的 一个开源项目:

ElasticJob 通过弹性调度、资源管控、以及作业治理的功能,打造一个适用于互联网场景的分布式调度解决方案,并通过开放的架构设计,提供多元化的作业生态。

使用 ElasticJob 能够让开发工程师不再担心任务的线性吞吐量提升等非功能需求,使他们能够更加专注于面 向业 务 编码设计;同时,它也能够解放运维工程师,使他们不必再担心任务的可用性和相关管理需求,只通过轻松的增加服务节点即可达到自动化运维的目的。

ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目 ElasticJob-LiteElasticJob-Cloud 组成。

其中 ElasticJob-Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务:

网络异常,图片无法展示
|

ElasticJob-Cloud 则采用自研 Mesos Framework 的解决方案,额外提供资源治理、应用分发以及进程隔离等功能:

网络异常,图片无法展示
|

ElasticJob-Lite VS ElasticJob-Cloud


ElasticJob-LiteElasticJob-Cloud
无中心化是否资源分配不支持支持作业模式常驻常驻 + 瞬时部署依赖ZooKeeperZooKeeper + Mesos

它的各个产品使用统一的作业 API,开发者仅需一次开发,即可随意部署(即 ElasticJob-LiteElasticJob-Cloud 使用相同的 API,主要是部署方式不同而已)。

1.2 功能列表

  • 弹性调度
  • 支持任务在分布式场景下的分片和高可用
  • 能够水平扩展任务的吞吐量和执行效率
  • 任务处理能力随资源配备弹性伸缩
  • 资源分配
  • 在适合的时间将适合的资源分配给任务并使其生效
  • 相同任务聚合至相同的执行器统一处理
  • 动态调配追加资源至新分配的任务
  • 作业治理
  • 失效转移
  • 错过作业重新执行
  • 自诊断修复
  • 作业依赖(TODO)
  • 基于有向无环图(DAG)的作业间依赖
  • 基于有向无环图(DAG)的作业分片间依赖
  • 作业开放生态
  • 可扩展的作业类型统一接口
  • 丰富的作业类型库,如数据流、脚本、HTTP、文件、大数据等
  • 易于对接业务作业,能够与 Spring 依赖注入无缝整合
  • 可视化运维平台(https://github.com/apache/shardingsphere-elasticjob-ui)
  • 作业管控端
  • 作业执行历史数据追踪
  • 注册中心管理

2. 实践

说了这么多,接下来我们通过一个简单的案例来体验一把 ElasticJob 吧。毕竟有代码,感觉更真实。

首先我们创建一个 Spring Boot 工程,引入 Web 依赖:

网络异常,图片无法展示
|

然后手动加入 ElasticJob 的 starter:

<dependency>
    <groupId>org.apache.shardingsphere.elasticjob</groupId>
    <artifactId>elasticjob-lite-spring-boot-starter</artifactId>
    <version>3.0.1</version>
</dependency>

接下来我们创建一个作业,作业有几种不同的创建方式,我们先来看一种基于实现 SimpleJob 接口创建的作业:

/**
 * @author 江南一点雨
 * @微信公众号 江南一点雨
 * @网站 http://www.itboyhub.com
 * @国际站 http://www.javaboy.org
 * @微信 a_java_boy
 * @GitHub https://github.com/lenve
 * @Gitee https://gitee.com/lenve
 */
@Component
public class MyFirstJob implements SimpleJob {
private static final Logger logger = LoggerFactory.getLogger(MyFirstJob.class);
    @Override
    public void execute(ShardingContext shardingContext) {
        logger.info("作业名称:{};作业参数:{};分片总数:{};当前分片:{};分片参数:{};任务编号:{}",shardingContext.getJobName(),shardingContext.getJobParameter(),shardingContext.getShardingTotalCount(),shardingContext.getShardingItem(),shardingContext.getShardingParameter(),shardingContext.getTaskId());
    }
}

当定时任务执行的时候,execute 方法会被触发,其中 参 数 ShardingContext 中保存着定 时任 务相 关的参数,这些参数都是我们在 application.properties 中 配置的,我们继续来看:

elasticjob.reg-center.server-lists=zoo1:2181,zoo2:2182,zoo3:2183
elasticjob.reg-center.namespace=javaboy
elasticjob.jobs.my-first-job.elastic-job-class=org.javaboy.elasticjob.job.MyFirstJob
elasticjob.jobs.my-first-job.cron=0/3 * * * * ?
elasticjob.jobs.my-first-job.sharding-total-count=1
elasticjob.jobs.my-first-job.overwrite=true
elasticjob.jobs.my-first-job.job-parameter=hello javaboy!
elasticjob.jobs.my-first-job.sharding-item-parameters=0=A,1=B,2=C

这里的配置分为两大类:

  • 注册中心配置
  • 定时任务配置

使用 ElasticJob 需要注册中心 zookeeper,这个也好理解,因为 ElasticJob 支持任务在分布式场景下的分片和高可用,所以必然需要一个调度中心,这个 zk 就是调度中心。我这里开启了一 个 zk 集群,里边有三个实例,三个 zk 地址之间用 , 隔开。同时我们还要配置一个 namespace,这个 namespace 的作用是防止不同应用的定时任务冲突了,我们给每个应用取一个不同于其他应用的 namespace,这样就不用担心冲突了。

接下来是配置作业。

配置作业的前缀统一是 elasticjob.jobs,紧接着就是作业的名称,这个作业名称可以随意配置,但是最好能一眼看出来是哪个作业,MyFirstJob#execute 方法中的
shardingContext.getJobName()
获取到的就是这个值。

我们这里一共配置了六个属性,我来一一解释下:

  • elastic-job-class:作业的全路径。
  • cron:cron 表达式。
  • sharding-total-count:分片的总数,即有几个实例执行当前定时任务,MyFirstJob#execute 方法中的 shardingContext.getShardingTotalCount() 获取到的就是这个值。
  • overwrite:是否每次启动的时候覆盖之前的配置,如果设置为 false,则如果修改了 cron 表达式等,重启之后不会生效。
  • job-parameter:作业的参数,MyFirstJob#execute 方法中的 shardingContext.getJobParameter() 获取到的就是这个值。
  • sharding-item-parameters:分片的参数,0、1、2 分别表示第几个分片,MyFirstJob#execute 方法中的 shardingContext.getShardingParameter() 获取到的就是这个值。

好啦,现在就配置完成了。

3. 运行

现在我们直接启动 Spring Boot 项目,启动之后,控制台就会打印如下日志:

网络异常,图片无法展示
|

没问题,每隔三秒钟打印一次日志。

现在我们再次启动一个当前项目的实例,勾选 Allow parallel run 就可以启动多个实例(启动新实例时记得修改端口号):

网络异常,图片无法展示
|

当新的实例启动之后,我们发现第一次启动的实例中已经没有打印日志了,转而在第二次启动的实例中打印日志,这就是因为我们配置的 sharding-total-count 为 1,即同一时间只有一个实例中的定时任务在运行。

3. 运维平台

ElasticJob 提供了一个运维平台,可以通过这个平台来动态管理定时任务,运维平台地址:

运维平台使用步骤:

  1. 克隆项目下来:git clone https://github.com/apache/shardingsphere-elasticjob-ui.git
  2. 进入到目录中:cd shardingsphere-elasticjob-ui
  3. 打包:mvn clean package -Prelease
  4. 打包完成后,解压 shardingsphere-elasticjob-ui/shardingsphere-elasticjob-ui-distribution/shardingsphere-elasticjob-lite-ui-bin-distribution/target/apache-shardingsphere-elasticjob-3.1.0-SNAPSHOT-lite-ui-bin.tar.gz 文件,然后执行其 bin 目录下的 startup.sh 脚本启动。

上面第三步打包,由于网络原因很容易出错,所以小伙伴们要是打包失败,可以在公众号江南一点雨后台回复
shardingsphere-elasticjob-ui
,获取松哥打包好的文件。

运维平台启动之后,浏览器输入 http://localhost:8088 就会跳转到登录页面,如下:

网络异常,图片无法展示
|

默认的用户名密码都是 root。

网络异常,图片无法展示
|

注册成功之后,先点击注册中心配置,然后选择添加按钮,先来添加注册中心,添加完注册中心之后,这个运维平台会自动从注册中心上读取定时任务信息:

网络异常,图片无法展示
|

如实填写就行了,注意命名空间千万别写错了,写成了其他的就读取不到定时任务了。

接下来点击连接按钮,建立和 zk 之间的连接:

网络异常,图片无法展示
|

点击作业维度,就可以查看作业的详细信息,包括作业名称、分片总数、cron 表达式等:

网络异常,图片无法展示
|

最后面有四个操作按钮:

  • 修改:修改作业的详细信息,例如修改作业的 cron 表达式。
  • 详情:查看作业的详细信息。
  • 触发:触发作业的执行。
  • 失效:相当于暂停作业的执行,点击失效按钮之后,会出现生效按钮,点击生效按钮,作业可以生效继续执行。
  • 终止:停止该作业。

点击服务器维度,可以查看服务器信息:

网络异常,图片无法展示
|

4. 小结

好啦,今天就通过一个简单的案例,和小伙伴们展示了一下 ElasticJob 的玩法,关于 ElasticJob 的其他玩法,咱们后面有空继续聊~

本文案例下载地址:
https://github.com/lenve/javaboy-code-samples

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
资源调度 Java 调度
Spring Cloud Alibaba 集成分布式定时任务调度功能
定时任务在企业应用中至关重要,常用于异步数据处理、自动化运维等场景。在单体应用中,利用Java的`java.util.Timer`或Spring的`@Scheduled`即可轻松实现。然而,进入微服务架构后,任务可能因多节点并发执行而重复。Spring Cloud Alibaba为此发布了Scheduling模块,提供轻量级、高可用的分布式定时任务解决方案,支持防重复执行、分片运行等功能,并可通过`spring-cloud-starter-alibaba-schedulerx`快速集成。用户可选择基于阿里云SchedulerX托管服务或采用本地开源方案(如ShedLock)
144 1
|
1月前
|
存储 运维 安全
Spring运维之boot项目多环境(yaml 多文件 proerties)及分组管理与开发控制
通过以上措施,可以保证Spring Boot项目的配置管理在专业水准上,并且易于维护和管理,符合搜索引擎收录标准。
44 2
|
2月前
|
SQL JSON Java
mybatis使用三:springboot整合mybatis,使用PageHelper 进行分页操作,并整合swagger2。使用正规的开发模式:定义统一的数据返回格式和请求模块
这篇文章介绍了如何在Spring Boot项目中整合MyBatis和PageHelper进行分页操作,并且集成Swagger2来生成API文档,同时定义了统一的数据返回格式和请求模块。
79 1
mybatis使用三:springboot整合mybatis,使用PageHelper 进行分页操作,并整合swagger2。使用正规的开发模式:定义统一的数据返回格式和请求模块
|
2月前
|
Java BI 调度
Java Spring的定时任务的配置和使用
遵循上述步骤,你就可以在Spring应用中轻松地配置和使用定时任务,满足各种定时处理需求。
166 1
|
2月前
|
存储 Java API
简单两步,Spring Boot 写死的定时任务也能动态设置:技术干货分享
【10月更文挑战第4天】在Spring Boot开发中,定时任务通常通过@Scheduled注解来实现,这种方式简单直接,但存在一个显著的限制:任务的执行时间或频率在编译时就已经确定,无法在运行时动态调整。然而,在实际工作中,我们往往需要根据业务需求或外部条件的变化来动态调整定时任务的执行计划。本文将分享一个简单两步的解决方案,让你的Spring Boot应用中的定时任务也能动态设置,从而满足更灵活的业务需求。
182 4
|
2月前
|
缓存 Java 程序员
Java|SpringBoot 项目开发时,让 FreeMarker 文件编辑后自动更新
在开发过程中,FreeMarker 文件编辑后,每次都需要重启应用才能看到效果,效率非常低下。通过一些配置后,可以让它们免重启自动更新。
40 0
|
2月前
|
缓存 NoSQL Java
Springboot自定义注解+aop实现redis自动清除缓存功能
通过上述步骤,我们不仅实现了一个高度灵活的缓存管理机制,还保证了代码的整洁与可维护性。自定义注解与AOP的结合,让缓存清除逻辑与业务逻辑分离,便于未来的扩展和修改。这种设计模式非常适合需要频繁更新缓存的应用场景,大大提高了开发效率和系统的响应速度。
88 2
|
5月前
|
资源调度 Java 调度
Spring Cloud Alibaba 集成分布式定时任务调度功能
Spring Cloud Alibaba 发布了 Scheduling 任务调度模块 [#3732]提供了一套开源、轻量级、高可用的定时任务解决方案,帮助您快速开发微服务体系下的分布式定时任务。
15058 33
|
4月前
|
Java 开发者 Spring
Spring Boot实战宝典:揭秘定时任务的幕后英雄,让业务处理如流水般顺畅,轻松驾驭时间管理艺术!
【8月更文挑战第29天】在现代应用开发中,定时任务如数据备份、报告生成等至关重要。Spring Boot作为流行的Java框架,凭借其强大的集成能力和简洁的配置方式,为开发者提供了高效的定时任务解决方案。本文详细介绍了如何在Spring Boot项目中启用定时任务支持、编写定时任务方法,并通过实战案例展示了其在业务场景中的应用,同时提供了注意事项以确保任务的正确执行。
59 0
|
4月前
|
Dubbo Java 调度
揭秘!Spring Cloud Alibaba的超级力量——如何轻松驾驭分布式定时任务调度?
【8月更文挑战第20天】在现代微服务架构中,Spring Cloud Alibaba通过集成分布式定时任务调度功能解决了一致性和可靠性挑战。它利用TimerX实现任务的分布式编排与调度,并通过`@SchedulerLock`确保任务不被重复执行。示例代码展示了如何配置定时任务及其分布式锁,以实现每5秒仅由一个节点执行任务,适合构建高可用的微服务系统。
77 0