死磕xxl-job(一)

简介: 死磕xxl-job(一)

1:概述

xxl-job是一个分布式任务调度平台,其核心设计目标是开发迅速,学习简单,轻量级,易扩展,现已开放源代码并接入多家公司线上产品线,开箱即用。很多公司也在xxl-job上做了二次开发。

1.1:单体任务调度框架

项目中比如对账单,日结,月结,放单短信,营销类短信,等场景都需要任务调度,单体系统中有许多任务调度的方式:比如多线程方式:在多线程中对时间的控制,间隔的去触发任务。Timer类,SpringBoot:SpringTasks(通过@EnableScheduling+@Scheduled的注解可以自定义定时任务等).

但是,在集群服务下,如果还是使用每台机器按照单体系统的任务调度实现方式实现的话,会出现下面的问题:

①、怎么做到对任务的控制(如何避免任务的重复的执行,单体项目集群部署,会重复执行)。

②、如果某台机器宕机了,会不会任务丢失。

③、如果要增加服务实例,怎么做到弹性扩容

④、如何做到对任务调度的执行情况统一监控。

⑤、如何做到高可用。

⑥、如何做到动态配置。

⑦、如何实现任务分片执行。

1.2、分布式任务调度框架

分布式任务调度的框架可以选择有:quartz,elastic-job,xxl-job

功能 quartz
elastic-job
xxl-job
HA(高可用) 多节点部署,通过数据库锁来保证只有一个节点来执行任务
通过zookeeper的注册和发现,可以动态实现添加服务器,支持水平扩展
集群部署
任务分片
不支持
支持
支持
文档完善
完善
完善 完善
管理界面 没有


难易程度 简单
较复杂
简单
公司
OpenSymphony
当当网
个人
缺点
没有管理界面;不支持分片;不适用于分布式场景
需要引入zookeeper;增加系统复杂度;通过获取zk分布式锁的方式
通过获取数据库锁的方式,保证集群中执行的任务的唯一性,性能不好。

quartz和xxl-job的对比

①、quartz采用api的方式调用任务,quartz不方便,但是xxl-job使用的是管理界面。

②、quartz比xxl-job代码侵入更强。

③、quartz调度逻辑和QuartzJobBean耦合在一个项目中,当任务增多,逻辑复杂的时候,性能会受到影响。

④、quartz底层以抢占式获取db锁并且抢占成功的节点运行,导致节点负载悬殊非常大;xxl-job通过执行器实现协同分配式运行任务,各个节点比较均衡。

相关文章
|
存储 Java BI
XXL-JOB定时任务知识点和应用实例
XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。该处只是介绍xxl_job的一下基础知识和使用的实例,具体的安装调试请参照对应的最新的官方文档,中文开源地址:https://www.xuxueli.com/xxl-job
3648 0
|
3月前
|
资源调度 流计算 Docker
死磕flink(七)
死磕flink(七)
|
3月前
|
SQL Shell 数据库连接
死磕xxl-job(二)
死磕xxl-job(二)
|
3月前
|
数据采集 SQL JSON
《花100块做个摸鱼小网站! 》第五篇—通过xxl-job定时获取热搜数据
本文介绍了使用XXL-Job组件优化热搜数据定时更新的方法,实现了包括阿里云服务器部署、代码库下载、表结构初始化及启动等步骤,并详细展示了如何通过注解配置爬虫任务。文中通过具体示例(如抖音热搜)展示了如何将`@Scheduled`注解替换为`@XxlJob`注解,实现更灵活的任务调度。此外,还优化了前端展示,增加了热搜更新时间显示,并提供了B站热搜爬虫的实现方案。通过这些改进,使得热搜组件不仅功能完善,而且更加美观实用。详细代码可在作者提供的代码仓库中查看。
40 7
|
3月前
|
SQL 算法 API
死磕flink(三)
死磕flink(三)
|
3月前
|
消息中间件 存储 API
死磕flink(六)
死磕flink(六)
|
3月前
|
分布式计算 大数据 数据处理
死磕Flink(一)
死磕Flink(一)
|
3月前
|
SQL 资源调度 Kubernetes
死磕flink(五)
死磕flink(五)
|
3月前
|
存储 分布式计算 大数据
死磕Flink(二)
死磕Flink(二)
|
3月前
|
流计算 Docker 容器
死磕flink(八)
死磕flink(八)

相关实验场景

更多