死磕xxl-job(一)

简介: 死磕xxl-job(一)

1:概述

xxl-job是一个分布式任务调度平台,其核心设计目标是开发迅速,学习简单,轻量级,易扩展,现已开放源代码并接入多家公司线上产品线,开箱即用。很多公司也在xxl-job上做了二次开发。

1.1:单体任务调度框架

项目中比如对账单,日结,月结,放单短信,营销类短信,等场景都需要任务调度,单体系统中有许多任务调度的方式:比如多线程方式:在多线程中对时间的控制,间隔的去触发任务。Timer类,SpringBoot:SpringTasks(通过@EnableScheduling+@Scheduled的注解可以自定义定时任务等).

但是,在集群服务下,如果还是使用每台机器按照单体系统的任务调度实现方式实现的话,会出现下面的问题:

①、怎么做到对任务的控制(如何避免任务的重复的执行,单体项目集群部署,会重复执行)。

②、如果某台机器宕机了,会不会任务丢失。

③、如果要增加服务实例,怎么做到弹性扩容

④、如何做到对任务调度的执行情况统一监控。

⑤、如何做到高可用。

⑥、如何做到动态配置。

⑦、如何实现任务分片执行。

1.2、分布式任务调度框架

分布式任务调度的框架可以选择有:quartz,elastic-job,xxl-job

功能 quartz
elastic-job
xxl-job
HA(高可用) 多节点部署,通过数据库锁来保证只有一个节点来执行任务
通过zookeeper的注册和发现,可以动态实现添加服务器,支持水平扩展
集群部署
任务分片
不支持
支持
支持
文档完善
完善
完善 完善
管理界面 没有


难易程度 简单
较复杂
简单
公司
OpenSymphony
当当网
个人
缺点
没有管理界面;不支持分片;不适用于分布式场景
需要引入zookeeper;增加系统复杂度;通过获取zk分布式锁的方式
通过获取数据库锁的方式,保证集群中执行的任务的唯一性,性能不好。

quartz和xxl-job的对比

①、quartz采用api的方式调用任务,quartz不方便,但是xxl-job使用的是管理界面。

②、quartz比xxl-job代码侵入更强。

③、quartz调度逻辑和QuartzJobBean耦合在一个项目中,当任务增多,逻辑复杂的时候,性能会受到影响。

④、quartz底层以抢占式获取db锁并且抢占成功的节点运行,导致节点负载悬殊非常大;xxl-job通过执行器实现协同分配式运行任务,各个节点比较均衡。

相关文章
|
8天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
4天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2464 14
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
4天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1503 14
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
1月前
|
运维 Cloud Native Devops
一线实战:运维人少,我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作,选择了阿里云云效作为 DevOps 解决方案。通过云效,实现了从 0 开始,到现在近百个微服务、数百条流水线与应用交付的全面覆盖,有效支撑了敏捷开发流程。
19274 29
|
1月前
|
人工智能 自然语言处理 搜索推荐
阿里云Elasticsearch AI搜索实践
本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。
18822 20
|
1月前
|
Rust Apache 对象存储
Apache Paimon V0.9最新进展
Apache Paimon V0.9 版本即将发布,此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长,已成为Apache顶级项目,并广泛应用于阿里集团内外的多家企业。
17515 13
Apache Paimon V0.9最新进展
|
6天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
368 11
|
1月前
|
存储 人工智能 前端开发
AI 网关零代码解决 AI 幻觉问题
本文主要介绍了 AI Agent 的背景,概念,探讨了 AI Agent 网关插件的使用方法,效果以及实现原理。
18697 16
|
2天前
|
算法 Java
JAVA并发编程系列(8)CountDownLatch核心原理
面试中的编程题目“模拟拼团”,我们通过使用CountDownLatch来实现多线程条件下的拼团逻辑。此外,深入解析了CountDownLatch的核心原理及其内部实现机制,特别是`await()`方法的具体工作流程。通过详细分析源码与内部结构,帮助读者更好地理解并发编程的关键概念。
|
2天前
|
SQL 监控 druid
Druid连接池学习
Druid学习笔记,使用Druid进行密码加密。参考文档:https://github.com/alibaba/druid
195 82