新一代 Cron-Job 分布式任务调度平台 正式发布!

简介: 简单易用、超低延迟,支持用户权限管理、多语言客户端和多租户接入的分布式任务调度平台。支持任何Cron表达式的任务调度,支持常用的分片和随机策略;支持失败丢弃、失败重试的失败策略;支持动态任务参数。

👉项目官网:https://cronjob.horace.cn

👉Gitee仓库:https://gitee.com/horacedh/cron-job

👉GitHub仓库:https://github.com/horacedh/cron-job


一、为什么需要分布式任务调度平台?

有一个场景,需要每天凌晨1点执行一次统计任务,一般情况下是使用分布式锁(Redis、ZK、MySQL)等方式,保证同一时刻只有一个任务执行。整个应用中如果有多个这类任务则需要重复维护,如果扩大到整个公司的业务来看,效率将是低下的,并且以下诉求很难得到满足:

  • 不支持任务参数的动态调整,例如某类任务需要根据特定参数做一些特性化事情的时候。
  • 不支持分片任务,例如某类任务需要处理的数据量很大,需要分片处理,多个系统之间的协调也是难点。
  • 较难失败重试,或失效转移,例如执行失败之后,需要重试或转移到其他节点执行。
  • 任务执行数据难以统计,任务的执行的耗时、失败次数、执行次数等,都难以统计。
  • 不支持任务的停止,例如在机房迁移等一些场景,需要暂时性的停止任务。
  • 但是 Cron-Job 可以很好的解决这些问题,并且接入简单、超低延迟、可靠性高,使用起来非常方便。


二、Cron-Job的核心优势

1. 简单易用

  • 部署简单、接入简单,只需要简单几步,即可轻松地将应用接入到 Cron-Job 分布式任务调度平台。
  • 支持任何Cron表达式的任务调度,支持常用的分片和随机策略;支持失败丢弃、失败重试的失败策略;支持动态任务参数。

2. 毫秒级的调度延迟

  • 基于提前调度策略,抹平服务器时间差、网络延迟等因素,使任务的执行更加及时,实际测试为个位数毫秒级别(执行器的GC和性能)。
  • 基于ACK确认、失败重试、过期调度等策略,使任务的执行更加准确、可靠,当然也可以通过配置不要失败重试。

3. 多租户支持

对于多业务线的企业,只需要部署一套任务调度平台,即可支撑多业务接入,且业务线权限之间互不干扰。

4. 用户体验与效率

  • 用户的接入更加简单,只需要代码上打上注解,就可以完成自动注册,不需要额外的配置,只需要点击开始即可。
  • 管理后台UI更加精美简洁,并优化了管理后台的交互逻辑,理解和使用更加简单。
  • 更加全面且有结构化的官方文档,尽可能让用户一目了然,自主接入和部署。

5. 增强横向扩展能力

  • 多租户的接入能力,只需要部署一套调度平台,即可接入公司内所有业务线。
  • 横向扩展的能力,支持集群多节点部署,即可支持更大的并发量和任务量。

6. 更安全的管理后台

  • 精心设计权限管理的功能,可控制到接口的权限级别,任务的安全性更加可靠,多租户间权限隔离。
  • 后台管理接口的交互、执行器和调度器之间的OpenApi交互,均采用签名校验机制,避免参数篡改、伪造和重放等问题。

7. 更高效的问题排查效率

管理后台提供更多维度的日志详情,能够帮助用户更好的理解任务的执行情况,并且能够更好的排查问题。


三、Cron-Job的架构

1. 模块架构

module_arch.png

2. 部署架构

deploy_arch.png

四、原生Java接入

1. 引入maven依赖

<!--
同时提供有Gradle等各类依赖类型 
https://mvnrepository.com/artifact/cn.horace.cronjob/cronjob-executor 
-->
<dependency>
    <groupId>cn.horace.cronjob</groupId>
    <artifactId>cronjob-executor</artifactId>
    <version>最新版本</version>
</dependency>

2. 实现任务处理接口

/**
 * 演示任务
 * Created in 2025-01-01 10:44.
 *
 * @author Horace
 */
@TaskConfig(name = "普通测试任务", cron = "* * * * * ? ", routerStrategy = RouterStrategy.RANDOM)
public class DemoCronTask implements TaskHandler {
    private static final Logger logger = LoggerFactory.getLogger(DemoCronTask.class);
    /**
     * 执行任务的方法
     *
     * @param params 任务参数
     * @return 任务执行结果,如果执行成功,则返回HandlerResult.success(),如果执行失败,则返回HandlerResult.fail(),返回null,也判定是失败
     */
    @Override
    public HandlerResult handle(TaskParams params) {
        logger.info("task handler..., params:{}", params);
        Random random = new Random();
        int delay = random.nextInt(50);
        LockSupport.parkNanos(TimeUnit.MILLISECONDS.toNanos(delay));
        return HandlerResult.success();
    }
}

3. 新建启动类

/**
 * 示例执行器
 * <p>
 *  * @author Horace
 */
public class ExampleExecutor {
    private static final Logger logger = LoggerFactory.getLogger(ExampleExecutor.class);
    public static void main(String[] args) {
        ArrayList<Object> taskObjects = new ArrayList<>();
        taskObjects.add(new DemoCronTask());
        
        ExecutorConfig config = ExecutorConfig.Builder.newBuilder(taskObjects)
                .address("http://127.0.0.1:9527")
                .tenant("horace")
                .appName("example-executor")
                .appDesc("普通示例执行器")
                .tag("common")
                .signKey("7d890a079948b196756rtf5452d2245t")
                .build();
        CronJobExecutorClient.init(config).start();
    }
}
  • address:这里指定的是调度器的地址,如果是本地单节点测试,则指定地址+端口的方式是;如果是线上集群部署,则指定的是Nginx地址。
  • tenant:租户的代码,一般是租户的英文名称。
  • appName:应用名称,一般是应用的英文名称。
  • appDesc:应用描述,应用的中文描述,后续在管理平台中可以看到。
  • tag:标签,用于区分同个应用下的不同执行器,如无需求,则不配置即可。
  • signKey:签名密钥,用于验证执行器的身份,必须和调度器配置的签名密钥一致。

五、SprintBoot版本接入

1. 引入maven依赖

<!--
同时提供有Gradle等各类依赖类型 
https://mvnrepository.com/artifact/cn.horace.cronjob/cronjob-executor-starter 
-->
<dependency>
    <groupId>cn.horace.cronjob</groupId>
    <artifactId>cronjob-executor-starter</artifactId>
    <version>最新版本</version>
</dependency>

2. 实现任务处理接口

/**
 * 演示任务
 *
 * @author Horace
 */
@Component
@TaskConfig(name = "Spring测试任务", cron = "* * * * * ? ", routerStrategy = RouterStrategy.RANDOM)
public class DemoCronTask implements TaskHandler {
    private static final Logger logger = LoggerFactory.getLogger(DemoCronTask.class);
    /**
     * 执行任务的方法
     *
     * @param params 任务参数
     * @return 任务执行结果,如果执行成功,则返回HandlerResult.success(),如果执行失败,则返回HandlerResult.fail(),返回null,也判定是失败
     */
    @Override
    public HandlerResult handle(TaskParams params) {
        logger.info("task handler..., params:{}", params);
        Random random = new Random();
        int delay = random.nextInt(200);
        LockSupport.parkNanos(TimeUnit.MILLISECONDS.toNanos(delay));
        return HandlerResult.success();
    }
}

注意:这里的任务类一定要打上Spring的注解,可以是@Component,把对象实例交给Spring管理。

3. 新建配置类

/**
 * Created in 2025-01-01 21:00.
 *
 * @author Horace
 */
@Configuration
public class AppConfig {
    private static final Logger logger = LoggerFactory.getLogger(AppConfig.class);
    /**
     * 自定义配置
     *
     * @return
     */
    @Bean
    public ExecutorStarterConfig cronJobExecutorStarterConfig() {
        ExecutorStarterConfig config = new ExecutorStarterConfig();
        config.setAddress("http://127.0.0.1:9527");
        config.setTenant("horace");
        config.setAppName("example-executor-starter");
        config.setAppDesc("Spring示例执行器");
        config.setTag("common");
        config.setSignKey("7d890a079948b196756rtf5452d2245t");
        return config;
    }
}

4. 新建启动类

/**
 * Created in 2025-01-01 21:00.
 *
 * @author Horace
 */
@EnableCronJob
@SpringBootApplication
public class ExampleSpringExecutor {
    private static final Logger logger = LoggerFactory.getLogger(ExampleSpringExecutor.class);
    public static void main(String[] args) {
        SpringApplication.run(ExampleSpringExecutor.class, args);
    }
}

注意:需要在启动类上加上@EnableCronJob注解,开启CronJob的自动配置。


放一张调度平台首页的图片~


👉项目官网:https://cronjob.horace.cn

👉Gitee仓库:https://gitee.com/horacedh/cron-job

👉GitHub仓库:https://github.com/horacedh/cron-job

目录
相关文章
|
8月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
594 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
8月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
258 12
|
4月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
452 4
|
11月前
|
Java 关系型数据库 MySQL
新一代 Cron-Job分布式任务调度平台 部署指南
简单易用、超低延迟,支持用户权限管理、多语言客户端和多租户接入的分布式任务调度平台。 支持任何Cron表达式的任务调度,支持常用的分片和随机策略;支持失败丢弃、失败重试的失败策略;支持动态任务参数。
382 104
|
7月前
|
运维 监控 Linux
WGCLOUD运维平台的分布式计划任务功能介绍
WGCLOUD是一款免费开源的运维监控平台,支持主机与服务器性能监控,具备实时告警和自愈功能。本文重点介绍其计划任务功能模块,可统一管理Linux和Windows主机的定时任务。相比手动配置crontab或Windows任务计划,WGCLOUD提供直观界面,通过添加cron表达式、执行指令或脚本并选择主机,即可轻松完成任务设置,大幅提升多主机任务管理效率。
|
9月前
|
SQL 监控 Go
新一代 Cron-Job分布式调度平台,v1.0.8版本发布,支持Go执行器SDK!
现代化的Cron-Job分布式任务调度平台,支持Go语言执行器SDK,多项核心优势优于其他调度平台。
209 8
|
存储 监控 固态存储
【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN 分布式存储虚拟化平台VMDK文件1KB问题数据恢复案例
在一例vSAN分布式存储故障中,因替换故障闪存盘后磁盘组失效,一台采用RAID0策略且未使用置备的虚拟机VMDK文件受损,仅余1KB大小。经分析发现,该VMDK文件与内部虚拟对象关联失效导致。恢复方案包括定位虚拟对象及组件的具体物理位置,解析分配空间,并手动重组RAID0结构以恢复数据。此案例强调了深入理解vSAN分布式存储机制的重要性,以及定制化数据恢复方案的有效性。
373 5
|
机器学习/深度学习 人工智能 Shell
人工智能平台PAI操作报错合集之在分布式训练过程中遇到报错,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
10月前
|
数据采集 监控 数据可视化
11.7K Star!这个分布式爬虫管理平台让多语言协作如此简单!
分布式爬虫管理平台Crawlab,支持任何编程语言和框架的爬虫管理,提供可视化界面、任务调度、日志监控等企业级功能,让爬虫开发管理效率提升300%!
431 1
|
10月前
|
测试技术 调度
新一代 Cron-Job分布式调度平台,v1.0.5版本发布!
增加标签路由能力和多项功能优化!其中Tag标签路由的功能,测试环境多迭代场景下,可通过给任务配置Tag标签,实现任务路由到不同的执行器上。
137 0

热门文章

最新文章