Easy Task —— 强大而简单的分布式任务调度平台

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

Easy Task 概述

github: https://github.com/cehome-com/easy-task
简单易用的分布式任务调度平台。来源于淘宝彩票调度平台,并先后在淘宝内容抓取平台和铁甲二手机任务调度平台中使用。具有如下特点:

  • 去中心化。
  • 支持上百台不同业务的应用服务器接入。任务在每个应用上独立执行,充分利用应用本身资源。
  • 故障转移。应用如有多台执行机器,一台机器挂掉,其上的任务会切到其它机器。
  • 管理控制台统一对任务修改、启动、停止等。控制台挂掉不影响任务的执行。
  • 可以在线查看任务日志,实时了解任务执行情况。

架构图

快速体验

下载并启动一个控制台。控制台同时也是worker,也能执行任务,缺省会启动一个内置的demoPlugin任务。

  • 下载并启动

1)方式一:到release中下载或直接下载可执行jar包 https://github.com/cehome-com/resource/raw/master/easy-task/2.0.3/task-console.jar

然后执行命令启动: java -jar task-console.jar

2) 方式二:直接剪出task-console spring boot代码模块,导入IDE中,执行com.cehome.task.console.TaskConsoleApplication启动。

如果你想快速部署一套简单可用的调度系统,可以采用方式二,在task-console代码里面添加插件,并部署使用。

如果你有多个应用,想接入调度平台,采用方式一,部署的console只做管理,不做任务执行。

demo图

  • 点击“查看日志”按钮,可以看到任务执行日志(如果没有,可以停10秒再刷新一下)
  • 点击“修改”查看或修改任务配置。系统基于spring,Bean名称“demoPlugin"就是内置的一个spring bean。
  • 点击“停止”可以停止任务。

注:

1)控制台缺省内置了一个H2数据库(端口9092)来保存任务配置。你也可以采用外部H2或mysql数据库。

2)采用方式二剪出task-console代码模块,例子中的demoPlugin对应类为com.cehome.task.console.DemoPlugin,你可以直接修改此插件。

模拟客户端应用(worker)接入调度平台

实际使用中,console只是管理任务,不执行任务,任务是在客户端应用中执行的。下面模拟app1和app2两个应用接入调度平台。为了方便,还是用task-console.jar来模拟。执行前,先保证上面的console还在运行状态。

  • 启动另一个命令行窗口,执行如下命令启动app1(端口为8091)

java -jar task-console.jar --task.factory.appName=app1 --server.port=8091

-启动另一个命令行窗口,执行如下命令启动app2, (端口为8092)

java -jar task-console.jar --task.factory.appName=app2 --server.port=8092

  • 访问http://localhost:8080 ,点击列表中demo的“修改”按钮,弹出修改界面,点击“应用”下拉框,应该能看到app1、app2也在里面,选择app2,然后保存并关闭。
  • 观察app2的命令行输出窗口,发现demo已经转移到在app2中执行了。

现有spring boot应用接入调度平台

以 task-spring-boot-client-demo 模块来说明spring boot应用如何接入调度平台。

  • 增加依赖
        <dependency>
            <groupId>com.cehome</groupId>
            <artifactId>task</artifactId>
            <version>2.0.3</version>
        </dependency>
  • 加入@EnableTimeTaskClient注解
package com.cehome.task.client.demo;

import com.cehome.task.annotation.EnableTimeTaskClient;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
@EnableTimeTaskClient
public class BootApplication {
    public static void main(String[] args) {
        SpringApplication.run(BootApplication.class,args);
    }

}
  • 修改配置信息application.properties

需求配置的信息说明:

task.factory.appName - 应用名称,不同应用应该不一样。

task.factory.name - 集群名称,同时也是数据库表名,定了以后不要随意改动。
task.datasource.* 配置数据库信息,支持H2和mysql数据库,建议生产环境使用mysql数据库。

task.log.path - logback任务日志输出路径。
task.log.packages - 任务执行类所在包名,记录日志用。多个包名用半角分号隔开。如果不好确定,就用ROOT根日志。

spring.application.name=boot-client-demo
server.port=8081

#------  main options --------
#应用的名称
task.factory.appName=boot-client-demo
#集群名称(同时也是数据库表名)
task.factory.name=easy_task

#h2数据库配置
task.datasource.driverClassName=org.h2.Driver
task.datasource.url=jdbc:h2:tcp://localhost:9092/~/easy_task_db;MODE=MYSQL
task.datasource.username=sa
task.datasource.password=

#------  client options --------
task.log.packages=ROOT
task.log.path=/logs/easy_task/boot_demo
  • 开发任务插件

任务插件可以继承com.cehome.task.client.TimeTaskPlugin,由于执行方法是run()是固定的,在console配置任务信息时候就可以不指定方法名。stop()方法会在点击停止任务时候触发,代码应用停止任务执行和释放必要的资源。

package com.cehome.task.client.demo;

import com.alibaba.fastjson.JSONObject;
import com.cehome.task.client.TimeTaskContext;
import com.cehome.task.client.TimeTaskPlugin;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

import java.net.Inet4Address;

@Component
public class BootDemoPlugin extends TimeTaskPlugin {
    private static final Logger logger = LoggerFactory.getLogger(BootDemoPlugin.class);
    @Override
    public void run(TimeTaskContext context, JSONObject args) throws Exception {
        logger.info("plugin class name="+this);
        logger.info("task id="+context.getId()+",name="+context.getName());
        logger.info("task run on ip="+ Inet4Address.getLocalHost().getHostAddress());
        logger.info("task run count="+context.getRunTimes());
    }

    @Override
    public void stop(TimeTaskContext context) throws Exception {
        logger.info("task "+context.getName()+" is stopped ");
    }
}


任务插件也可以是普通的spring bean,但在console配置任务信息时候,需要指定要执行的方法。

  • 启动应用task-spring-boot-client-demo
  • 访问http://localhost:8080 (确保控制台是启动状态的),点击“添加”任务,
    “应用”选择“boot-client-demo”;计划时间填5s(5秒);Bean名称跟上面开发插件一致,填写“bootDemoPlugin”;其它必填字段自己随意。

添加任务

  • 保存并关闭,点击“启动”,然后过10多秒钟点击“查看”日志,如果看到“task run……”日志,说明一切正常。
    -

现有spring mvc应用接入调度平台

以 task-spring-mvc-client-demo 模块来说明。

  • 增加依赖
        <dependency>
            <groupId>com.cehome</groupId>
            <artifactId>task</artifactId>
            <version>2.0.3</version>
        </dependency>
  • spring xml中导入bean:
<import resource="classpath*:task-client-spring-config.xml"></import>
  • 在spring xml 中引入配置信息spring/config.properties
  <context:annotation-config/>
<context:property-placeholder location="classpath*:spring/config.properties"/>
  • 在对应的spring/config.properties添加配置信息:

task.factory.appName - 应用名称,不同应用应该不一样。

task.factory.name - 集群名称,同时也是数据库表名,定了以后不要随意改动。
task.datasource.* 配置数据库信息,支持H2和mysql数据库,建议生产环境使用mysql数据库。

task.log.path - logback任务日志输出路径。
task.log.packages - 任务执行类所在包名,记录日志用。多个包名用半角分号隔开。如果不好确定,就用ROOT根日志。

task.factory.appName=mvc-client-demo
task.factory.name=easy_task

#h2
task.datasource.driverClassName=org.h2.Driver
task.datasource.url=jdbc:h2:tcp://localhost:9092/~/easy_task_db;MODE=MYSQL
task.datasource.username=sa
task.datasource.password=

#------  client options --------
task.log.packages=com.cehome.task.client.demo
task.log.path=/logs/easy_task/mvc_demo

  • 在spring mvc xml配置远程在线日志查看的controller。 不配这个controller则console无法在线连接到应用查看日志。

    <context:component-scan
            base-package="com.cehome.task.client.controller"/>
    <mvc:annotation-driven />
  • 开发任务插件

任务插件可以继承com.cehome.task.client.TimeTaskPlugin,由于执行方法是run()是固定的,在console配置任务信息时候就可以不配置。stop()方法会在点击停止任务时候触发,代码应用停止任务执行和释放必要的资源。

package com.cehome.task.client.demo;

import com.alibaba.fastjson.JSONObject;
import com.cehome.task.client.TimeTaskContext;
import com.cehome.task.client.TimeTaskPlugin;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

import java.net.Inet4Address;

@Component
public class MvcDemoPlugin extends TimeTaskPlugin {
    private static final Logger logger = LoggerFactory.getLogger(MvcDemoPlugin.class);
    @Override
    public void run(TimeTaskContext context, JSONObject args) throws Exception {
        logger.info("plugin class name="+this);
        logger.info("task id="+context.getId()+"task name="+context.getName());
        logger.info("task run on ip="+ Inet4Address.getLocalHost().getHostAddress());
        logger.info("task run count="+context.getRunTimes());
    }

   @Override
    public void stop(TimeTaskContext context) throws Exception {
        logger.info("task "+context.getName()+" is stopped ");
    }
}


任务插件也可以是普通的spring bean,但在console配置任务信息时候,需要指定要执行的方法。

  • 在spring xml 加入插件的扫描路径
   <context:component-scan  base-package="com.cehome.task.client.demo"/>
  • 启动应用task-spring-mvc-client-demo
  • 访问console(不是mvc-demo)http://localhost:8080 (确保控制台是启动状态的),点击“添加”任务,
    应用选择“mvc-client-demo”;计划时间填5s(5秒);Bean名称跟上面开发插件一致,填写“mvcDemoPlugin”;其它必填字段自己随意。
  • 保存并关闭,点击“启动”,然后过10多秒钟点击“查看”日志,如果看到“task run……”日志,说明一切正常。

使用外部数据库

缺省的情况下,console会启动一个内部的数据库,生产环境建议用外部数据库。还是以H2数据库来说明:

  • 启动H2数据库

http://www.h2database.com/html/download.html 下载h2 数据库并解压,进入bin目录,执行命令启动数据库(9092是数据库访问端口)。

java -cp h2*.jar org.h2.tools.Server -tcpPort 9092 -tcpAllowOthers -webPort 8082 -webAllowOthers

  • 修改console或client数据库配置信息

task.datasource.driverClassName=org.h2.Driver
task.datasource.url=jdbc:h2:tcp://192.168.0.10:9092/~/easy_task_db;MODE=MYSQL
task.datasource.username=sa
task.datasource.password=

如果是console,可以修改task.h2.start=false 表示禁用内部数据库

task.h2.start=false

mysql数据库配置参考

task.datasource.driverClassName=com.mysql.jdbc.Driver
task.datasource.url=jdbc:mysql://192.168.0.13:3306/scheduler?useUnicode=true&characterEncoding=utf8&allowMultiQueries=true
task.datasource.username=root
task.datasource.password=123456

最佳实践建议

  • 独立mysql数据库
  • console 至少两个node
  • 若干应用,每个应用至少保持两个node
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
4月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
330 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
3天前
|
负载均衡 算法 调度
基于遗传算法的新的异构分布式系统任务调度算法研究(Matlab代码实现)
基于遗传算法的新的异构分布式系统任务调度算法研究(Matlab代码实现)
56 11
|
4月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
164 11
|
4天前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
43 4
|
7月前
|
Java 关系型数据库 MySQL
新一代 Cron-Job分布式任务调度平台 部署指南
简单易用、超低延迟,支持用户权限管理、多语言客户端和多租户接入的分布式任务调度平台。 支持任何Cron表达式的任务调度,支持常用的分片和随机策略;支持失败丢弃、失败重试的失败策略;支持动态任务参数。
216 103
|
7月前
|
Java 调度 Maven
新一代 Cron-Job 分布式任务调度平台 正式发布!
简单易用、超低延迟,支持用户权限管理、多语言客户端和多租户接入的分布式任务调度平台。 支持任何Cron表达式的任务调度,支持常用的分片和随机策略;支持失败丢弃、失败重试的失败策略;支持动态任务参数。
321 101
|
3月前
|
运维 监控 Linux
WGCLOUD运维平台的分布式计划任务功能介绍
WGCLOUD是一款免费开源的运维监控平台,支持主机与服务器性能监控,具备实时告警和自愈功能。本文重点介绍其计划任务功能模块,可统一管理Linux和Windows主机的定时任务。相比手动配置crontab或Windows任务计划,WGCLOUD提供直观界面,通过添加cron表达式、执行指令或脚本并选择主机,即可轻松完成任务设置,大幅提升多主机任务管理效率。
|
5月前
|
SQL 监控 Go
新一代 Cron-Job分布式调度平台,v1.0.8版本发布,支持Go执行器SDK!
现代化的Cron-Job分布式任务调度平台,支持Go语言执行器SDK,多项核心优势优于其他调度平台。
96 8
|
6月前
|
数据采集 监控 数据可视化
11.7K Star!这个分布式爬虫管理平台让多语言协作如此简单!
分布式爬虫管理平台Crawlab,支持任何编程语言和框架的爬虫管理,提供可视化界面、任务调度、日志监控等企业级功能,让爬虫开发管理效率提升300%!
195 1
|
6月前
|
测试技术 调度
新一代 Cron-Job分布式调度平台,v1.0.5版本发布!
增加标签路由能力和多项功能优化!其中Tag标签路由的功能,测试环境多迭代场景下,可通过给任务配置Tag标签,实现任务路由到不同的执行器上。
67 0

热门文章

最新文章