Elastic-job分布式调度系统

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Elastic-job分布式调度系统

一、定时任务实现方式

1、Thread方式

final int timeInterval = 1000;
        Thread thread = new Thread(new Runnable() {
            @Override
            public void run() {
                while (true){
                    try {
                        //每一秒执行一次
                        Thread.sleep(timeInterval);
                        System.out.println("run...");
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
            }
        });
        thread.start();

2、timer方式

 //timer方式
        Timer timer = new Timer();
        timer.schedule(new TimerTask() {
            @Override
            public void run() {
                System.out.println("run1...");
            }
        },1000,2000);//1s后执行 每2s执行一次

3、线程池方式

ScheduledExecutorService scheduled = Executors.newScheduledThreadPool(10);
        scheduled.scheduleAtFixedRate(new Runnable() {
            @Override
            public void run() {
                System.out.println("run3....");
            }
        }, 1, 3, TimeUnit.SECONDS);

4、quarzt

Springboot整合定时任务_程序三两行的博客-CSDN博客

二、分布式调用服务elastic-job

分布式环境下运行定时任务就是分布式调度,同一个任务可能会执行多次,可以通过分布式锁或者zk选举执行解决,对于这种分布式调度出现了调度框架xxl-job,elastic-job等

1、elastic-job概述

Elastic-Job是当当网开源的一个分布式调度解决方案,基于Quartz二次开发的,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。

Elastic-Job-Lite,它定位为轻量级无中心 化解决方案,使用Jar包的形式提供分布式任务的协调服务,而Elastic-Job-Cloud子项目需要结合Mesos以及Docker在云环境下使用。

最新版本是 3.0.1

主要功能介绍

  • 分布式调度协调:在分布式环境中,任务能够按指定的调度策略执行,并且能够避免同一任务多实例重复执行
  • 丰富的调度策略:基于成熟的定时任务作业框架Quartz cron表达式执行定时任务
  • 弹性扩容缩容:当集群中增加某一个实例,它应当也能够被选举并执行任务;当集群减少一个实例时,它所执行的任务能被转移到别的实例来执行。
  • 失效转移:某实例在任务执行失败后,会被转移到其他实例执行
  • 错过执行作业重触发:若因某种原因导致作业错过执行,自动记录错过执行的作业,并在上次作业 完成后自动触发。
  • 支持并行调度:支持任务分片,任务分片是指将一个任务分为多个小任务项在多个实例同时执行。 作业分片一致性 当任务被分片后,保证同一分片在分布式环境中仅一个执行实例。

2、本地部署web界面

下载仓库代码,这里版本是2.1.5,cmd进入D:\idea_workspace\shardingsphere-elasticjob-2.1.5\elastic-job-lite

打包

mvn clean install -Dmaven.test.skip=true

进入

D:\idea_workspace\shardingsphere-elasticjob-2.1.5\elastic-job-lite\elastic-job-lite-console\target

解压刚才打包的压缩包,解压后进入bin目录执行start.bat即可部署

3、入门程序

这里还是使用2版本

首先本地搭建zk环境,zk3.4.6以上版本,查看zk文章 ZooKeeper_程序三两行的博客-CSDN博客_zookeeper版本选择

创建maven项目 导入依赖

<dependency>
      <groupId>com.dangdang</groupId>
      <artifactId>elastic-job-lite-core</artifactId>
      <version>2.1.5</version>
    </dependency>

测试业务方法

/**
 * 定义任务类实现SimpleJob即可,实现execute方法
 */
public class MyTask implements SimpleJob {
    @Override
    public void execute(ShardingContext shardingContext) {
        System.out.println("业务方法开始执行===============");
    }
}

执行

public class App {
    //zk
    private final static String ZK = "localhost:2181";
    //调度任务命名空间 zk中会自动创建的节点
    private final static String NAME_SPACE = "my_job";
 
    public static void main(String[] args) {
        startJob(zkConfig());
    }
 
    //任务启动和配置
    public static void startJob(CoordinatorRegistryCenter registryCenter) {
        //参数String jobName job名称, String cron job表达式, int shardingTotalCount分片数
        JobCoreConfiguration jobCoreConfiguration = JobCoreConfiguration.newBuilder("test-job", "0/3 * * * * ?", 3).build();
        SimpleJobConfiguration jobConfiguration = new SimpleJobConfiguration(jobCoreConfiguration, MyTask.class.getCanonicalName());
        //启动任务 注册中心
        new JobScheduler(registryCenter, LiteJobConfiguration.newBuilder(jobConfiguration).overwrite(true).build()).init();
 
    }
 
    //zk配置以及创建注册中心
    public static CoordinatorRegistryCenter zkConfig() {
        //注册中心zk配置
        ZookeeperConfiguration zookeeperConfiguration = new ZookeeperConfiguration(ZK, NAME_SPACE);
        //减少zk超时时间
        zookeeperConfiguration.setSessionTimeoutMilliseconds(100);
        //创建注册中心
        ZookeeperRegistryCenter registryCenter = new ZookeeperRegistryCenter(zookeeperConfiguration);
        registryCenter.init();
        return registryCenter;
    }
 
}

4、架构

三、Sringboot整合elastic-job

引入依赖

    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
      <version>2.6.8</version>
    </dependency>
    <dependency>
      <groupId>com.dangdang</groupId>
      <artifactId>elastic-job-lite-spring</artifactId>
      <version>2.1.5</version>
    </dependency>



相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
21天前
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
77 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
20天前
|
存储 NoSQL Java
Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
【10月更文挑战第29天】Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
54 1
|
1月前
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
48 3
|
1月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现
消息队列系统中的确认机制在分布式系统中如何实现
|
1月前
|
消息中间件 存储 监控
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
|
1月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
71 2
|
1月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?
|
2月前
|
存储 块存储
ceph分布式存储系统常见术语篇
关于Ceph分布式存储系统的常见术语解释和概述。
114 1
ceph分布式存储系统常见术语篇
|
1月前
|
存储 分布式计算 监控
C# 创建一个分布式文件存储系统需要怎么设计??
C# 创建一个分布式文件存储系统需要怎么设计??
37 0
|
3月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?

热门文章

最新文章

下一篇
无影云桌面