分布式定时任务 | 青训营笔记

简介: 分布式定时任务 | 青训营笔记

前言

关于分布式定时任务主要解决以下问题

  • 定时任务的分布式架构如何搭建?
  • 如何保证定时任务的稳定性,有效性?
  • 如何保证定时任务在大流量情况下的压力?
  • 如何保证定时任务的可靠性?

技术实现

定时任务分布式架构搭建

  • RabbitMQ:作为消息中间件,维护定时任务的状态,多台机器相互协作完成定时任务。
  • Redis: 作为缓存中间件,可以将任务放入redis缓存,便于统一管理、快速获取执行任务,也可以将某些数据放入缓存,提高查询效率。
  • Zookeeper: 作为注册中心,用来存储定时任务的地址,以及各个定时任务的状态,方便集群管理。

保证定时任务的稳定性

  • 定时任务的执行过程应该是按照一定的时间间隔进行,为了防止定时任务出现延迟,需要在定时任务之前,先进行状态检查,确保定时任务能够按照时间间隔进行。
  • 通过RabbitMQ来消费定时任务,可以保证定时任务的运行不会出现问题,并且可以根据实际情况调整定时任务的执行时间间隔。
  • 通过Redis来存储定时任务的状态,可以保证定时任务的稳定性,并且可以根据实际情况调整定时任务的执行时间间隔。

保证定时任务在大流量情况下的压力

  • 负载均衡: 在定时任务的处理上,采用负载均衡的技术,将定时任务分发给多台机器,以提高系统的处理能力,减轻大流量的压力。
  • 限流: 对定时任务的处理上,采用限流的技术,将定时任务的处理量限制在一定的范围内,以提高系统的稳定性,减轻大流量的压力。

保证定时任务的可靠性

  • 使用分布式事务技术来保证定时任务的可靠性,可以保证定时任务在失败时可以重新执行,以避免定时任务发生错误。
  • 采用容错机制,当定时任务出现错误时,可以重新执行,以保证定时任务的可靠性。


目录
相关文章
|
2月前
|
消息中间件 安全 Java
一起来探究@Schedule定时任务在分布式产生的问题
一起来探究@Schedule定时任务在分布式产生的问题
240 0
|
2月前
|
运维 监控
分布式运维监控平台WGCLOUD 之 【常用命令笔记】
WGCLOUD 在 v3.4.9版本 新增了一个模块【常用命令笔记】
|
3月前
|
NoSQL Java 数据库连接
分布式系列教程(46) -分布式定时任务锁(ShedLock实现)
分布式系列教程(46) -分布式定时任务锁(ShedLock实现)
65 0
值得一看!阿里又杀疯了开源内部“M9”级别全彩版分布式实战笔记
系统架构大致经历了单体应用架构→垂直应用架构→分布式架构→SOA架构→微服务架构的演变
|
4月前
|
存储 Java 关系型数据库
ShedLock的4种使用方式(分布式定时任务锁)
ShedLock的4种使用方式(分布式定时任务锁)
47 0
|
4月前
|
缓存 算法 架构师
阿里P9架构师终于把毕生心血而成的分布式高可用算法笔记开源了
说在前面的话 分布式系统无处不在。 一台计算机内部多个互联的处理器组成了一个分布式系统,它们通过“一致性缓存”算法使每个处理器核心看到相同的数据。近三十年来,随着互联网的发展,越来越多的互联网后台系统采用计算机集群的方式来应对海量请求和数据的需求,这个计算机集群也是分布式系统。 为了简化分布式系统的开发,出现了很多为开发者提供分布式框架的开源项目,例如Apache基金会旗下的ZooKeeper项目就是一个应用广泛的分布式框架。 同时,国内也有很多关于如何使用这些分布式框架来搭建应用的书籍,它们极大地推动了分布式系统在国内的应用。我们不仅要知道如何使用这些现成的分布式框架来搭建应用,而且应
|
5月前
|
缓存 Linux 调度
分布式定时任务
分布式定时任务
分布式定时任务
GitHub上疯传数万次的蚂蚁内部绝密分布式高可用算法笔记太香了
GitHub上疯传数万次的蚂蚁内部绝密分布式高可用算法笔记太香了!! 这份笔记包含10章的内容,每一章都分为若干小节,每个小节里面都包含更多细节化的内容。
|
6月前
|
存储 Java 关系型数据库
分布式定时任务框架Quartz总结和实践(2)—持久化到Mysql数据库
本文主要介绍分布式定时任务框架Quartz集成SpringBoot持久化数据到Mysql数据库的操作,上一篇文章使用Quartz创建定时任务都是保存在内存中,如果服务重启定时任务就会失效,所以Quartz官方也提供将定时任务等信息持久化到Mysql数据库的功能,本文主要实现这种Quartz的这种使用方式。
290 0
分布式定时任务框架Quartz总结和实践(2)—持久化到Mysql数据库
|
6月前
|
SQL 监控 Java
分布式定时任务
在平时的业务场景中,经常有一些场景需要使用定时任务。
207 0