分布式定时任务 | 青训营笔记

简介: 分布式定时任务 | 青训营笔记

前言

关于分布式定时任务主要解决以下问题

  • 定时任务的分布式架构如何搭建?
  • 如何保证定时任务的稳定性,有效性?
  • 如何保证定时任务在大流量情况下的压力?
  • 如何保证定时任务的可靠性?

技术实现

定时任务分布式架构搭建

  • RabbitMQ:作为消息中间件,维护定时任务的状态,多台机器相互协作完成定时任务。
  • Redis: 作为缓存中间件,可以将任务放入redis缓存,便于统一管理、快速获取执行任务,也可以将某些数据放入缓存,提高查询效率。
  • Zookeeper: 作为注册中心,用来存储定时任务的地址,以及各个定时任务的状态,方便集群管理。

保证定时任务的稳定性

  • 定时任务的执行过程应该是按照一定的时间间隔进行,为了防止定时任务出现延迟,需要在定时任务之前,先进行状态检查,确保定时任务能够按照时间间隔进行。
  • 通过RabbitMQ来消费定时任务,可以保证定时任务的运行不会出现问题,并且可以根据实际情况调整定时任务的执行时间间隔。
  • 通过Redis来存储定时任务的状态,可以保证定时任务的稳定性,并且可以根据实际情况调整定时任务的执行时间间隔。

保证定时任务在大流量情况下的压力

  • 负载均衡: 在定时任务的处理上,采用负载均衡的技术,将定时任务分发给多台机器,以提高系统的处理能力,减轻大流量的压力。
  • 限流: 对定时任务的处理上,采用限流的技术,将定时任务的处理量限制在一定的范围内,以提高系统的稳定性,减轻大流量的压力。

保证定时任务的可靠性

  • 使用分布式事务技术来保证定时任务的可靠性,可以保证定时任务在失败时可以重新执行,以避免定时任务发生错误。
  • 采用容错机制,当定时任务出现错误时,可以重新执行,以保证定时任务的可靠性。


目录
相关文章
|
1月前
|
监控 负载均衡 Dubbo
|
1月前
|
Java BI 调度
Spring Boot 整合xxl-job实现分布式定时任务
XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头。
|
1月前
|
达摩院 Java Apache
惊动“达摩院”的分布式架构笔记:火于互联网,据说来自于清华
一个星期前,一本Java架构笔记突然在互联网上爆火。因为内容的深度和广度,甚至连阿里最牛的研发中心都被惊动了,而且作者一周后直接被阿里挖走后定级P8,据说作者来自于清华。
|
1月前
|
Java 调度 Docker
Spring Boot 3 整合 xxl-job 实现分布式定时任务调度,结合 Docker 容器化部署(图文指南)
Spring Boot 3 整合 xxl-job 实现分布式定时任务调度,结合 Docker 容器化部署(图文指南)
Spring Boot 3 整合 xxl-job 实现分布式定时任务调度,结合 Docker 容器化部署(图文指南)
|
1月前
|
Dubbo Java 应用服务中间件
已跪,Java全能笔记爆火,分布式/开源框架/微服务/性能调优全有
程序员,立之根本还是技术,一个程序员的好坏,虽然不能完全用技术强弱来判断,但是技术水平一定是基础,技术差的程序员只能CRUD,技术不深的程序员也成不了架构师。程序员对于技术的掌握,除了从了解-熟悉-熟练-精通的过程以外,还应该从基础出发,到进阶,到源码,到实战。所以,程序员想要成功,首先要成就自己。
|
1月前
|
Java 数据库连接 应用服务中间件
32天高效突击:框架+性能优化+微服务+分布式,笔记面试全有
今年似乎因为疫情影响,时间过得特别快,对于需要跳槽换工作的人来,更觉得有些突然,似乎金三银四和金九银四还没开始准备好,就匆匆过去。加上今年的大环境不佳,所以大部分的人在今年的招聘旺季都没有收获到好的结果。
|
6月前
|
运维 监控
分布式运维监控平台WGCLOUD 之 【常用命令笔记】
WGCLOUD 在 v3.4.9版本 新增了一个模块【常用命令笔记】
|
1月前
|
消息中间件 安全 Java
一起来探究@Schedule定时任务在分布式产生的问题
一起来探究@Schedule定时任务在分布式产生的问题
304 0
|
1月前
|
存储 NoSQL Redis
黑马点评笔记 分布式锁(二)
黑马点评笔记 分布式锁
57 0
|
1月前
|
NoSQL 安全 关系型数据库
黑马点评笔记 分布式锁(一)
黑马点评笔记 分布式锁
72 0

热门文章

最新文章