推荐一款任务调度的开源方案

简介: 在平时的工作中,我们多多少少会有一些定时任务需要处理,有些是在每个服务器上单独部署,有些是在中控端部署,但是这样有一个缺点就是难以形成闭环,我们不知道我们的定时任务是否执行成功,如果需要做信息统计,这个工作量还是蛮大的。

在平时的工作中,我们多多少少会有一些定时任务需要处理,有些是在每个服务器上单独部署,有些是在中控端部署,但是这样有一个缺点就是难以形成闭环,我们不知道我们的定时任务是否执行成功,如果需要做信息统计,这个工作量还是蛮大的。

简单来说,就是下面的痛点了:

  • 需要在每台linux服务器的crontab里一一定义任务

  • 任务的执行监控太不方便了

  • 得登录到每台机器查看定时任务的运行结果,机器一多简直是一种灾难

  • 对于多台机器协同处理一个任务很麻烦,如何保证多台机器上的任务按顺序依次执行?

  • 当任务运行失败,要重新执行,还得重新定义下执行时间,让其重跑,重跑完成了还得改回正常时间

  • 正在运行的任务要kill掉很麻烦,查看进程然后才能kill......

而最近在梳理自动化的一些东西,所以开源的方案都会进入我的视线,我都会多多少少测试一下,看看怎么转换为自己需要的东西,顺便也找找曾经开发的感觉。有一个开源项目opencron引起了我的兴趣。

开源项目的地址是:https://github.com/wolfboys/opencron

整个开源项目的部署还是比较方便的,如果做过Java Web相关的开发,部署起来会很轻松。

说说我对这个项目的理解,开发语言主要是Java,它的架构是基于c/s的方式,在每个需要调用任务的客户端都需要部署一个客户端,然后在服务端来触发,整个工程的编译是使用maven实现,编译后会生成一个war包,拷贝到web容器中,比如tomcat中即可。

对我来说最大的优点是这个项目我能很快得到我希望看到的界面和功能。界面的效果上还是不错的,可以选择差不多10多个主题。

img_5313ddd4eb5838e4832dab08cebeba3f.jpe

而从功能来说,个人认为中间的头像和日历还是不需要的,右边栏的统计很不错,通过这些概览能够很容易得到一个整体的数据。那些任务成功,失败都可以一目了然。

img_a7b41f2b29cfc76241de008771f0e3a5.jpe

还有个不错的功能是对于任务的统计图,有折线图,有饼图。这个效果还是不错的。任务可以手动执行触发,也可以设置重跑次数,超时次数等等。

img_655bea4c5f4dddd52ef1b112b7520db9.jpe

这个webshell的功能真是太炫了。在浏览器中能够开启这样一个ssh会话,我在几年前还曾经写过程序模拟,但是效果都不大好,在这里满足了我之前的一个小小的遗憾。

img_a48921db74288ced14d4c2ebce47391d.jpe

还有个问题就是如果要集成到自动化平台中,其实还是需要不小的工作量,因为自动化平台的技术语言目前是Python,考虑到团队的需求,尽可能减少体系的复杂度,opencron还是有不小的参考价值,在后期如何引入,我觉得可以依旧从试用中得到更多的经验。

我觉得我需要兼任几个角色,比如产品设计,系统架构,然后落地的过程中的开发技术和数据库相关的技术结合,想想挑战还是有的,不管怎么样就是做一件事情,把他做好,先提高团队的工作效率,把那些手工的配置和管理都能够对接到平台上,可以统一管控,如果从业务价值和技术价值的角度来衡量,其实目前来看技术价值有的,业务价值不高,但是如果能够落地,那么业务价值会远大于技术价值,技术工作就是如此,没开始的时候能够天马行空,但是要落到实处,需要付出很多的努力。

之前分享过一起 OpsManage的想法,有很多朋友已经在部署试用了,很多朋友问我一些部署的细节,或者说这个方案是否可以满足工作中的绝大多数需求,我想说的是,应该不会,我认为它最大的优点在于可以减少技术从0开始的复杂度,让你可以快速迭代开发。

对于自动化的开发和问题,大家可以一起交流,入群有验证,标注 公司-职位,一个星期内没有有效发言(发表情不算有效发言),会被请出,先想好再入群。如果你是有经验的老司机,希望能够加入提供技术建议,一起交流,如果你也是在探索的朋友,那就立一个计划吧。我拍个脑袋,一个月也达到什么程度,然后来按照这个时间反推进度。
目录
相关文章
|
Windows
msi文件解包
msi文件解包
2547 1
msi文件解包
|
5月前
|
缓存 供应链 架构师
数据架构是什么?一文讲清数据架构和技术架构的区别
本文系统解析企业数字化核心框架——“4A架构”(业务、数据、应用、技术架构),阐明其严格递进的逻辑链:业务架构定方向(做什么)、数据架构转语言(数据化表达)、应用架构落功能(系统实现)、技术架构保运行(稳定支撑)。破除“重技术轻业务”误区,助企业构建贴合实际、可演进的数字化架构体系。
数据架构是什么?一文讲清数据架构和技术架构的区别
|
7月前
|
存储 Linux 网络安全
毅硕HPC | OpenPBS构建高效稳定的HPC作业调度环境
通过规范化的OpenPBS部署,我们不仅搭建了一个运行作业的平台,更构建了一套有序、透明、可扩展的科研生产管理体系。
313 4
|
4月前
|
数据采集 存储 供应链
数据架构怎么设计?一文全面掌握数据架构设计方法论
数据架构是连接业务与IT的桥梁,核心在于回答四个问题:企业有哪些数据?叫什么?什么关系?存在哪、如何流转?它涵盖数据资产目录、标准、模型、分布四大组件,以业务对象为管理单元,推动数据统一、可信、可管、可用。
|
5月前
|
存储 数据采集 供应链
数据中台是什么?怎么搭建数据中台?
本文深度解析数据中台本质:非“管数据”,而是让数据“流动起来、用起来”。厘清其作为统一数据能力平台的定位,详解六大核心架构模块(采集、存储计算、治理安全、服务化、组织、性能),并给出从0到1落地四阶段路径,同时警示三大常见误区。
|
Java Maven
IDEA 2021 整合 SSM 配置离线 Maven 3.8.1 报错大全 Since Maven 3.8.1 http repositories are blocked.
IDEA 2021 整合 SSM 配置离线 Maven 3.8.1 报错大全 Since Maven 3.8.1 http repositories are blocked.
8302 0
IDEA 2021 整合 SSM 配置离线 Maven 3.8.1 报错大全 Since Maven 3.8.1 http repositories are blocked.
|
分布式计算 监控 API
DMS Airflow:企业级数据工作流编排平台的专业实践
DMS Airflow是基于Apache Airflow构建的企业级数据工作流编排平台,深度集成阿里云DMS系统,提供统一认证、智能调度、多任务类型支持及企业级监控能力,助力数据团队高效管理ETL、分析、机器学习等复杂工作流。
661 21
|
9月前
|
自然语言处理 NoSQL 数据挖掘
从“找文件半小时”到“答案秒出现”:Dify工作流如何重塑我们团队的协作效率
告别文件混乱!通过Dify智能工作流,实现文档自动分类、版本控制、跨平台同步与权限管理,彻底解决团队“找文件难、版本错乱、协作低效”痛点。助力企业从“文件传输员”转型为高效协作者,提升协作效率85%,错误率下降95%。
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能】Transformers之Pipeline(三):文本转音频(text-to-audio/text-to-speech)
【人工智能】Transformers之Pipeline(三):文本转音频(text-to-audio/text-to-speech)
707 1
【人工智能】Transformers之Pipeline(三):文本转音频(text-to-audio/text-to-speech)

热门文章

最新文章