阿里云分布式任务调度SchedulerX2.0正式商业化

2021-09-22 1393

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

日志服务 SLS，月写入数据量 50GB 1个月

简介： Schedulerx2.0在公有云公测2年，服务超过1000家公司，积累了丰富的经验，稳定性也得到了足够的验证。为了提供更优质的服务，于2021.9.1正式商业化，同时也会带来更加强大的能力

+关注继续查看

前言

Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台，提供定时、任务编排、分布式跑批等功能，具有高可靠、海量任务、秒级调度等能力。

Schedulerx2.0在公有云公测2年，服务超过1000家公司，积累了丰富的经验，稳定性也得到了足够的验证。为了提供更优质的服务，于2021.9.1正式商业化，同时也会带来更加强大的能力。

强大功能

众所周知，crontab必须被60整除，比如想每隔40分钟跑一次，cron不支持。Fixed rate专门用来做定期轮询，表达式简单。

通过second_delay表达式可以支持秒级别调度，适合不停执行的实时业务，业务不能中断。

schedulerx2.0支持工作流（DAG）进行任务编排，操作简单，前端直拖拖拽拽即可。详细的任务状态图能一目了然看到下游任务为什么没跑，如下图：

schedulerx2.0的工作流还支持上下游数据传递

支持单机、广播、分片、MapReduce多种分布式执行模型。

单机模型：业务多节点部署时，保证不重复执行。
广播模型：所有节点都执行同一逻辑，全部执行完还可以由一台机器回调一次postProcess方法，常用在批量运维，批量清理日志、缓存。
分片模型：支持类似elastic-job的分片模型，常用在分库分表的跑批。
MapReduce模型：Schedulerx2.0自创的轻量级分布式编程模型，只需要实现map和reduce方法，就可以将海量数据分布式到多台机器运行，相对于传统大数据跑批：

- 成本低：直接复用在线应用的机器，不需要额外计算资源
- 速度快：不需要数据导入导出，直接跑批线上数据库、oss等，可以作为实时业务的跑批
- 学习简单：不需要大数据的知识，会java就行
- 可以处理负责的业务：在线业务处理往往逻辑很复杂，传统大数据跑批sql无法满足，使用java高级语言可以处理复杂逻辑，还可以直接复用业务接口。