阿里云分布式任务调度SchedulerX2.0正式商业化

简介: Schedulerx2.0在公有云公测2年,服务超过1000家公司,积累了丰富的经验,稳定性也得到了足够的验证。为了提供更优质的服务,于2021.9.1正式商业化,同时也会带来更加强大的能力

前言

Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台,提供定时、任务编排、分布式跑批等功能,具有高可靠、海量任务、秒级调度等能力。

Schedulerx2.0在公有云公测2年,服务超过1000家公司,积累了丰富的经验,稳定性也得到了足够的验证。为了提供更优质的服务,于2021.9.1正式商业化,同时也会带来更加强大的能力。



强大功能

定时调度

Crontab

  • 支持可视化的crontab表达式
  • 支持时间偏移,可以通过数据时间做跨天的业务
  • 支持时区,可以做国际化的定时任务


Fixed rate

众所周知,crontab必须被60整除,比如想每隔40分钟跑一次,cron不支持。Fixed rate专门用来做定期轮询,表达式简单。


秒级别调度

通过second_delay表达式可以支持秒级别调度,适合不停执行的实时业务,业务不能中断。

任务编排

schedulerx2.0支持工作流(DAG)进行任务编排,操作简单,前端直拖拖拽拽即可。详细的任务状态图能一目了然看到下游任务为什么没跑,如下图:


schedulerx2.0的工作流还支持上下游数据传递


轻量级分布式编程模型

支持单机、广播、分片、MapReduce多种分布式执行模型。

  • 单机模型:业务多节点部署时,保证不重复执行。
  • 广播模型:所有节点都执行同一逻辑,全部执行完还可以由一台机器回调一次postProcess方法,常用在批量运维,批量清理日志、缓存。
  • 分片模型:支持类似elastic-job的分片模型,常用在分库分表的跑批。
  • MapReduce模型:Schedulerx2.0自创的轻量级分布式编程模型,只需要实现map和reduce方法,就可以将海量数据分布式到多台机器运行,相对于传统大数据跑批:
  • 成本低:直接复用在线应用的机器,不需要额外计算资源
  • 速度快:不需要数据导入导出,直接跑批线上数据库、oss等,可以作为实时业务的跑批
  • 学习简单:不需要大数据的知识,会java就行
  • 可以处理负责的业务:在线业务处理往往逻辑很复杂,传统大数据跑批sql无法满足,使用java高级语言可以处理复杂逻辑,还可以直接复用业务接口。


多语言

除了java语言,schedulerx还支持多种语言的任务类型


其中http任务是serverless,不需要注册客户端就能执行。Schedulerx的http任务支持签名认证,防止用户的http接口被恶意攻击。

丰富的任务运维能力

  • 支持对堵塞任务的手动停止、超时自动停止。
  • 支持对失败任务的原地重跑、标记成功。
  • 支持重刷数据:通过数据时间+重刷数据,可以重刷历史上的数据,把漏跑的任务重新执行。

商业化报警

  1. 报警通道支持短信、钉钉机器人、邮件

  1. 报警类型支持失败报警、超时报警、无可用机器报警等


  1. 每个任务都可以单独配置报警联系人,也可以使用应用的报警联系人组


全新的权限体系

本次商业化带来了全新的权限体系,支持阿里云RAM权限,支持读写等细粒度权限控制。



新增站点

本次商业化,新增了香港、新加坡、德国、美国、日本站点。

用户有其他站点的需求,可以提工单给我们,我们会尽量满足。


未来规划

日志收集

收集客户端的任务调度日志,甚至是应用日志,可以直接在控制台看到日志,分析任务失败的原因。


弹性扩缩容

离线任务分布式跑批的时候,可以动态扩容机器加快处理速度。跑批结束,可以缩容,节省机器成本。


一次性任务

一个任务只在未来某个时刻点执行一次,执行完自动销毁。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2天前
|
运维 监控 Java
推荐一款好用的Java分布式任务调度框架!
推荐一款好用的Java分布式任务调度框架!
177 0
|
2天前
|
监控 Cloud Native 大数据
即刻预约|阿里云数据库 SelectDB 版商业化发布会,5月21日14:00与您相约
2024年5月2日14:00,阿里云数据库 SelectDB 版商业化产品发布会将于线上重磅举行,即刻开启预约!👇 直播地址:https://developer.aliyun.com/special/selectdb?utm_content=g_1000393528
135 0
即刻预约|阿里云数据库 SelectDB 版商业化发布会,5月21日14:00与您相约
|
2天前
|
Cloud Native Java 开发工具
云原生 阿里云分布式文件系统 对象存储OSS 服务配置
【1月更文挑战第8天】云原生 阿里云分布式文件系统 对象存储OSS 服务配置
|
2天前
|
存储 容灾 Cloud Native
阿里云ClickHouse企业版正式商业化,为开发者提供容灾性更好、性价比更高的实时数仓
2024年4月23日,阿里云联合 ClickHouse Inc. 成功举办了企业版商业化发布会。阿里云 ClickHouse 企业版是阿里云和 ClickHouse 原厂 ClickHouse. Inc 独家合作的存算分离的云原生版本,支持资源按需弹性 Serverless,帮助企业降低成本的同时,为企业带来更多商业价值。
391 1
|
2天前
|
分布式计算 Ubuntu 调度
如何本地搭建开源分布式任务调度系统DolphinScheduler并远程访问
如何本地搭建开源分布式任务调度系统DolphinScheduler并远程访问
阿里云百炼商业化升级公告
阿里云百炼大模型于2024年3月15日完成商业化升级,本次商品升级后不影响计费价格,调用方式和服务也不会改变和中断,无需手动操作。
|
2天前
|
Java 数据处理 调度
更高效准确的数据库内部任务调度实践,阿里云数据库SelectDB 内核 Apache Doris 内置 Job Scheduler 的实现与应用
Apache Doris 2.1 引入了内置的 Job Scheduler,旨在解决依赖外部调度系统的问题,提供秒级精确的定时任务管理。
|
2天前
|
调度
xxl-job分布式任务调度
xxl-job分布式任务调度
29 1
|
2天前
|
NoSQL 关系型数据库 MySQL
分布式任务调度的几种实现
【2月更文挑战第2天】本文主要介绍了分布式任务调度的几种实现,使用Redis实现分布式锁方案,使用MySQL实现任务调度,开源框架 XXL-JOB等方案,最后需要考虑到负载均衡的问题。
69 1
|
2天前
|
存储 Kubernetes 监控
阿里云分布式云容器平台
阿里云分布式云容器平台(ACK One)是一款面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。它支持连接并管理任何地域、任何基础设施上的Kubernetes集群,提供一致的管理和社区兼容的API,支持对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管控。
60 4

热门文章

最新文章