@[toc]
大数据任务调度工具 Apache DolphinScheduler
项目亮点
- 专门针对大数据平台
- 国人开发
- 支持单机、集群、容器化
- 项目比较新，2019 年开发
DolphinScheduler 简介
Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器
DolphinScheduler 支持 K8S
调度系统选型
竞争产品
- Airflow
- Oozie
- Kettle
- xxl-job
- Azkaban
- Spring Batch
- DolphinScheduler
以上的调度系统基本都是基于 Java 开发，底层都依赖于 Quartz 实现
为什么大数据要选择 DolphinScheduler
DolphinScheduler 的定位是 大数据、工作流 2 个方向，Kettle、xxl-job、Spring Batch 虽然可以做任务调度，但是不是专门针对大数据领域的
DolphinScheduler 的技术栈
后端: SpringBoot (2.x)
前端: VUE
编译: Maven(3.3+) ,
元数据存储: Mysql5.5+
分布式无中心化设计: ZooKeeper(3.4.6+)
统一资源管理 : 共享存储[HDFS、S3A、MinIO]
