@[toc]

大数据任务调度工具 Apache DolphinScheduler

项目亮点

1. 专门针对大数据平台
2. 国人开发
3. 支持单机、集群、容器化
4. 项目比较新，2019 年开发

DolphinScheduler 简介

Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器

DolphinScheduler 支持 K8S

调度系统选型

竞争产品

1. Airflow
2. Oozie
3. Kettle
4. xxl-job
5. Azkaban
6. Spring Batch
7. DolphinScheduler

以上的调度系统基本都是基于 Java 开发，底层都依赖于 Quartz 实现

为什么大数据要选择 DolphinScheduler

DolphinScheduler 的定位是 大数据、工作流 2 个方向，Kettle、xxl-job、Spring Batch 虽然可以做任务调度，但是不是专门针对大数据领域的

DolphinScheduler 的技术栈

后端: SpringBoot (2.x)

前端: VUE

编译: Maven(3.3+) ,

元数据存储: Mysql5.5+

分布式无中心化设计: ZooKeeper(3.4.6+)

统一资源管理 : 共享存储[HDFS、S3A、MinIO]