Azkaban是什么?(一)

简介:

Azkaban是什么?

   Azkaban是一套简单的任务调度服务,整体包括三部分webserver、dbserver、executorserver。

      是linkin的开源项目,开发语言为Java

  Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。

  Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

 

 

 

 

Azkaban典型使用场景

  实际当中经常有这些场景:每天有一个大任务,这个大任务可以分成A,B,C,D四个小任务,A,B任务之间没有依赖关系,C任务依赖A,B任务的结果,D任务依赖C任务的结果。一般的做法是,开两个终端同时执行A,B,两个都执行完了再执行C,最后再执行D。这样的话,整个的执行过程都需要人工参加,并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的,通过写脚本设置crontab执行。其实,整个过程类似于一个有向无环图(DAG)。每个子任务相当于大任务中的一个流,任务的起点可以从没有度的节点开始执行,任何没有通路的节点之间可以同时执行,比如上述的A,B。总结起来的话,我们需要的就是一个工作流的调度器,而azkaban就是能解决上述问题的一个调度器。

 

 

 

Azkaban官网

 https://azkaban.github.io/

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6294321.html,如需转载请自行联系原作者

相关文章
|
2月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
87 0
|
前端开发 Java Unix
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
1900 0
【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!
|
存储 算法 索引
OushuDB 用户指南图算法之GQL脚本命令
OushuDB 用户指南图算法之GQL脚本命令
42 0
|
Java 关系型数据库 MySQL
azkaban使用方法大全
azkaban自动化流程
|
大数据 调度 开发者
Azkaban--使用实战--定时任务调度 | 学习笔记
快速学习 Azkaban--使用实战--定时任务调度
1328 0
Azkaban--使用实战--定时任务调度 | 学习笔记
|
SQL 关系型数据库 MySQL
Azkaban--介绍、架构、部署模式 | 学习笔记
快速学习 Azkaban--介绍、架构、部署模式
392 0
Azkaban--介绍、架构、部署模式 | 学习笔记
|
存储 关系型数据库 MySQL
电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记
快速学习电商项目之 Azkaban 安装(Exec 参数配置)
80 0
电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记
|
存储 分布式计算 Hadoop
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
95 0
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
|
SQL 分布式计算 Java
【Azkaban】(一)Azkaban 入门
【Azkaban】(一)Azkaban 入门
158 0
【Azkaban】(一)Azkaban 入门
|
SQL 分布式计算 Java
Azkaban的基础介绍
Azkaban的基础介绍