Azkaban的基础介绍

简介: Azkaban的基础介绍

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
azkaban有如下功能特点:
1)Web用户界面
2)方便上传工作流
3)方便设置任务之间的关系
4)调度工作流
5)认证/授权(权限的工作)
6)能够杀死并重新启动工作流
7)模块化和可插拔的插件机制
8)项目工作区
9)工作流和任务的日志记录和审计
azkaban调度的任务类型包括:
1)shell脚本
2)java程序
3)MR程序
4)spark程序
5)hive的sql
6)python脚本
7)sqoop任务
Azkaban的优势
1)提供功能清晰,简单易用的Web UI界面
2)提供job配置文件快速建立任务和任务之间的依赖关系
3)提供模块化和可插拔的插件机制,原生支持command、Java、Hive、Pig、Hadoop
4)基于Java开发,代码结构清晰,易于二次开发

Azkaban有两种部署方式:solo server mode 和 cluster server mode:
1.solo server mode(单机模式):该模式中webServer和executorServer运行在同一个进程中,进程名是AzkabanSingleServer。可以使用自带的H2数据库或者配置mysql数据。该模式适用于小规模的使用。
2.cluster server mode(集群模式):该模式使用MySQL数据库,webServer和executorServer运行在不同进程中,该模式适用于大规模应用。

相关文章
|
6月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
441 0
|
SQL 分布式计算 Hadoop
Azkaban--使用实战--hive 调度 | 学习笔记
快速学习 Azkaban--使用实战--hive 调度
765 0
Azkaban--使用实战--hive 调度 | 学习笔记
|
6月前
|
分布式计算 Hadoop 数据挖掘
Azkaban
Azkaban
60 0
|
SQL 关系型数据库 MySQL
66 Azkaban安装部署
66 Azkaban安装部署
76 0
|
Java 关系型数据库 MySQL
azkaban使用方法大全
azkaban自动化流程
|
SQL 关系型数据库 MySQL
Azkaban--介绍、架构、部署模式 | 学习笔记
快速学习 Azkaban--介绍、架构、部署模式
609 0
Azkaban--介绍、架构、部署模式 | 学习笔记
|
大数据 调度 开发者
Azkaban--使用实战--定时任务调度 | 学习笔记
快速学习 Azkaban--使用实战--定时任务调度
1586 0
Azkaban--使用实战--定时任务调度 | 学习笔记
|
存储 关系型数据库 MySQL
电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记
快速学习电商项目之 Azkaban 安装(Exec 参数配置)
电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记
|
分布式计算 资源调度 Hadoop
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(3)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式
77 0
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(3)
|
存储 分布式计算 Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(1)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式
89 0
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(1)