Azkaban的基本介绍之三个重要组件

简介: Azkaban的三个重要组件

Azkaban包括三个重要组件:
1)关系数据库(目前仅支持mysql)
2)web管理服务器-AzkabanWebServer
3)执行服务器-AzkabanExecutorServer

Azkaban使用MySQL来存储它的状态信息,Azkaban Executor Server和Azkaban Web Server均使用到了MySQL数据库。
AzkabanExecutorServer使用到了数据库的地方:
获取project的信息
执行工作流
存储工作流运行日志
如果一个工作流在不同的执行器上运行,它将从DB中获取状态。
AzkabanWebServer使用到了数据库的地方:
Project管理
跟踪工作流执行进度
访问历史工作流的运行信息
定时执行工作流任务
记录所有sla规则
AzkabanWebServer:
AzkabanWebserver是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执 行进度等一系列任务。同时,它还提供Web服务操作的接口,利用该接口,用户可以使用curl或其他ajax的方式,来执行azkaban的相关操作。
操作包括:
用户登录、
创建project、
上传workflow、
执行workflow、
查询workflow的执行进度、
杀掉workflow等一系列操作
且这些操作的返回结果均是json的格式。
AzkabanExecutorServer:
之所以将AzkabanWebServer和AzkabanExecutorServer分开,主要是因为在某个任务流失败后,可以更方便的将重新执行。而且也更有利于Azkaban系统的升级。

相关文章
|
8月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
604 0
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
2618 0
【NiFi】(一)NiFi 简介及核心概念
|
8月前
|
分布式计算 Hadoop 关系型数据库
Sqoop入门指南:安装和配置
Sqoop入门指南:安装和配置
|
8月前
|
Java Apache 网络架构
Apache Zeppelin系列教程第三篇——Note的持久化管理
Apache Zeppelin系列教程第三篇——Note的持久化管理
85 0
|
SQL 关系型数据库 MySQL
Hive环境搭建及简单使用
上篇文章我们介绍了Hive源码编译的相关内容,本篇文章将主要介绍Hive环境的搭建步骤及简单使用。
295 0
|
数据可视化 Java Linux
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
1195 0
|
SQL 分布式计算 资源调度
CDH+Kylin三部曲之二:部署和设置
上一篇文章完成了所有准备工作,现在可以来部署和启动Kylin了
214 5
CDH+Kylin三部曲之二:部署和设置
|
Java 关系型数据库 MySQL
azkaban使用方法大全
azkaban自动化流程
|
XML 数据格式 开发者
了解 Nifi 其他组件 | 学习笔记
快速学习了解 Nifi 其他组件
318 0
了解 Nifi 其他组件  |  学习笔记
|
大数据 调度 开发者
Azkaban--使用实战--定时任务调度 | 学习笔记
快速学习 Azkaban--使用实战--定时任务调度
1672 0
Azkaban--使用实战--定时任务调度 | 学习笔记