Azkaban的基本介绍之三个重要组件

简介: Azkaban的三个重要组件

Azkaban包括三个重要组件:
1)关系数据库(目前仅支持mysql)
2)web管理服务器-AzkabanWebServer
3)执行服务器-AzkabanExecutorServer

Azkaban使用MySQL来存储它的状态信息,Azkaban Executor Server和Azkaban Web Server均使用到了MySQL数据库。
AzkabanExecutorServer使用到了数据库的地方:
获取project的信息
执行工作流
存储工作流运行日志
如果一个工作流在不同的执行器上运行,它将从DB中获取状态。
AzkabanWebServer使用到了数据库的地方:
Project管理
跟踪工作流执行进度
访问历史工作流的运行信息
定时执行工作流任务
记录所有sla规则
AzkabanWebServer:
AzkabanWebserver是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执 行进度等一系列任务。同时,它还提供Web服务操作的接口,利用该接口,用户可以使用curl或其他ajax的方式,来执行azkaban的相关操作。
操作包括:
用户登录、
创建project、
上传workflow、
执行workflow、
查询workflow的执行进度、
杀掉workflow等一系列操作
且这些操作的返回结果均是json的格式。
AzkabanExecutorServer:
之所以将AzkabanWebServer和AzkabanExecutorServer分开,主要是因为在某个任务流失败后,可以更方便的将重新执行。而且也更有利于Azkaban系统的升级。

相关文章
|
6月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
474 0
|
存储 安全 Java
【NiFi】(一)NiFi 简介及核心概念
【NiFi】(一)NiFi 简介及核心概念
2553 0
【NiFi】(一)NiFi 简介及核心概念
|
6月前
|
消息中间件 存储 SQL
Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式(一篇即可入门Flume)
【2月更文挑战第18天】Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式(一篇即可入门Flume)
1802 0
|
Java Spring 容器
SpringBoot中是如何创建WebServer的?
SpringBoot中是如何创建WebServer的?
165 0
|
NoSQL 前端开发 JavaScript
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统(8)-Ant Design Blazor前端框架搭建
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统(8)-Ant Design Blazor前端框架搭建
172 0
|
消息中间件 自然语言处理 Java
ElasticSearch 学习笔记(四)-----ES在SpringBoot中的集成以及项目应用开发指南
接上一篇ElasticSearch 学习笔记(三)-----ES的设计原理以及分词器说明。今天我们主要介绍ES 与SpringBoot 的集成以及项目应用开发指南。
889 0
ElasticSearch 学习笔记(四)-----ES在SpringBoot中的集成以及项目应用开发指南
|
Java 关系型数据库 MySQL
azkaban使用方法大全
azkaban自动化流程
|
数据采集 存储 缓存
Apache Flume-运行机制 & 运行结构图|学习笔记
快速学习 Apache Flume- 运行机制 & 运行结构图,Flume 的运行机制和采集系统结构图的知识学习,知道 Flume 进行数据采集和传递的流程。
Apache Flume-运行机制 & 运行结构图|学习笔记
|
大数据 调度 开发者
Azkaban--使用实战--定时任务调度 | 学习笔记
快速学习 Azkaban--使用实战--定时任务调度
1604 0
Azkaban--使用实战--定时任务调度 | 学习笔记
|
存储 运维 监控
Centreon的结构与运行机制以及安装配置| 学习笔记
快速学习Centreon的结构与运行机制以及安装配置。
Centreon的结构与运行机制以及安装配置| 学习笔记