Azkaban的基本介绍之三个重要组件

简介: Azkaban的三个重要组件

Azkaban包括三个重要组件:
1)关系数据库(目前仅支持mysql)
2)web管理服务器-AzkabanWebServer
3)执行服务器-AzkabanExecutorServer

Azkaban使用MySQL来存储它的状态信息,Azkaban Executor Server和Azkaban Web Server均使用到了MySQL数据库。
AzkabanExecutorServer使用到了数据库的地方:
获取project的信息
执行工作流
存储工作流运行日志
如果一个工作流在不同的执行器上运行,它将从DB中获取状态。
AzkabanWebServer使用到了数据库的地方:
Project管理
跟踪工作流执行进度
访问历史工作流的运行信息
定时执行工作流任务
记录所有sla规则
AzkabanWebServer:
AzkabanWebserver是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执 行进度等一系列任务。同时,它还提供Web服务操作的接口,利用该接口,用户可以使用curl或其他ajax的方式,来执行azkaban的相关操作。
操作包括:
用户登录、
创建project、
上传workflow、
执行workflow、
查询workflow的执行进度、
杀掉workflow等一系列操作
且这些操作的返回结果均是json的格式。
AzkabanExecutorServer:
之所以将AzkabanWebServer和AzkabanExecutorServer分开,主要是因为在某个任务流失败后,可以更方便的将重新执行。而且也更有利于Azkaban系统的升级。

相关文章
|
Ubuntu 虚拟化
VMWare Tools没有正确安装或者版本过低导致的
VMWare Tools没有正确安装或者版本过低导致的
1109 2
|
API 计算机视觉
Qt实用技巧:自定义窗口标题栏
Qt实用技巧:自定义窗口标题栏
Qt实用技巧:自定义窗口标题栏
|
缓存 负载均衡 安全
Nginx的反向代理具体是如何实现的?
Nginx的反向代理具体是如何实现的?
|
存储 数据管理 数据库
|
SQL 存储 负载均衡
Flume(二)【Flume 进阶使用】(1)
Flume(二)【Flume 进阶使用】
|
API 持续交付 开发工具
2024年开发者工具箱:提升生产力的十大利器
本文介绍了2024年最值得关注的十大开发工具,包括Visual Studio Code、Git、Docker等,涵盖代码编辑、版本控制、容器化技术、API开发、自动化部署、团队协作等多个方面,旨在帮助开发者提升工作效率和代码质量。选择合适的工具对提升开发效率至关重要,希望本文能助你一臂之力。注:工具介绍基于2024年技术和市场情况。
|
存储 分布式计算 大数据
Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
|
移动开发 Shell 测试技术
Realtek蓝牙Android10.0移植结束后的基本测试和常见问题分析
Realtek蓝牙Android10.0移植结束后的基本测试和常见问题分析
|
监控 关系型数据库 MySQL
MySQL Binlog实战:在生产环境中的应用与最佳实践【实战应用】
MySQL Binlog实战:在生产环境中的应用与最佳实践【实战应用】
563 0
|
分布式计算 Java Hadoop
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决