Azkaban

简介: Azkaban

分享一个工作流框架

https://github.com/azkaban/azkaban

官方文档

https://azkaban.github.io/

Azkaban documentation! — Azkaban documentation

Azkaban是一个分布式工作流管理器,在LinkedIn上实现,以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行,从 ETL 作业到数据分析产品。

Features 特征


  • 与任何版本的 Hadoop 兼容
  • 易于使用的 Web UI
  • 简单的 Web 和 http 工作流上传
  • 项目工作区
  • 工作流的调度
  • 模块化和可插件化
  • 身份验证和授权
  • 跟踪用户操作
  • 有关失败和成功的电子邮件警报
  • SLA告警和自动杀伤
  • 重试失败的作业

阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年,并驱动了他们的许多Hadoop和数据仓库流程。

相关文章
|
SQL HIVE
71 Azkaban HIVE脚本任务
71 Azkaban HIVE脚本任务
61 0
|
SQL 分布式计算 Hadoop
Azkaban--使用实战--hive 调度 | 学习笔记
快速学习 Azkaban--使用实战--hive 调度
765 0
Azkaban--使用实战--hive 调度 | 学习笔记
|
分布式计算 Java Hadoop
70 Azkaban MAPREDUCE任务
70 Azkaban MAPREDUCE任务
37 0
|
SQL 关系型数据库 MySQL
66 Azkaban安装部署
66 Azkaban安装部署
76 0
|
分布式计算 JavaScript Java
Oozie的安装和使用
Oozie的安装和使用
|
SQL 分布式计算 Java
【Azkaban】(一)Azkaban 入门
【Azkaban】(一)Azkaban 入门
210 0
【Azkaban】(一)Azkaban 入门
|
SQL 关系型数据库 MySQL
Ambari部署Hive
Ambari部署Hive
169 0
Ambari部署Hive
|
SQL 分布式计算 Java
Azkaban的基础介绍
Azkaban的基础介绍
|
SQL 分布式计算 Hadoop
Hive on Spark安装配置详解
本文主要记录如何安装配置Hive on Spark,并列举遇到的坑及解决办法。
6678 1
|
分布式计算 关系型数据库 MySQL