Azkaban

分享一个工作流框架

https://github.com/azkaban/azkaban

官方文档

https://azkaban.github.io/

Azkaban documentation! — Azkaban documentation

Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。

Features 特征

• 与任何版本的 Hadoop 兼容
• 易于使用的 Web UI
• 简单的 Web 和 http 工作流上传
• 项目工作区
• 工作流的调度
• 模块化和可插件化
• 身份验证和授权
• 跟踪用户操作
• 有关失败和成功的电子邮件警报
• SLA告警和自动杀伤
• 重试失败的作业

阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。