Azkaban

简介: Azkaban

分享一个工作流框架

https://github.com/azkaban/azkaban

官方文档

https://azkaban.github.io/

Azkaban documentation! — Azkaban documentation

Azkaban是一个分布式工作流管理器,在LinkedIn上实现,以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行,从 ETL 作业到数据分析产品。

Features 特征


  • 与任何版本的 Hadoop 兼容
  • 易于使用的 Web UI
  • 简单的 Web 和 http 工作流上传
  • 项目工作区
  • 工作流的调度
  • 模块化和可插件化
  • 身份验证和授权
  • 跟踪用户操作
  • 有关失败和成功的电子邮件警报
  • SLA告警和自动杀伤
  • 重试失败的作业

阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年,并驱动了他们的许多Hadoop和数据仓库流程。

相关文章
|
SQL HIVE
71 Azkaban HIVE脚本任务
71 Azkaban HIVE脚本任务
63 0
|
SQL 分布式计算 Hadoop
Azkaban--使用实战--hive 调度 | 学习笔记
快速学习 Azkaban--使用实战--hive 调度
771 0
Azkaban--使用实战--hive 调度 | 学习笔记
|
6月前
|
SQL XML 分布式计算
Oozie功能
Oozie是一个基于Hadoop的调度器,它可以用来管理和协调Hadoop作业、Pig作业、Hive作业、Shell脚本等。【2月更文挑战第21天】
54 2
|
分布式计算 Java Hadoop
70 Azkaban MAPREDUCE任务
70 Azkaban MAPREDUCE任务
40 0
|
SQL 关系型数据库 MySQL
66 Azkaban安装部署
66 Azkaban安装部署
76 0
|
分布式计算 JavaScript Java
Oozie的安装和使用
Oozie的安装和使用
|
SQL 分布式计算 Java
【Azkaban】(一)Azkaban 入门
【Azkaban】(一)Azkaban 入门
212 0
【Azkaban】(一)Azkaban 入门
|
SQL 分布式计算 Java
Azkaban的基础介绍
Azkaban的基础介绍
|
SQL 分布式计算 Hadoop
Hive on Spark安装配置详解
本文主要记录如何安装配置Hive on Spark,并列举遇到的坑及解决办法。
6685 1
|
分布式计算 关系型数据库 MySQL