安装Azkaban

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

Azkaban 是由 Linkedin 开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban 定义了一种 KV 文件格式来建立任务之间的依赖关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。

Azkaban 官网地址:http://azkaban.github.io/ Azkaban 的下载地址:http://azkaban.github.io/downloads.html

Azkaban 包括三个关键组件:

  • 关系数据库:使用 Mysql数据库,主要用于保存流程、权限、任务状态、任务计划等信息。
  • AzkabanWebServer:为用户提供管理留存、任务计划、权限等功能。
  • AzkabanExecutorServer:执行任务,并把任务执行的输出日志保存到 Mysql;可以同时启动多个 AzkabanExecutorServer ,他们通过 mysql 获取流程状态来协调工作。

在 2.5 版本之后,Azkaban 提供了两种模式来安装:

  • 一种是 standalone 的 “solo-server” 模式;
  • 另一种是两个 server 的模式,分别为 AzkabanWebServer 和 AzkabanExecutorServer。

这里主要介绍第二种模式的安装方法。

1. 安装过程

1.1 安装 MySql

目前 Azkaban 只支持 MySql ,故需安装 MySql 服务器,安装 MySql 的过程这里不作介绍。

安装之后,创建 azkaban 数据库,并创建 azkaban 用户,密码为 azkaban,并设置权限。

# Example database creation command, although the db name doesn't need to be 'azkaban'
mysql> CREATE DATABASE azkaban;
# Example database creation command. The user name doesn't need to be 'azkaban'
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
# Replace db, username with the ones created by the previous steps.
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

修改 /etc/my.cnf 文件,设置 max_allowed_packet 值:

[mysqld]
...
max_allowed_packet=1024M

然后重启 MySql。

解压缩 azkaban-sql-2.5.0.tar.gz文件,并进入到 azkaban-sql-script目录,然后进入 mysql 命令行模式:

$ mysql -uazkaban -pazkaban
mysql> use azkaban
mysql> source create-all-sql-2.5.0.sql

1.2 安装 azkaban-web-server

解压缩 azkaban-web-server-2.5.0.tar.gz,创建 SSL 配置,命令:keytool -keystore keystore -alias jetty -genkey -keyalg RSA

完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 考贝到 azkaban web 目录中。

修改 azkaban web 服务器配置,主要包括:

a. 修改时区和首页名称:

# Azkaban Personalization Settings
azkaban.name=ETL Task
azkaban.label=By BI
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

b. 修改 MySql 数据库配置

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

c. 修改 Jetty 服务器属性,包括 keystore 的相关配置

# Azkaban Jetty server properties.
jetty.hostname=0.0.0.0
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=redhat
jetty.keypassword=redhat
jetty.truststore=keystore
jetty.trustpassword=redhat

d. 修改邮件设置(可选)

# mail settings
mail.sender=admin@javachen.com
mail.host=javachen.com
mail.user=admin
mail.password=admin

1.3 安装 azkaban-executor-server

解压缩 azkaban-executor-server-2.5.0.tar.gz,然后修改配置文件,包括:

a. 修改时区为:default.timezone.id=Asia/Shanghai

b. 修改 MySql 数据库配置

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

1.4 用户设置

进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml ,增加管理员用户:

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        <user username="admin" password="admin" roles="admin,metrics" />
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

1.5 启动服务

azkaban-web-server,需要在 azkaban-web-server 目录下执行下面命令:

sh bin/azkaban-web-start.sh

azkaban-executor-server,需要在 azkaban-executor-server 目录下执行下面命令:

sh bin/azkaban-executor-start.sh

1.6 配置插件

下载 HDFS Browser 插件,解压然后重命名为 hdfs,然后将其拷贝到 azkaban-web-server/plugins/viewer 目录下。

下载 Job Types Plugins 插件,解压然后重命名为 jobtype,然后将其拷贝到 azkaban-executor-server/plugins/ 目录下,然后修改以下文件,设置 hive.home

  • plugins/jobtypes/commonprivate.properties
  • plugins/jobtypes/common.properties
  • plugins/jobtypes/hive/plugin.properties

说明:

在实际使用中,这些插件都没有配置成功,故最后的生产环境没有使用这些插件,而是基于最基本的 command 或 script 方式来编写作业。

1.7 生产环境使用

这部分内容详细说明见 当前数据仓库建设过程 一文中的任务调度这一章节内容。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
Zeppelin安装与配置
本文介绍zeppelin安装与配置指南
Zeppelin安装与配置
|
6月前
|
分布式计算 Hadoop 数据挖掘
Azkaban
Azkaban
60 0
|
SQL 关系型数据库 MySQL
66 Azkaban安装部署
66 Azkaban安装部署
76 0
|
分布式计算 JavaScript Java
Oozie的安装和使用
Oozie的安装和使用
|
Oracle Java 关系型数据库
Azkaban--安装部署--源码编译 | 学习笔记
快速学习 Azkaban--安装部署--源码编译
325 0
Azkaban--安装部署--源码编译 | 学习笔记
|
大数据 调度 数据库
Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验 | 学习笔记
快速学习 Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验
559 0
Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验  | 学习笔记
|
SQL 分布式计算 Java
【Azkaban】(一)Azkaban 入门
【Azkaban】(一)Azkaban 入门
211 0
【Azkaban】(一)Azkaban 入门
|
SQL 分布式计算 Hadoop
【Azkaban 】(二)十分钟搞定 Azkaban 安装,亲测完美!
【Azkaban 】(二)十分钟搞定 Azkaban 安装,亲测完美!
1533 0
【Azkaban 】(二)十分钟搞定 Azkaban 安装,亲测完美!
|
SQL 分布式计算 Java
Azkaban的基础介绍
Azkaban的基础介绍
|
分布式计算 关系型数据库 MySQL