开发者学堂课程【Azkaban 大数据调度系统课程精讲:Azkaban--安装部署--源码编译 】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/721/detail/12874
Azkaban--安装部署--源码编译
内容介绍:
一、Azkaban 源码编译
二、编译环境
三、下载源码解压
四、编译源码
五、编译后安装包路径
一、Azkaban 源码编译
Azkaban3.x 在安装前需要自己编译成二进制包。并且提前安装好 Maven、Ant、Node 等软件,具体请参考附件资料。在软件下面选择 Azkaban,安装部署的资料,结合资料进行相关的软件配置,保证安装软件可以成功。
打开服务器输入命令验证环境。
[root@node -1-]#mvn -V
成功显示 mvn 版本和安装路径。
验证 ant-v、node-v,如果出现以下信息证明软件安装成功并且配置好了环境变量。
[root@node -1-]#mvn -V
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5
;
2015-11-11T00:41:47+08:00)
Maven home: /export/servers/apache-maven-3.3.9
Java version: 1.8.0_65, vendor: Oracle Corporation
Java home: /export/servers/jdk1.8.o_ 65/jre
Default locale: en_ US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-696.e16.x86_ 64", arch: "amd64", family: "unix"
[root@node-1 -]#ant -v
Apache Ant(TM) version 1.9.7 compiled on April 9 2016
Trying the default build fi1e: build. xml
Buildfile: build.xm1 does not exist !
Build failed
[root@node-1 -]# node -V
v8.10.0
二、编译环境
yum install -Y git
yum install -y gcc-c++
如果没有安装好就会显示安装的过程。如果安装好会显示 already installed and latest version 成功安装并且最新的版本
三、下载源码解压
在 Azkaban 官网下载源码包,点击 Downloads 下载。相关的源码,插件文档,发现有源码没有安装包,说明官方没有进行编译。
如果官方下载比较慢,也可以打开参考资料,点击编译前,里面就是下载的源码包3.51.0。
wget
https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz
tar -zxvf 3.51.0.tar.gz
cd ./azkaban-3.51.0/
打开服务器统一创建目录 build,可以根据自己的环境进行相应的修改,将源码包上传,因为是套包,所以要进行解压,将3.51.0azkaban 源码解压到当前目录下,解压完可以发现 azkaban-3.51.0,cd到源码包中,可以看到这并不是一个二进制的安装包,当中没有 b 目录,也没有 com 目录,这是源码包当中每一个模块的工程。
四、编译源码
./gradlew build installDist -x test
Gradle 是一个基于 Apache Ant 和 Apache Maven 的项目自动化构建工具。不需要安装,直接执行相关的命令即可。在源码包的根目录下有 gradlew 脚本,所以用./进行执行编译,-xtest 跳过测试。(注意联网下载 jar 可能会失败、慢)
复制代码进行执行,进行相应的编译,出现 build successful 就意味着编译成功,如果编译失败可能是下载 jar 包时会失败,因为联网下载之后网不通或者网络比较慢,可以参考网页资料。
把 gradlew 下载 jar 的路径替换成阿里云 maven 进行下载,类似于 maven 的仓库修改,打开项目,可以看到build.gradle 的文件,把地址改成阿里云的,可以解决下载慢失败。
五、编译后安装包路径
每个模块都是一个 Gradlew 包,Azkaban 有外包服务器,执行服务器,数据库脚本。编译成功之后就可以在指定的路径下取得对应的安装包了。
#solo-server 模式安装包路径,单节点模式
azkaban-solo-server/build/distributions/
复制查看,可以看到 tar.gzhe 和 zip 压缩包,当部署单节点模式时就要使用它。
#two-server 模式和 multiple- executor 模式 web-server 安装包路径,在 web 服务器下的 build distributions 中,多执行模式。
azkaban-web-server/ build/distributions/
#two-server 模式和 multiple- executor 模式 exec-server 安装包路径
azkaban-exec-server/build/distributions/
azkaban-db/ build/distributions/
数据库相关安装包路径,使用数据库时,需要相关初始化的操作,里面有相关的脚本,可以发现它并没有将所有的模块打在一个中,需要分别下载,如果不想下载,可以打开参考资料,点击编译后,所有东西打包过来。
所需要的软件有 web 服务器,执行服务器,solo server 服务器,数据库脚本。虽然官方没有提供安装包,但是编译起来还是比较方便,心细结合讲义确保编译成功,如果不想编译使用提供的安装包即可。