Azkaban--安装部署--源码编译 | 学习笔记

简介: 快速学习 Azkaban--安装部署--源码编译

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--源码编译 学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12874


Azkaban--安装部署--源码编译


内容介绍:

一、Azkaban 源码编译

二、编译环境

三、下载源码解压

四、编译源码

五、编译后安装包路径


一、Azkaban 源码编译

Azkaban3.x 在安装前需要自己编译成二进制包。并且提前安装好 MavenAntNode 等软件,具体请参考附件资料。在软件下面选择 Azkaban,安装部署的资料,结合资料进行相关的软件配置,保证安装软件可以成功。

image.png

打开服务器输入命令验证环境。

[root@node -1-]#mvn -V

成功显示 mvn 版本和安装路径。

验证 ant-vnode-v,如果出现以下信息证明软件安装成功并且配置好了环境变量。

[root@node -1-]#mvn -V

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5 2015-11-11T00:41:47+08:00)

Maven home: /export/servers/apache-maven-3.3.9

Java version: 1.8.0_65, vendor: Oracle Corporation

Java home: /export/servers/jdk1.8.o_ 65/jre

Default locale: en_ US, platform encoding: UTF-8

OS name: "linux", version: "2.6.32-696.e16.x86_ 64", arch: "amd64", family: "unix"

[root@node-1 -]#ant -v

Apache Ant(TM) version 1.9.7 compiled on April 9 2016

Trying the default build fi1e: build. xml

Buildfile: build.xm1 does not exist !

Build failed

[root@node-1 -]# node -V

v8.10.0


二、编译环境

yum install -Y git

yum install -y gcc-c++

如果没有安装好就会显示安装的过程。如果安装好会显示 already installed and latest version 成功安装并且最新的版本

 

三、下载源码解压

Azkaban 官网下载源码包,点击 Downloads 下载。相关的源码,插件文档,发现有源码没有安装包,说明官方没有进行编译。

image.png

如果官方下载比较慢,也可以打开参考资料,点击编译前,里面就是下载的源码包3.51.0

image.png

wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz

tar -zxvf 3.51.0.tar.gz

cd ./azkaban-3.51.0/

打开服务器统一创建目录 build,可以根据自己的环境进行相应的修改,将源码包上传,因为是套包,所以要进行解压,将3.51.0azkaban 源码解压到当前目录下,解压完可以发现 azkaban-3.51.0cd到源码包中,可以看到这并不是一个二进制的安装包,当中没有 b 目录,也没有 com 目录,这是源码包当中每一个模块的工程。

 

四、编译源码

./gradlew build installDist -x test

Gradle 是一个基于 Apache Ant Apache Maven 的项目自动化构建工具。不需要安装,直接执行相关的命令即可。在源码包的根目录下有 gradlew 脚本,所以用./进行执行编译,-xtest 跳过测试。(注意联网下载 jar 可能会失败、慢)

复制代码进行执行,进行相应的编译,出现 build successful 就意味着编译成功,如果编译失败可能是下载 jar 包时会失败,因为联网下载之后网不通或者网络比较慢,可以参考网页资料。

image.png

gradlew 下载 jar 的路径替换成阿里云 maven 进行下载,类似于 maven 的仓库修改,打开项目,可以看到build.gradle 的文件,把地址改成阿里云的,可以解决下载慢失败。

 

五、编译后安装包路径

每个模块都是一个 Gradlew 包,Azkaban 有外包服务器,执行服务器,数据库脚本。编译成功之后就可以在指定的路径下取得对应的安装包了。

#solo-server 模式安装包路径,单节点模式

azkaban-solo-server/build/distributions/

复制查看,可以看到 tar.gzhe zip 压缩包,当部署单节点模式时就要使用它。

#two-server 模式和 multiple- executor 模式 web-server 安装包路径,在 web 服务器下的 build distributions 中,多执行模式。

azkaban-web-server/ build/distributions/

#two-server 模式和 multiple- executor 模式 exec-server 安装包路径

azkaban-exec-server/build/distributions/

azkaban-db/ build/distributions/

数据库相关安装包路径,使用数据库时,需要相关初始化的操作,里面有相关的脚本,可以发现它并没有将所有的模块打在一个中,需要分别下载,如果不想下载,可以打开参考资料,点击编译后,所有东西打包过来。

image.png

所需要的软件有 web 服务器,执行服务器,solo server 服务器,数据库脚本。虽然官方没有提供安装包,但是编译起来还是比较方便,心细结合讲义确保编译成功,如果不想编译使用提供的安装包即可。

相关文章
|
关系型数据库 MySQL Linux
airflow安装教程(local模式)
airflow安装教程(local模式)
airflow安装教程(local模式)
|
Kubernetes 网络协议 网络安全
K8s安装部署--超级详细(无坑,v1.23)
K8s安装部署--超级详细(无坑,v1.23 yum localinstall -y kernel-ml-6.4.10-1.el7.elrepo.x86_64.rpm
631 3
|
8月前
|
关系型数据库 MySQL Linux
Azkaban【部署 02】CentOS release 7.5安装配置azkaban-3.70.0安装阶段(含已编译的10个安装文件:可直接进行安装)
【2月更文挑战第5天】CentOS release 7.5安装配置azkaban-3.70.0安装阶段(含已编译的10个安装文件:可直接进行安装)
109 7
|
8月前
|
Java Linux 开发工具
Azkaban【部署 01】Linux环境 CentOS Linux release 7.5.1804安装配置azkaban-3.70.0编译阶段(附安装包及gradle-4.6资源)
【2月更文挑战第4天】Linux环境 CentOS Linux release 7.5.1804安装配置azkaban-3.70.0编译阶段(附安装包及gradle-4.6资源)
149 1
|
8月前
|
分布式计算 Java 网络安全
Ambari【部署 01】最新版本ambari-2.7.7下载编译打包安装使用(踩坑实录)
Ambari【部署 01】最新版本ambari-2.7.7下载编译打包安装使用(踩坑实录)
828 0
|
8月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
159 0
|
SQL 关系型数据库 MySQL
66 Azkaban安装部署
66 Azkaban安装部署
83 0
|
NoSQL Java 关系型数据库
Centos 7 脚本命令环境部署安装JDK+Maven+Git+MySql+Redis,让你快人一步
Centos 7 脚本命令环境部署安装JDK+Maven+Git+MySql+Redis,让你快人一步
387 1
Centos 7 脚本命令环境部署安装JDK+Maven+Git+MySql+Redis,让你快人一步
|
弹性计算 安全 关系型数据库
阿里云部署javaWeb项目依赖软件(jdk、tomcat、Mariadb数据库)的安装
阿里云部署javaWeb项目(jdk、tomcat、Mariadb数据库)的安装 🍅 程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕 🍅java自学的学习路线:java自学的学习路线
372 0
阿里云部署javaWeb项目依赖软件(jdk、tomcat、Mariadb数据库)的安装
|
大数据 调度 数据库
Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验 | 学习笔记
快速学习 Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验
615 0
Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验  | 学习笔记