Azkaban--安装部署--源码编译 | 学习笔记

简介: 快速学习 Azkaban--安装部署--源码编译

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--源码编译 学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12874


Azkaban--安装部署--源码编译


内容介绍:

一、Azkaban 源码编译

二、编译环境

三、下载源码解压

四、编译源码

五、编译后安装包路径


一、Azkaban 源码编译

Azkaban3.x 在安装前需要自己编译成二进制包。并且提前安装好 MavenAntNode 等软件,具体请参考附件资料。在软件下面选择 Azkaban,安装部署的资料,结合资料进行相关的软件配置,保证安装软件可以成功。

image.png

打开服务器输入命令验证环境。

[root@node -1-]#mvn -V

成功显示 mvn 版本和安装路径。

验证 ant-vnode-v,如果出现以下信息证明软件安装成功并且配置好了环境变量。

[root@node -1-]#mvn -V

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5 2015-11-11T00:41:47+08:00)

Maven home: /export/servers/apache-maven-3.3.9

Java version: 1.8.0_65, vendor: Oracle Corporation

Java home: /export/servers/jdk1.8.o_ 65/jre

Default locale: en_ US, platform encoding: UTF-8

OS name: "linux", version: "2.6.32-696.e16.x86_ 64", arch: "amd64", family: "unix"

[root@node-1 -]#ant -v

Apache Ant(TM) version 1.9.7 compiled on April 9 2016

Trying the default build fi1e: build. xml

Buildfile: build.xm1 does not exist !

Build failed

[root@node-1 -]# node -V

v8.10.0


二、编译环境

yum install -Y git

yum install -y gcc-c++

如果没有安装好就会显示安装的过程。如果安装好会显示 already installed and latest version 成功安装并且最新的版本

 

三、下载源码解压

Azkaban 官网下载源码包,点击 Downloads 下载。相关的源码,插件文档,发现有源码没有安装包,说明官方没有进行编译。

image.png

如果官方下载比较慢,也可以打开参考资料,点击编译前,里面就是下载的源码包3.51.0

image.png

wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz

tar -zxvf 3.51.0.tar.gz

cd ./azkaban-3.51.0/

打开服务器统一创建目录 build,可以根据自己的环境进行相应的修改,将源码包上传,因为是套包,所以要进行解压,将3.51.0azkaban 源码解压到当前目录下,解压完可以发现 azkaban-3.51.0cd到源码包中,可以看到这并不是一个二进制的安装包,当中没有 b 目录,也没有 com 目录,这是源码包当中每一个模块的工程。

 

四、编译源码

./gradlew build installDist -x test

Gradle 是一个基于 Apache Ant Apache Maven 的项目自动化构建工具。不需要安装,直接执行相关的命令即可。在源码包的根目录下有 gradlew 脚本,所以用./进行执行编译,-xtest 跳过测试。(注意联网下载 jar 可能会失败、慢)

复制代码进行执行,进行相应的编译,出现 build successful 就意味着编译成功,如果编译失败可能是下载 jar 包时会失败,因为联网下载之后网不通或者网络比较慢,可以参考网页资料。

image.png

gradlew 下载 jar 的路径替换成阿里云 maven 进行下载,类似于 maven 的仓库修改,打开项目,可以看到build.gradle 的文件,把地址改成阿里云的,可以解决下载慢失败。

 

五、编译后安装包路径

每个模块都是一个 Gradlew 包,Azkaban 有外包服务器,执行服务器,数据库脚本。编译成功之后就可以在指定的路径下取得对应的安装包了。

#solo-server 模式安装包路径,单节点模式

azkaban-solo-server/build/distributions/

复制查看,可以看到 tar.gzhe zip 压缩包,当部署单节点模式时就要使用它。

#two-server 模式和 multiple- executor 模式 web-server 安装包路径,在 web 服务器下的 build distributions 中,多执行模式。

azkaban-web-server/ build/distributions/

#two-server 模式和 multiple- executor 模式 exec-server 安装包路径

azkaban-exec-server/build/distributions/

azkaban-db/ build/distributions/

数据库相关安装包路径,使用数据库时,需要相关初始化的操作,里面有相关的脚本,可以发现它并没有将所有的模块打在一个中,需要分别下载,如果不想下载,可以打开参考资料,点击编译后,所有东西打包过来。

image.png

所需要的软件有 web 服务器,执行服务器,solo server 服务器,数据库脚本。虽然官方没有提供安装包,但是编译起来还是比较方便,心细结合讲义确保编译成功,如果不想编译使用提供的安装包即可。

相关文章
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
1101 0
|
SQL 关系型数据库 MySQL
pt-tools系列:pt-online-schema-change 最佳实践
pt的详细步骤 Step 1: Create the new table. Step 2: Alter the new, empty table. This should be very quick, or die if the user specified a bad alter statement.
5575 0
|
机器学习/深度学习 数据采集 测试技术
Toad:基于 Python 的标准化评分卡模型(上)
在信贷的风控模型中最常用、最经典的可能要属评分卡了,所谓评分卡就是给信贷客户进行打分,按照不同业务场景可为贷前、贷中、贷后和反欺诈,一般叫做ABCF卡。模型得到分数,通过设置cutoff阈值给出评估结果,结果可直接用于通过或拒绝,或者用于策略应用。
2518 0
Toad:基于 Python 的标准化评分卡模型(上)
|
4月前
|
Prometheus 监控 Cloud Native
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务实现步骤
508 0
|
8月前
|
消息中间件 存储 算法
一文详解 RocketMQ 如何利用 Raft 进行高可用保障
一文详解 RocketMQ 如何利用 Raft 进行高可用保障
309 1
|
存储 Java Apache
【maven】maven下载、安装与配置详细教程
【maven】maven下载、安装与配置详细教程
5005 1
|
XML Java Maven
idea配置maven步骤及常见问题
本文介绍了在IDEA中配置Maven的详细步骤,包括Maven的下载、系统环境变量的配置、Maven本地仓库的设置、镜像加速的配置,以及在IDEA中指定Maven路径和配置文件。同时,还提供了解决每次新建项目需要重新手动配置Maven问题的方法。
idea配置maven步骤及常见问题
|
人工智能 搜索推荐 机器人
阿里云AI助手部署体验报告
阿里云AI助手部署体验报告
520 3
|
存储 分布式计算 资源调度
Hadoop生态系统概览:从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。它由多个组件构成,旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件,包括HDFS、MapReduce、YARN,并探讨它们如何与现代大数据处理工具如Spark集成。
925 0
|
SQL 消息中间件 存储
实时标签开发——从零开始搭建实时用户画像(五)
实时标签开发——从零开始搭建实时用户画像(五)
1586 1
实时标签开发——从零开始搭建实时用户画像(五)