开发者学堂课程【Oozie 知识精讲与实战演练:Apache Oozie- 安装部署修改hadoop& 解压拷贝依赖包】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/716/detail/12783
(3)重启 Hadoop 集群相关服务
2.上传 oozie 的安装包并解压
oozie 的安装包上传到 /export//softwares
tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz
解压 hadooplibs 到与 oozie 平行的目录
cd /export/servers/oozie-4.1.0-cdh5.14.0
namenode-node-2.ou
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../
oozie 被贡献后域名被改变,通过域名可以查看,但是官方提供的安装包是一个源码包,或者说就没有提供安装包,这时候需要进行源码编译,最大的问题出现需要跟其他软件做一个整合。同其他软件进行整合时,版本的兼容性是最大的问题,所以使用官方的压缩包源码包进行编译是难度最大的,也是成功率最低,把各个软件的版本都给配置完成,符合验证完成后成功也可以。因此在企业当中通常使用第三方商业公司编译好的安装包,这里使用 cdh5. 版本,打开参考资料选择 oozie4.1.0版本,c: 来自的公司,此安装包含2.04 gb 其中包含各种所需要的软件编译文件等.
直接使用即可,将安装包上传到路径下。进入第一台服务器通常安装到export/servers 路径下进行上传。此文件少于 4gb 直接拖入上传,若大于 4gb 需要其他方法。安装完成后就会出现相关系列包。可以根据讲义讲题进行解压使用 tar 命令。
解压 hadooplibs 到与 oozie 平行的目录
cd /export/servers/oozie-4.1.0-cdh5.14.0
namenode-node-2.ou
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../
会把文件转入当前根目录下,在进行相关配置,修改相关文件。解压完成后可以观察到产生4.1.0,cd 解压包路径下
发现此时提供很多个 tar 系列包,有例子有 lib 相关软件等
首先解压 hadooplibs 到与 oozie 平行的目录./返回到上一级
3.添加相关依赖
oozie 的安装路径下创建 libext 目录
cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir -p libext
拷贝 hadoop 依赖包到 libext
cd /export/servers/oozie-4.1.0-cdh5.14.0
cp-ra
hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-
cdh5.14.0/*1ibe×t/
上传 mysql 的驱动包到 libext
mysql-connector-java-5.1.32.jar
添加 ext-2.2.zip 压缩包到 libext
ext-2.2.zip
将其依赖的价包及各种软件解压到同级目录下,hadooplib 后续会用到。
还需要添加相关的依赖需要 hadoop 驱动,创建文件夹,存放第三方架包,创建完成后需要拷贝 hadoop 依赖包到 libext,直接复制拷贝即可。
产生报错(格式问题)要放入一行,重新执行,问题解决。
上传两个驱动包:上传 mysql 的驱动包到 libext,上传 ext-2.2.zip 压缩包到libext,最终提供页面是由 ext-2.2.zip 编写,这两个包官方不存在需要自己下载,拖动放在 libext 下上传,此时已完成配置之前所有的准备工作。主要是修改hadoop 相关服务安装配置包和将其解压。
二.Apache oozie 安装总结
版本问题:Apache 官方提供的是源码包需要自己结合 nadoop 生态圈软件环境进行编译(各种兼容编译)兼容性问题特别难以处理因此可以使用第三方商业公司编译完成 Cloudera(CDH)
修改 nadoop 的相关配置启动服务
htps 服务
jobhistory 服务
配置修改之后需要重启 hadoop 集群
解压 oozie 安装包拷贝相关依赖的软件