Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记

简介: 快速学习 Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署修改hadoop& 解压拷贝依赖包】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12783


(3)重启 Hadoop 集群相关服务

2.上传 oozie 的安装包并解压

oozie 的安装包上传到 /export//softwares

tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz

解压 hadooplibs 到与 oozie 平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

namenode-node-2.ou

tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../

图片10.png

oozie 被贡献后域名被改变,通过域名可以查看,但是官方提供的安装包是一个源码包,或者说就没有提供安装包,这时候需要进行源码编译,最大的问题出现需要跟其他软件做一个整合。同其他软件进行整合时,版本的兼容性是最大的问题,所以使用官方的压缩包源码包进行编译是难度最大的,也是成功率最低,把各个软件的版本都给配置完成,符合验证完成后成功也可以。因此在企业当中通常使用第三方商业公司编译好的安装包,这里使用 cdh5. 版本,打开参考资料选择 oozie4.1.0版本,c: 来自的公司,此安装包含2.04 gb 其中包含各种所需要的软件编译文件等.

图片11.png

直接使用即可,将安装包上传到路径下。进入第一台服务器通常安装到export/servers 路径下进行上传。此文件少于 4gb 直接拖入上传,若大于 4gb 需要其他方法。安装完成后就会出现相关系列包。可以根据讲义讲题进行解压使用 tar 命令。

解压 hadooplibs 到与 oozie 平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

namenode-node-2.ou

tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../

会把文件转入当前根目录下,在进行相关配置,修改相关文件。解压完成后可以观察到产生4.1.0,cd 解压包路径下

发现此时提供很多个 tar 系列包,有例子有 lib 相关软件等

首先解压 hadooplibs 到与 oozie 平行的目录./返回到上一级

3.添加相关依赖

oozie 的安装路径下创建 libext 目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

mkdir -p libext

拷贝 hadoop 依赖包到 libext

cd /export/servers/oozie-4.1.0-cdh5.14.0

cp-ra

hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-

cdh5.14.0/*1ibe×t/

上传 mysql 的驱动包到 libext

mysql-connector-java-5.1.32.jar

添加 ext-2.2.zip 压缩包到 libext

ext-2.2.zip

将其依赖的价包及各种软件解压到同级目录下,hadooplib 后续会用到。

图片12.png

还需要添加相关的依赖需要 hadoop 驱动,创建文件夹,存放第三方架包,创建完成后需要拷贝 hadoop 依赖包到 libext,直接复制拷贝即可。

产生报错(格式问题)要放入一行,重新执行,问题解决。

图片13.png

上传两个驱动包:上传 mysql 的驱动包到 libext,上传 ext-2.2.zip 压缩包到libext,最终提供页面是由 ext-2.2.zip 编写,这两个包官方不存在需要自己下载,拖动放在 libext 下上传,此时已完成配置之前所有的准备工作。主要是修改hadoop 相关服务安装配置包和将其解压。

图片14.png

 

二.Apache oozie 安装总结


版本问题:Apache 官方提供的是源码包需要自己结合 nadoop 生态圈软件环境进行编译(各种兼容编译)兼容性问题特别难以处理因此可以使用第三方商业公司编译完成 Cloudera(CDH)

修改 nadoop 的相关配置启动服务

htps 服务

jobhistory 服务

配置修改之后需要重启 hadoop 集群

解压 oozie 安装包拷贝相关依赖的软件

相关文章
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
116 0
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
496 0
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
98 2
|
分布式计算 固态存储 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)1
Apache Doris Broker快速体验之Hadoop安装部署(1)1
153 0
|
7月前
|
分布式计算 Hadoop 大数据
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
140 0
|
XML 分布式计算 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)2
Apache Doris Broker快速体验之Hadoop安装部署(1)2
219 0
|
存储 消息中间件 自然语言处理
Apache Rocket MQ 阿里云大规模商业化实践之路(二)| 学习笔记
快速学习 Apache Rocket MQ 阿里云大规模商业化实践之路。
Apache Rocket MQ 阿里云大规模商业化实践之路(二)| 学习笔记
|
传感器 存储 Shell
走进 Apache Flink(二)|学习笔记
快速学习走进 Apache Flink
220 0
走进 Apache  Flink(二)|学习笔记
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
186 6
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
78 2