Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记

简介: 快速学习 Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署修改hadoop& 解压拷贝依赖包】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12783


(3)重启 Hadoop 集群相关服务

2.上传 oozie 的安装包并解压

oozie 的安装包上传到 /export//softwares

tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz

解压 hadooplibs 到与 oozie 平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

namenode-node-2.ou

tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../

图片10.png

oozie 被贡献后域名被改变,通过域名可以查看,但是官方提供的安装包是一个源码包,或者说就没有提供安装包,这时候需要进行源码编译,最大的问题出现需要跟其他软件做一个整合。同其他软件进行整合时,版本的兼容性是最大的问题,所以使用官方的压缩包源码包进行编译是难度最大的,也是成功率最低,把各个软件的版本都给配置完成,符合验证完成后成功也可以。因此在企业当中通常使用第三方商业公司编译好的安装包,这里使用 cdh5. 版本,打开参考资料选择 oozie4.1.0版本,c: 来自的公司,此安装包含2.04 gb 其中包含各种所需要的软件编译文件等.

图片11.png

直接使用即可,将安装包上传到路径下。进入第一台服务器通常安装到export/servers 路径下进行上传。此文件少于 4gb 直接拖入上传,若大于 4gb 需要其他方法。安装完成后就会出现相关系列包。可以根据讲义讲题进行解压使用 tar 命令。

解压 hadooplibs 到与 oozie 平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

namenode-node-2.ou

tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../

会把文件转入当前根目录下,在进行相关配置,修改相关文件。解压完成后可以观察到产生4.1.0,cd 解压包路径下

发现此时提供很多个 tar 系列包,有例子有 lib 相关软件等

首先解压 hadooplibs 到与 oozie 平行的目录./返回到上一级

3.添加相关依赖

oozie 的安装路径下创建 libext 目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

mkdir -p libext

拷贝 hadoop 依赖包到 libext

cd /export/servers/oozie-4.1.0-cdh5.14.0

cp-ra

hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-

cdh5.14.0/*1ibe×t/

上传 mysql 的驱动包到 libext

mysql-connector-java-5.1.32.jar

添加 ext-2.2.zip 压缩包到 libext

ext-2.2.zip

将其依赖的价包及各种软件解压到同级目录下,hadooplib 后续会用到。

图片12.png

还需要添加相关的依赖需要 hadoop 驱动,创建文件夹,存放第三方架包,创建完成后需要拷贝 hadoop 依赖包到 libext,直接复制拷贝即可。

产生报错(格式问题)要放入一行,重新执行,问题解决。

图片13.png

上传两个驱动包:上传 mysql 的驱动包到 libext,上传 ext-2.2.zip 压缩包到libext,最终提供页面是由 ext-2.2.zip 编写,这两个包官方不存在需要自己下载,拖动放在 libext 下上传,此时已完成配置之前所有的准备工作。主要是修改hadoop 相关服务安装配置包和将其解压。

图片14.png

 

二.Apache oozie 安装总结


版本问题:Apache 官方提供的是源码包需要自己结合 nadoop 生态圈软件环境进行编译(各种兼容编译)兼容性问题特别难以处理因此可以使用第三方商业公司编译完成 Cloudera(CDH)

修改 nadoop 的相关配置启动服务

htps 服务

jobhistory 服务

配置修改之后需要重启 hadoop 集群

解压 oozie 安装包拷贝相关依赖的软件

相关文章
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
170 0
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
121 3
|
11月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
370 2
|
XML 分布式计算 监控
详细指南:在Hadoop中配置Oozie作业
【8月更文挑战第31天】
173 0
|
分布式计算 监控 Hadoop
详解 Apache ZooKeeper 和 Apache Oozie
【8月更文挑战第31天】
322 0
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用:Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
243 0
|
分布式计算 Hadoop
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
155 5
|
分布式计算 资源调度 Hadoop
Apache Hadoop入门指南:搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用,并引导初学者了解Hadoop的基本概念、核心组件(HDFS、YARN、MapReduce)及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境,学习者可掌握基本操作。此外,文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性,旨在为读者提供Hadoop入门指导,助其踏入大数据处理的旅程。
1173 0
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】

相关实验场景

更多

推荐镜像

更多