Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记

简介: 快速学习 Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie- 安装部署修改hadoop& 解压拷贝依赖包】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12783


(3)重启 Hadoop 集群相关服务

2.上传 oozie 的安装包并解压

oozie 的安装包上传到 /export//softwares

tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz

解压 hadooplibs 到与 oozie 平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

namenode-node-2.ou

tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../

图片10.png

oozie 被贡献后域名被改变,通过域名可以查看,但是官方提供的安装包是一个源码包,或者说就没有提供安装包,这时候需要进行源码编译,最大的问题出现需要跟其他软件做一个整合。同其他软件进行整合时,版本的兼容性是最大的问题,所以使用官方的压缩包源码包进行编译是难度最大的,也是成功率最低,把各个软件的版本都给配置完成,符合验证完成后成功也可以。因此在企业当中通常使用第三方商业公司编译好的安装包,这里使用 cdh5. 版本,打开参考资料选择 oozie4.1.0版本,c: 来自的公司,此安装包含2.04 gb 其中包含各种所需要的软件编译文件等.

图片11.png

直接使用即可,将安装包上传到路径下。进入第一台服务器通常安装到export/servers 路径下进行上传。此文件少于 4gb 直接拖入上传,若大于 4gb 需要其他方法。安装完成后就会出现相关系列包。可以根据讲义讲题进行解压使用 tar 命令。

解压 hadooplibs 到与 oozie 平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

namenode-node-2.ou

tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz-C../

会把文件转入当前根目录下,在进行相关配置,修改相关文件。解压完成后可以观察到产生4.1.0,cd 解压包路径下

发现此时提供很多个 tar 系列包,有例子有 lib 相关软件等

首先解压 hadooplibs 到与 oozie 平行的目录./返回到上一级

3.添加相关依赖

oozie 的安装路径下创建 libext 目录

cd /export/servers/oozie-4.1.0-cdh5.14.0

mkdir -p libext

拷贝 hadoop 依赖包到 libext

cd /export/servers/oozie-4.1.0-cdh5.14.0

cp-ra

hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-

cdh5.14.0/*1ibe×t/

上传 mysql 的驱动包到 libext

mysql-connector-java-5.1.32.jar

添加 ext-2.2.zip 压缩包到 libext

ext-2.2.zip

将其依赖的价包及各种软件解压到同级目录下,hadooplib 后续会用到。

图片12.png

还需要添加相关的依赖需要 hadoop 驱动,创建文件夹,存放第三方架包,创建完成后需要拷贝 hadoop 依赖包到 libext,直接复制拷贝即可。

产生报错(格式问题)要放入一行,重新执行,问题解决。

图片13.png

上传两个驱动包:上传 mysql 的驱动包到 libext,上传 ext-2.2.zip 压缩包到libext,最终提供页面是由 ext-2.2.zip 编写,这两个包官方不存在需要自己下载,拖动放在 libext 下上传,此时已完成配置之前所有的准备工作。主要是修改hadoop 相关服务安装配置包和将其解压。

图片14.png

 

二.Apache oozie 安装总结


版本问题:Apache 官方提供的是源码包需要自己结合 nadoop 生态圈软件环境进行编译(各种兼容编译)兼容性问题特别难以处理因此可以使用第三方商业公司编译完成 Cloudera(CDH)

修改 nadoop 的相关配置启动服务

htps 服务

jobhistory 服务

配置修改之后需要重启 hadoop 集群

解压 oozie 安装包拷贝相关依赖的软件

相关文章
|
3月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
55 3
|
26天前
|
数据处理 Apache 数据库
将 Python UDF 部署到 Apache IoTDB 的详细步骤与注意事项
【10月更文挑战第21天】将 Python UDF 部署到 Apache IoTDB 中需要一系列的步骤和注意事项。通过仔细的准备、正确的部署和测试,你可以成功地将自定义的 Python UDF 应用到 Apache IoTDB 中,为数据处理和分析提供更灵活和强大的支持。在实际操作过程中,要根据具体情况进行调整和优化,以确保实现最佳的效果。还可以结合具体的代码示例和实际部署经验,进一步深入了解和掌握这一过程。
24 2
|
1月前
|
存储 消息中间件 druid
大数据-150 Apache Druid 安装部署 单机启动 系统架构
大数据-150 Apache Druid 安装部署 单机启动 系统架构
42 1
|
3月前
|
关系型数据库 MySQL 应用服务中间件
win7系统搭建PHP+Mysql+Apache环境+部署ecshop项目
这篇文章介绍了如何在Windows 7系统上搭建PHP、MySQL和Apache环境,并部署ECShop项目,包括安装配置步骤、解决常见问题以及使用XAMPP集成环境的替代方案。
56 1
win7系统搭建PHP+Mysql+Apache环境+部署ecshop项目
|
2月前
|
Linux Apache 数据安全/隐私保护
kali向Apache上部署网页
kali向Apache上部署网页
102 5
|
3月前
|
XML 分布式计算 监控
详细指南:在Hadoop中配置Oozie作业
【8月更文挑战第31天】
74 0
|
3月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用:Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
66 0
|
3月前
|
存储 Ubuntu 应用服务中间件
如何在 Ubuntu 14.04 上使用 Passenger 和 Apache 部署 Rails 应用
如何在 Ubuntu 14.04 上使用 Passenger 和 Apache 部署 Rails 应用
26 0
|
3月前
|
关系型数据库 Linux 网络安全
"Linux系统实战:从零开始部署Apache+PHP Web项目,轻松搭建您的在线应用"
【8月更文挑战第9天】Linux作为服务器操作系统,凭借其稳定性和安全性成为部署Web项目的优选平台。本文以Apache Web服务器和PHP项目为例,介绍部署流程。首先,通过包管理器安装Apache与PHP;接着创建项目目录,并上传项目文件至该目录;根据需要配置Apache虚拟主机;最后重启Apache服务并测试项目。确保防火墙允许HTTP流量,正确配置数据库连接,并定期更新系统以维持安全。随着项目复杂度提升,进一步学习高级配置将变得必要。
334 0
|
5月前
|
Java 应用服务中间件 Apache
安装和配置Apache Tomcat是部署Java Web应用程序的常见任务
安装和配置Apache Tomcat是部署Java Web应用程序的常见任务
146 7

推荐镜像

更多
下一篇
无影云桌面