开发者学堂课程【Oozie 知识精讲与实战演练:Apache Oozie- 安装部署-配置文件修改& 数据库、war 包初始化】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/716/detail/12784
二.初始化 mysql 相关信息
1.上传 oozie 的解压后目录的下的 yarn.tar.gz 到 hdfs目录
bin/oozie-setup.sh sharelib create -fs hdfs://node-1:9000
locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz
第一个,需要将 oozie 的一些包上传到 hdfs 指定的目录下,此命令是官方提供的,只要直接执行就可,路径需要修改,将其复制查看,里面涉及到命令换行,如果直接执行就报错,需要改路径,在 Note—1 的9000上.
命令用途:
sharelib 就是共享 oozie 所依赖的架包,架包在根目录下查看.
本质是将这些jar包解压到 hdfs 路径下。
创建路径在日志中可以查看到
将命令复制一遍,放入根目录(安装包解压的根目录)执行。
分享的架包路径:user/root/share/lib_20190608163746,
生成文件夹由此得出执行并不准确
可以打开浏览器进行查看在
user/root/share/lib_20190608163746 可以观察到含有不同模块
是 oozie 运行时依赖的架包比如与 help 相关、与 spark 相关等等都已被提供
2.创建 mysql 数据库
初始化数据库
mysql -uroot -p
create database oozie;
使用原生方式登录,
mysql -uroot -p 用户名,密码
注意:创建数据库 oozie,数据库名称要与之前保持一致(因为连接到数据库中进行解析)
创建完成:
创建完成后可以直接退出
3.初始化创建 oozie 的数据库表
不需要执行,只需按照命令做
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh db create -run -sqlfile oozie.sql
在安装目录下执行此条命令去创建会直接执行 mgsql
复制执行
可以看到校验是否连接,库表是否存在等
可以查看打印信息 sql 命令已经写入打印文件中,文件在根目录下叫:oozie.sql
可以通过 oozie.sql 查看执行记录
3. 验证执行
打开 Navicat 工具连接到 node-1 上,双击 oozie 数据库,发现这些表就是 oozie工作依赖的表,如果这些表初始化不成功。后面启动就不用启动,肯定也不会成功.
三.生成 war 包
在服务本质是 JAVA 的 web 项目运行在 web 容易当中内置使用 Tomcat 运行你要做的就是。相关的依赖联通的信息打成一个 war 包,war 包的打不用执行最底层命令,只需用提供的命令执行就可以。
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh prepare-war
首先还是到安装包的根目录下然后执行下面命令
bin/oozie-setup.sh prepare-war 直接复制。查看到,这里面日志已经添加了好多的架包,这些架包都会添加进来变成 war 包,war 包就可以在 tomcat 中运行。后面最后一个信息:已经准备完成,可以启动.到这里基本上已经完成。
四.配置 oozie 环境变量
最后是可选项叫做 oozie 的环境变量配置。如果说配置后面使用 oozie 提供也好,或者相关操作的敲全路径,配置完成之后直接不用敲全路径,直接写相对路径就可以完成。
vim /etc/profile
export O0ZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0
export O0ZIE_URL=http://node03.hadoop.com:11000/oozie
export PATH=SPATH:SOOZIE_HOME/bin
source /etc/profile
有三个,第一个是 oozie 的 home 指向安装包根目录
第二个是 oozie url,后面符合哪个路径,就写进去,这里不要照抄,这里的地址写的是跟你的地址不一样,比如这里是-1,-1只要替换端口后面保持一致,主要就是house 的主机名.
第三,把 path 倒一下,注意修改环境变量之后需要做 profile 命令重新加载.
验证:cat/etc/profile 此时出现三个选项,完成 oozie 启动前的各种配置
总结:
解压 oozie 安装包拷贝相关依赖的软件
修改 oozie-site.xml 主要是 mysqlt 相关信息 hadoopi 配置文件
初始化 mysql 创建库表
生成执行需要的 war 包