开发者学堂课程【Hue 大数据可视化终端课程:集成 Oozie 服务&调度 Shell 程序】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/719/detail/12853
集成 Oozie 服务&调度 Shell 程序
内容介绍
一、修改配置文件
二、调度页面操作展示
一、修改配置文件
hue 与 Oozie 整合,Oozie 作为一款调度软件本身的开发是不太有好的,不管是调动 hue 程序还是 MI 程序都要调用大量的配置文件,然后做上传提交,才可完成调动执行,相当麻烦,但是 Oozie 与 hue 结合形成非常好的关系,在hue 上通过相关鼠标的拖拽各种图标。即可完成定时调度
接下来实际操作
1.首先打开 hue 的配置文件,需要修改三个地方
第一为 liboozie,搜索选项,复制打开 not 叠加,选择连接 hue 的编辑文件中,进行查找下一个,此时定位到选项配置的地方在1409行,此时修改参数,第一个 oozie-url,启动完成后,通过地址告知,此地址,为之前访问 oozie 的外部 ui 页面,把之前的注释打开,修改端口,=http://node-1:11000/oozie
下面为 remort-deployement-dir=一个选择部署时的文件路径,当上传定时 lud 时,资源配置路径在 HDFS 上,以往公司均会定制资源路径,比如路径:user/root/oozie-works,所以所有调度均放在该路径上,做一个指定,将前面注释打开即可完成,界面如下:
2.oozie 的配置文件,里面为某些优化配置文件,搜索 oozie,注意,此时带有 oozie 的很多,需要找出带有字符号的 oozie。
带有注释:Settings on local FS where the examples are stored ,下面为选项,重点观察标红,实际上已经存在配置,只是没有打开,比如说是否进行定时调度或者 false 集成等等,只需将注释打开即可,进行保存,操作即可完成,这些均是优化的选项。
3. 【fliebrowser】即为开启文件浏览,实际上与 hue 关系不大
存在打开文件的按钮 Buttun,其实 hue 要去访问时,并无这些按钮,但是配置完成后会显示相关按钮,需要进行相关本地配置,比如说;开发了 hive 的脚本需要本地的调度,打开 hue 即可上传,非常方便
打开选项,进行搜索,首先 fliebrowser,ctrl c 浏览 打开注释,进行修改,字符展示修改的按钮,false 改为 true,字符显示上传的按钮 false 改为 true,最后一个,是不是允许 upload 的一个 archive 当换,改为 true,即全部完成
进行保存,与远程服务器同步数据,接下来为页面操作
二、页面操作展示
首先启动 hue 与 ozie 进程,先启动 oozie 进程,因为配置的环境微量 oozie 的 start 回车启动,完成后,将 oozie 服务进行重启,因为修改了配置进程,返回启动进程,结束,完成后,再使用刚才的命令重新启动,回车,等待启动日志结果出现,没有问题出现即可完成,进入相关界面,打开浏览器,针对 hive 刷新观察配置生效,加载完成后,发现整个调度的入口在 scheduler ,点击发现带有三个选项
Workflow 为普通工作流,schedule 为定时调度,Bundle 为批处理,可以批示绑定 schedule。
以 workfoll 为例,点击发现界面友好,因为各种 id 节点均配置成鼠标,所支持的脚本,都可以选择,通过鼠标往下拖即可,比如说开始节点和结束节点以及术外节点,可以进行各种各样的配置,比如说哪里判断,不需要进行编写workflow 配置文件,首先需要执行 hive 脚本,在进行选择,执行 crecal 脚本,即可完成
1.hue 调度 shell 脚本的方法
首先创建 shell,点击 flie 去浏览文件,即可来到路径上,在 root/urser 上创建新的文件夹,叫做 oozie-hue,点击进去创建新文件 hello-huesh,此时为空文件,点击 edit file 进行编辑,采用并加解释器,#!/bin/bash
Date》/root 简单并加到文件 hello -hue sh 当中
编辑完成后,进行保存,shell 脚本即可完成,在本地进行编辑
2.创建工作流
首先点击 query 下方的 scheduler 点击 workfllow,命名 hue shell
开始执行 shell,鼠标按住往下拖,此时添加 shell 脚本的路径,点击在 user/root/oozie-works/oozie-hu 双击文件,添加路径,注意 FILES 必须告诉相关路径的位置,选择刚才的文件不然的话找不到相关文件,两个文件均选择完成后点击保存,保存完成后即可发现左边出现 Sumbit 按钮,此时工作流编辑完成,点击 sumbit 即可提交
,此时出现错误,无需处理对运行没有任何影响。
此时出现界面,点击刷新,发现 hueshell 结束,但是点击 workfollow 会发现它失败了,点击 logs 者 tasks 执行日志观察失败原因,
显示原因:file does not exist 文件不存在,提示说找不到路径 user/root/oozie-worksuser/root/oozie-works 此时发现针对路径进行了嵌套,需要对工作流进行修改。
首先点击 query 下方的 scheduler 点击 workfllow,在三个点的按钮会点 workflows,其中保存了以前设定的工作流。
双击打开,并点击笔的图标,进行相关调整点击 settings 中的 workspace 对报出的信息嵌套做出修改,只需将路径返回至根目录即可,进行保存,提交执行,观察结果。
Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序
可在 properties 中观察所有的具体的配置相关事务
此外 XML 为开始节点到结束节点打印的信息,其中的在工作的流程路径下的信息。
以上为所有 hue 调度 shell 脚本流程,注意路径配置清楚