集成 Oozie 服务&调度 Shell 程序 | 学习笔记

简介: 快速学习 集成 Oozie 服务&调度 Shell 程序

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&调度 Shell 程序学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12853


集成 Oozie 服务&调度 Shell 程序


内容介绍

一、修改配置文件

二、调度页面操作展示

 

一、修改配置文件

hue Oozie 整合,Oozie 作为一款调度软件本身的开发是不太有好的,不管是调动 hue 程序还是 MI 程序都要调用大量的配置文件,然后做上传提交,才可完成调动执行,相当麻烦,但是 Oozie hue 结合形成非常好的关系,在hue 上通过相关鼠标的拖拽各种图标。即可完成定时调度

接下来实际操作

1.首先打开 hue 的配置文件,需要修改三个地方

第一为 liboozie,搜索选项,复制打开 not 叠加,选择连接 hue 的编辑文件中,进行查找下一个,此时定位到选项配置的地方在1409行,此时修改参数,第一个 oozie-url,启动完成后,通过地址告知,此地址,为之前访问 oozie 的外部 ui 页面,把之前的注释打开,修改端口,=http://node-1:11000/oozie

image.png

下面为 remort-deployement-dir=一个选择部署时的文件路径,当上传定时 lud 时,资源配置路径在 HDFS 上,以往公司均会定制资源路径,比如路径:user/root/oozie-works,所以所有调度均放在该路径上,做一个指定,将前面注释打开即可完成,界面如下:

image.png

2.oozie 的配置文件,里面为某些优化配置文件,搜索 oozie,注意,此时带有 oozie 的很多,需要找出带有字符号的 oozie

带有注释:Settings on local FS where the examples are stored ,下面为选项,重点观察标红,实际上已经存在配置,只是没有打开,比如说是否进行定时调度或者 false 集成等等,只需将注释打开即可,进行保存,操作即可完成,这些均是优化的选项。

image.png

3. 【fliebrowser】即为开启文件浏览,实际上与 hue 关系不大

存在打开文件的按钮 Buttun,其实 hue 要去访问时,并无这些按钮,但是配置完成后会显示相关按钮,需要进行相关本地配置,比如说;开发了 hive 的脚本需要本地的调度,打开 hue 即可上传,非常方便

打开选项,进行搜索,首先 fliebrowser,ctrl c 浏览 打开注释,进行修改,字符展示修改的按钮,false 改为 true,字符显示上传的按钮 false 改为 true,最后一个,是不是允许 upload 的一个 archive 当换,改为 true,即全部完成

进行保存,与远程服务器同步数据,接下来为页面操作


二、页面操作展示

首先启动 hue 与 ozie 进程,先启动 oozie 进程,因为配置的环境微量 oozie 的 start 回车启动,完成后,将 oozie 服务进行重启,因为修改了配置进程,返回启动进程,结束,完成后,再使用刚才的命令重新启动,回车,等待启动日志结果出现,没有问题出现即可完成,进入相关界面,打开浏览器,针对 hive 刷新观察配置生效,加载完成后,发现整个调度的入口在 scheduler ,点击发现带有三个选项

Workflow 为普通工作流,schedule 为定时调度,Bundle 为批处理,可以批示绑定 schedule。

image.png

workfoll 为例,点击发现界面友好,因为各种 id 节点均配置成鼠标,所支持的脚本,都可以选择,通过鼠标往下拖即可,比如说开始节点和结束节点以及术外节点,可以进行各种各样的配置,比如说哪里判断,不需要进行编写workflow 配置文件,首先需要执行 hive 脚本,在进行选择,执行 crecal 脚本,即可完成

1.hue 调度 shell 脚本的方法

首先创建 shell,点击 flie 去浏览文件,即可来到路径上,在 root/urser 上创建新的文件夹,叫做 oozie-hue,点击进去创建新文件 hello-huesh,此时为空文件,点击 edit file 进行编辑,采用并加解释器,#/bin/bash

Date/root 简单并加到文件 hello -hue sh 当中

编辑完成后,进行保存,shell 脚本即可完成,在本地进行编辑

image.png

2.创建工作流

首先点击 query 下方的 scheduler 点击 workfllow,命名 hue shell

开始执行 shell,鼠标按住往下拖,此时添加 shell 脚本的路径,点击在 user/root/oozie-works/oozie-hu 双击文件,添加路径,注意 FILES 必须告诉相关路径的位置,选择刚才的文件不然的话找不到相关文件,两个文件均选择完成后点击保存,保存完成后即可发现左边出现 Sumbit 按钮,此时工作流编辑完成,点击 sumbit 即可提交

,此时出现错误,无需处理对运行没有任何影响。

image.png

此时出现界面,点击刷新,发现 hueshell 结束,但是点击 workfollow 会发现它失败了,点击 logs tasks 执行日志观察失败原因,

显示原因:file does not exist 文件不存在,提示说找不到路径 user/root/oozie-worksuser/root/oozie-works 此时发现针对路径进行了嵌套,需要对工作流进行修改。

image.png

首先点击 query 下方的 scheduler 点击 workfllow,在三个点的按钮会点 workflows,其中保存了以前设定的工作流。

image.png

双击打开,并点击笔的图标,进行相关调整点击 settings 中的 workspace 对报出的信息嵌套做出修改,只需将路径返回至根目录即可,进行保存,提交执行,观察结果。

image.png

Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序

可在 properties 中观察所有的具体的配置相关事务

此外 XML 为开始节点到结束节点打印的信息,其中的在工作的流程路径下的信息。

image.png

以上为所有 hue 调度 shell 脚本流程,注意路径配置清楚

相关文章
|
10月前
|
Linux Shell
在Linux、CentOS7中设置shell脚本开机自启动服务
以上就是在CentOS 7中设置shell脚本开机自启动服务的全部步骤。希望这个指南能帮助你更好地管理你的Linux系统。
981 25
|
Shell Linux
Linux shell编程学习笔记30:打造彩色的选项菜单
Linux shell编程学习笔记30:打造彩色的选项菜单
|
人工智能 数据可视化 开发者
FlowiseAI:34K Star!集成多种模型和100+组件的 LLM 应用低代码开发平台,拖拽组件轻松构建程序
FlowiseAI 是一款开源的低代码工具,通过拖拽可视化组件,用户可以快速构建自定义的 LLM 应用程序,支持多模型集成和记忆功能。
1169 14
FlowiseAI:34K Star!集成多种模型和100+组件的 LLM 应用低代码开发平台,拖拽组件轻松构建程序
|
Shell Linux
Linux shell编程学习笔记82:w命令——一览无余
Linux shell编程学习笔记82:w命令——一览无余
|
Kubernetes Go 持续交付
一个基于Go程序的持续集成/持续部署(CI/CD)
本教程通过一个简单的Go程序示例,展示了如何使用GitHub Actions实现从代码提交到Kubernetes部署的CI/CD流程。首先创建并版本控制Go项目,接着编写Dockerfile构建镜像,再配置CI/CD流程自动化构建、推送Docker镜像及部署应用。此流程基于GitHub仓库,适用于快速迭代开发。
328 3
|
Kubernetes 持续交付 Go
创建一个基于Go程序的持续集成/持续部署(CI/CD)流水线
创建一个基于Go程序的持续集成/持续部署(CI/CD)流水线
|
存储 Java Shell
shell学习笔记(详细整理)
这篇文章是一份详细的Shell学习笔记,涵盖了Shell的基础知识、脚本编写、变量、运算符、条件判断、流程控制、函数以及常用Shell工具的使用。
516 2
|
Ubuntu Linux Shell
在Linux中,如何使用shell脚本判断某个服务是否正在运行?
在Linux中,如何使用shell脚本判断某个服务是否正在运行?
|
存储 缓存 安全
如何使用 PHP 将天气跟踪集成到 Web 应用程序中
如何使用 PHP 将天气跟踪集成到 Web 应用程序中
197 0
|
SQL Java 数据库
实时计算 Flink版产品使用问题之Spring Boot集成Flink可以通过什么方式实现通过接口启动和关闭Flink程序
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。