集成 Oozie 服务&调度 Shell 程序 | 学习笔记

简介: 快速学习 集成 Oozie 服务&调度 Shell 程序

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&调度 Shell 程序学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12853


集成 Oozie 服务&调度 Shell 程序


内容介绍

一、修改配置文件

二、调度页面操作展示

 

一、修改配置文件

hue Oozie 整合,Oozie 作为一款调度软件本身的开发是不太有好的,不管是调动 hue 程序还是 MI 程序都要调用大量的配置文件,然后做上传提交,才可完成调动执行,相当麻烦,但是 Oozie hue 结合形成非常好的关系,在hue 上通过相关鼠标的拖拽各种图标。即可完成定时调度

接下来实际操作

1.首先打开 hue 的配置文件,需要修改三个地方

第一为 liboozie,搜索选项,复制打开 not 叠加,选择连接 hue 的编辑文件中,进行查找下一个,此时定位到选项配置的地方在1409行,此时修改参数,第一个 oozie-url,启动完成后,通过地址告知,此地址,为之前访问 oozie 的外部 ui 页面,把之前的注释打开,修改端口,=http://node-1:11000/oozie

image.png

下面为 remort-deployement-dir=一个选择部署时的文件路径,当上传定时 lud 时,资源配置路径在 HDFS 上,以往公司均会定制资源路径,比如路径:user/root/oozie-works,所以所有调度均放在该路径上,做一个指定,将前面注释打开即可完成,界面如下:

image.png

2.oozie 的配置文件,里面为某些优化配置文件,搜索 oozie,注意,此时带有 oozie 的很多,需要找出带有字符号的 oozie

带有注释:Settings on local FS where the examples are stored ,下面为选项,重点观察标红,实际上已经存在配置,只是没有打开,比如说是否进行定时调度或者 false 集成等等,只需将注释打开即可,进行保存,操作即可完成,这些均是优化的选项。

image.png

3. 【fliebrowser】即为开启文件浏览,实际上与 hue 关系不大

存在打开文件的按钮 Buttun,其实 hue 要去访问时,并无这些按钮,但是配置完成后会显示相关按钮,需要进行相关本地配置,比如说;开发了 hive 的脚本需要本地的调度,打开 hue 即可上传,非常方便

打开选项,进行搜索,首先 fliebrowser,ctrl c 浏览 打开注释,进行修改,字符展示修改的按钮,false 改为 true,字符显示上传的按钮 false 改为 true,最后一个,是不是允许 upload 的一个 archive 当换,改为 true,即全部完成

进行保存,与远程服务器同步数据,接下来为页面操作


二、页面操作展示

首先启动 hue 与 ozie 进程,先启动 oozie 进程,因为配置的环境微量 oozie 的 start 回车启动,完成后,将 oozie 服务进行重启,因为修改了配置进程,返回启动进程,结束,完成后,再使用刚才的命令重新启动,回车,等待启动日志结果出现,没有问题出现即可完成,进入相关界面,打开浏览器,针对 hive 刷新观察配置生效,加载完成后,发现整个调度的入口在 scheduler ,点击发现带有三个选项

Workflow 为普通工作流,schedule 为定时调度,Bundle 为批处理,可以批示绑定 schedule。

image.png

workfoll 为例,点击发现界面友好,因为各种 id 节点均配置成鼠标,所支持的脚本,都可以选择,通过鼠标往下拖即可,比如说开始节点和结束节点以及术外节点,可以进行各种各样的配置,比如说哪里判断,不需要进行编写workflow 配置文件,首先需要执行 hive 脚本,在进行选择,执行 crecal 脚本,即可完成

1.hue 调度 shell 脚本的方法

首先创建 shell,点击 flie 去浏览文件,即可来到路径上,在 root/urser 上创建新的文件夹,叫做 oozie-hue,点击进去创建新文件 hello-huesh,此时为空文件,点击 edit file 进行编辑,采用并加解释器,#/bin/bash

Date/root 简单并加到文件 hello -hue sh 当中

编辑完成后,进行保存,shell 脚本即可完成,在本地进行编辑

image.png

2.创建工作流

首先点击 query 下方的 scheduler 点击 workfllow,命名 hue shell

开始执行 shell,鼠标按住往下拖,此时添加 shell 脚本的路径,点击在 user/root/oozie-works/oozie-hu 双击文件,添加路径,注意 FILES 必须告诉相关路径的位置,选择刚才的文件不然的话找不到相关文件,两个文件均选择完成后点击保存,保存完成后即可发现左边出现 Sumbit 按钮,此时工作流编辑完成,点击 sumbit 即可提交

,此时出现错误,无需处理对运行没有任何影响。

image.png

此时出现界面,点击刷新,发现 hueshell 结束,但是点击 workfollow 会发现它失败了,点击 logs tasks 执行日志观察失败原因,

显示原因:file does not exist 文件不存在,提示说找不到路径 user/root/oozie-worksuser/root/oozie-works 此时发现针对路径进行了嵌套,需要对工作流进行修改。

image.png

首先点击 query 下方的 scheduler 点击 workfllow,在三个点的按钮会点 workflows,其中保存了以前设定的工作流。

image.png

双击打开,并点击笔的图标,进行相关调整点击 settings 中的 workspace 对报出的信息嵌套做出修改,只需将路径返回至根目录即可,进行保存,提交执行,观察结果。

image.png

Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序

可在 properties 中观察所有的具体的配置相关事务

此外 XML 为开始节点到结束节点打印的信息,其中的在工作的流程路径下的信息。

image.png

以上为所有 hue 调度 shell 脚本流程,注意路径配置清楚

相关文章
|
2月前
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
115 1
|
1月前
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
2月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
97 9
|
2月前
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
|
Shell 关系型数据库 MySQL
|
Shell Linux 关系型数据库
|
2月前
|
Shell
一个用于添加/删除定时任务的shell脚本
一个用于添加/删除定时任务的shell脚本
95 1
|
1月前
|
Shell Linux 测试技术
6种方法打造出色的Shell脚本
6种方法打造出色的Shell脚本
55 2
6种方法打造出色的Shell脚本
|
18天前
|
XML JSON 监控
Shell脚本要点和难点以及具体应用和优缺点介绍
Shell脚本在系统管理和自动化任务中扮演着重要角色。尽管存在调试困难、可读性差等问题,但其简洁高效、易于学习和强大的功能使其在许多场景中不可或缺。通过掌握Shell脚本的基本语法、常用命令和函数,并了解其优缺点,开发者可以编写出高效的脚本来完成各种任务,提高工作效率。希望本文能为您在Shell脚本编写和应用中提供有价值的参考和指导。
47 1
|
23天前
|
Ubuntu Shell 开发工具
ubuntu/debian shell 脚本自动配置 gitea git 仓库
这是一个自动配置 Gitea Git 仓库的 Shell 脚本,支持 Ubuntu 20+ 和 Debian 12+ 系统。脚本会创建必要的目录、下载并安装 Gitea,创建 Gitea 用户和服务,确保 Gitea 在系统启动时自动运行。用户可以选择从官方或小绿叶技术博客下载安装包。
43 2