Apache Oozie-- 实战操作--集成 hue- 定时调度配置|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 Apache Oozie-- 实战操作--集成 hue- 定时调度配置

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie-- 实战操作--集成  hue- 定时调度配置】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12795


Apache Oozie-- 实战操作--集成 hue- 定时调度配置


内容介绍:

一、利用 Hue 配置定时调度任务的具体操作

二、如何查看配置调度任务的正确性

三、查找任务配置执行的地方

四、利用 Hue 配置定时调度任务的好处

五、Workflow,Schedule,Bundle 之间的关系


一、利用 Hue 配置定时调度任务的具体操作

在 oozie中,普通的 Workflow 并不能满足于周期的定期执行,因此需要一个协调执行者叫做 coordinator在 Hue 当中与 oozie 整合之后也同样可以配置定时调度任务,操作如下:

1、打开浏览器,点击 Query 下面的 Scheduler ,不再选择 Workflow。原因: Workflow 是一个普通的工作流需要手动提交。

图片1.png

2、选择 Scheduler,打开之后为 Scheduler 的相关编辑页面,首先可以为调度任务命名,单击 My Schedule, 例如选择叫做 hue Schedule,此任务便是通过 hue 来调度的。下边的描述根据自己的需求而定,可写可不写。

3、选择需要调度的工作流,点击选择按钮后显示出当下 Hue,Oozie 中已经保存好的工作流。

图片2.png

4、要想对一个工作流进行调度,必须先将工作流编辑好。以 hue shell 为例,开启一个定时调度任务,定制周期 How often(多久一次)的操作如下 ,点击  How often 下面的选项 Options,点击进去里边有非常重要的 Timezone 时区,当下无论是 Hue 还是 Oozie 的配置中都要选择 Asia/Shangha i东八区,时区一定要正确,涉及到时间定时执行,差几个时区是非常严重的。选择好之后会有两个时间——开始时间和结束时间。开始时间一定要未来时间,不能选择过去时间,比如选择开始时间为14:46,选择好之后下边有结束时间。设置好之后可以选择多长时间进行一次,可以是每一天每一周等,时间可以随便选择,例如可以让任务每小时执行一次,如果选择1那么就是在0,1执行,如果都不选择那么就是all,即每分钟执行一次。这个时候进行相关的选择会非常方便,鼠标点点就可以完成,不需要写相关的表达式。这样就是从下午的2:46开始,每分钟执行一次。如果有参数可以选择参数,修改好时区、开始时间、结束时间以及参数后点击 save 保存,保存之后便可将设好的工作流点击 Submit 提交。

图片3.png

5、提交的时间可以做一个相关的验证,点击 Schedules 可以看到配置的调度任务 hue Schedule,此任务现在的状态为 Running (跑)。当满足时间,任务执行时,点击 jobs ,然后点击刷新,便可以查看任务在 Running 的执行效果。打开 Schedules 里面有相关的信息,包括 Tasks(任务)、Logs(日志)、Properties(配置参数)、XML(文件属性)。其中 Tasks 很重要里面例举出了接下来任务执行需要进行的时间段。

图片4.png 

二、如何查看配置调度任务的正确性

1、处于 waiting 状态说明没有执行,没有满足时间。到达时间后,状态立即变成running,即到了时间触发。出现 succeeded,则证明任务成功。

2、如果任务执行错误,点击任务进去之后查看具体的相关执行日志Logs,Properties,XML 查找问题。

三、这样就完成了相关的配置,就会满足通过 hue 和 oozie 整合去提交定时调度任务。


三、验证任务配置执行的结果

来到 node-1服务器上查看并没有输出日志,在这时有一个小技巧来查看执行的程序在哪里,首先在历史日志服务器中输入 node-1:19888 显示出执行完的相关日志的排码情况。随便点进去一个,点击 Map 便可出来相关的日志,运行在 node-3 这台机器上,来到 node-3 服务器上克隆一个新的会画,可以看出多了一个 hellohue.txt,在这里就是相关的时间,就完成了一个相关的执行。这便是所学的利用 hue 和 oozie 整合之后去配置定时调度任务。

图片5.png

 

四、利用 Hue 配置定时调度任务的好处

极大方便了使用者去编写各种定时频率的时间的表达式


五、Workflow,Schedule,Bundle 之间的关系

除了可以用 Workflow 调度之外还可以创建 Bundle,即一个批示可以创建多个调度。当点击 Bundle 之后,选择 coordinator,看到这里可以看出 Workflow,Schedule,Bundle 之间的关系。关系如下:

1、workflow 普通的工作流

2、schedule 针对 workflow 做一个定时

3、Bundle 为 schedule 做一个批处理。

例如有两个定时调度任务,一个是1:00执行的,一个是在1:20执行的,需要在一个批示进行处理,那么创立一个 Bundle 绑定两个 schedule 便可以搞定。这样利用 hue 和 oozie  整合之后进行任务调度将会极大的方便,在企业中也很少手动的去编写 oozie 的配置文件,通过 hue 会极大地方便开发。

图片6.png 

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
4月前
|
SQL Java 关系型数据库
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
112 5
|
6月前
|
缓存 Java API
微服务——SpringBoot使用归纳——Spring Boot集成 Swagger2 展现在线接口文档——Swagger2 的配置
本文介绍了在Spring Boot中配置Swagger2的方法。通过创建一个配置类,添加`@Configuration`和`@EnableSwagger2`注解,使用Docket对象定义API文档的详细信息,包括标题、描述、版本和包路径等。配置完成后,访问`localhost:8080/swagger-ui.html`即可查看接口文档。文中还提示了可能因浏览器缓存导致的问题及解决方法。
701 0
微服务——SpringBoot使用归纳——Spring Boot集成 Swagger2 展现在线接口文档——Swagger2 的配置
|
4月前
|
JSON JavaScript API
MCP 实战:用配置与真实代码玩转 GitHub 集成
MCP 实战:用配置与真实代码玩转 GitHub 集成
1193 4
|
3月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
10月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
490 5
|
5月前
|
缓存 前端开发 API
(网页系统集成CAD功能)在线CAD中配置属性的使用教程
本文介绍了Mxcad SDK在线预览和编辑CAD图纸的功能及配置方法。通过Vite、CDN或Webpack实现集成,用户可自定义设置以满足项目需求。主要内容包括:1)`createMxCad()`方法的初始属性配置,如画布ID、WASM文件路径、字体加载路径等;2)`MxFun.setIniset()`方法提供的更多CAD初始配置;3)`McObject`对象API用于动态调整视图背景色、浏览模式等。此外,还提供了在线Demo(https://demo2.mxdraw3d.com:3000/mxcad/)供用户测试实时效果。
|
7月前
|
Cloud Native Java Nacos
springcloud/springboot集成NACOS 做注册和配置中心以及nacos源码分析
通过本文,我们详细介绍了如何在 Spring Cloud 和 Spring Boot 中集成 Nacos 进行服务注册和配置管理,并对 Nacos 的源码进行了初步分析。Nacos 作为一个强大的服务注册和配置管理平台,为微服务架构提供
2892 14
|
6月前
|
Java 数据库连接 数据库
微服务——SpringBoot使用归纳——Spring Boot集成MyBatis——MyBatis 介绍和配置
本文介绍了Spring Boot集成MyBatis的方法,重点讲解基于注解的方式。首先简述MyBatis作为持久层框架的特点,接着说明集成时的依赖导入,包括`mybatis-spring-boot-starter`和MySQL连接器。随后详细展示了`properties.yml`配置文件的内容,涵盖数据库连接、驼峰命名规范及Mapper文件路径等关键设置,帮助开发者快速上手Spring Boot与MyBatis的整合开发。
837 0
|
6月前
|
缓存 Java 应用服务中间件
微服务——SpringBoot使用归纳——Spring Boot集成Thymeleaf模板引擎——依赖导入和Thymeleaf相关配置
在Spring Boot中使用Thymeleaf模板,需引入依赖`spring-boot-starter-thymeleaf`,并在HTML页面标签中声明`xmlns:th="http://www.thymeleaf.org"`。此外,Thymeleaf默认开启页面缓存,开发时建议关闭缓存以实时查看更新效果,配置方式为`spring.thymeleaf.cache: false`。这可避免因缓存导致页面未及时刷新的问题。
248 0
|
10月前
|
消息中间件 Java Kafka
什么是Apache Kafka?如何将其与Spring Boot集成?
什么是Apache Kafka?如何将其与Spring Boot集成?
536 5

热门文章

最新文章

推荐镜像

更多