Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本|学习笔记

简介: 快速学习 Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12793


Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本


内容介绍

一、利用 hue和 oozie 的整合调度执行 hive 脚本


一、利用 hue和 oozie 的整合调度执行 hive 脚本

1.在 HDFS 上创建一个 hive sql 脚本程序文件

打开 hive 页面,在HDFS里创建一个文件:点击右上角的 New 按钮,点击 File,把创建的文件命名为 hue_hive.sql。因为这个文件是空的,所以点击它,选择 Edit file,进行编辑,插入数据。首先使用 use default 数据库。如果此时编辑不好写,则打开浏览器进行相关的编写。再创建 create table t_hue_hive;(id int.name string); 在表格当中插入数据1号同学张三  insert into table t_hue_huehive values(1,"zhangsan") ; 再插入一个数据同学李四 insert into table t_hue_hue hive values(2,"lisi") ; sql 语序必须正确,否则 oozie 和 hive 便不能排错。

图片1.png

解读:使用 default 数据库,创建一个表格,插入两条数据。点击 Save 保存。

2.保存好后创建一个工作流程。

选择 Query 下的 Schedule 中的 Workflow。给工作流程重新命名为 hue hive。描述改为 itcast。然后进行拖拽。将 HiveServe2 Script 拖拽到下面。选择脚本的路径。点击选择路径为 oozie_hue 下的 hive.sql,点击 add 提交。点击保存,则右上角出现 submit 按钮,点击并提交。

点击 Jobs 并刷新,发现正在运行一个程序,绿色表示执行成功,黄色显示为正在执行中,红色表示执行失败。Jobs 显示所有的工作流程,Workflows 指 oozie 中的工作流程。点击 Workflows 浏览所有的工作流程。

图片2.png

可以看颜色或者 Status 来判断是否失败,如果失败,点击查看 logs 和 tasks。里面会描述出错和识别失败的原因。日志是排除错误的唯一依据。

3.工作流程执行成功之后进行验证

首先使用 default 数据,再show tables,则弹出表格,验证表格里的数据 select*from t-hue-hive,弹出一个表格,检查发现数据正确。这样便非常方便,我们则不需要在 HDFS 中编辑,只要保证 sql 是完整的,然后进行调度执行,便很方便。

图片3.png

4. 查看历史记录

选择 Query 下的 Schedule 中的 Workflow,点击右上角的三个点按钮下的 Workflows,记录了所有的工作流。如果需要修改,则双击工作流程,点击右上角的 Edit 按钮。也可以在之前添加其他的信息。比如添加 shell 脚本,并给它添加路径。这样便形成递进关系的工作流程。而且在它的左右前后都可以进行相关图标的拖拽。

相关文章
|
消息中间件 Java Kafka
什么是Apache Kafka?如何将其与Spring Boot集成?
什么是Apache Kafka?如何将其与Spring Boot集成?
789 5
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
713 1
|
Java 测试技术 API
如何在 Apache JMeter 中集成 Elastic APM
如何在 Apache JMeter 中集成 Elastic APM
247 1
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
分布式计算 监控 Hadoop
详解 Apache ZooKeeper 和 Apache Oozie
【8月更文挑战第31天】
505 0
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github
|
安全 jenkins 持续交付
jenkins学习笔记之八:jenkins认证集成gitlab
jenkins学习笔记之八:jenkins认证集成gitlab
|
jenkins Devops 持续交付
jenkins学习笔记之七:jenkins集成LDAP用户认证
jenkins学习笔记之七:jenkins集成LDAP用户认证
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
531 1

推荐镜像

更多
下一篇
开通oss服务