开发者学堂课程【Hue 大数据可视化终端课程:集成 Oozie 服务&调度 Hive 脚本】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/719/detail/12854
集成 Oozie 服务&调度 Hive 脚本
内容介绍
一、利用 hue 和 Oozie 调度 hive 脚本
二、脚本工作流的创建流程
一、利用 hue 和 Oozie 调度 hive 脚本
首先准备 hive 脚本,hive 配置界面创建脚本,命名为 hue-hive.sql
此时为空文件,点击打开编辑模式,输入 use default 语句 如果认为使用不便即可打开浏览器进行编辑操作。接下来创建表格 create table t-hue-hive 创建表并添加字段(id int name string):并插入数据,insertinto table 一定要写数据,并在表上进行数据的插入 table t-hue-hive values(1 “zhangsan”)为第一个同学,下一个进行复制 table t-hue-hive values(2 “lisi”)。大致解读,调用默认数据库首先创建表格,有两个字段,插入两条数据,保证 cycle 不会出错,完成后点击保存。
二、脚本工作流的创建流程
接下来创建工作流,首先点击 query 下方的 scheduler 点击 workfllow,命名 hue hive ,点击进行编写,进行托拽。
此时注意,编写的脚本为图标提示2的图标,对其进行拖拽 hive server2 ,选择 path tothe scipt on Hdfs ,意味脚本位于选择的路径,点击选择路径,如果在其他路径,则进行相关的选择,一定要找到路径在 oozie-hive 下的hive.sql,点击 add,即可添加完成,点击保存,完成后,点击提交,点击刷新,即可显示执行程序,黄色的表示在执行,绿色的表示执行成功,红色的则是执行失败。
进行刷新,Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序,完成后,发现成功,验证表是否正确,可通过前方颜色和状态表示是否成功。如果失败,点击观察执行的日志,tasks 会有详细的日志表示失败的原因。
接下来,来到 hive 进行验证,进行 use default 数据库,进行验证表格,需要保证 cycle 开发时的完整,在后面进行调度则十分方便
查看历史记录,点击 query 下方的 scheduler 点击 workfllow,worklows 其中即可保存之前的历史操作记录,点击笔图标即可修改,也可进行添加操作,进入编辑页面后,进行相关编辑,即可添加脚本和路径,在其左右前后都可以进行拖拽功能。以上为编辑流程图