集成 Oozie 服务&调度 Hive 脚本 | 学习笔记

简介: 快速学习 集成 Oozie 服务&调度 Hive 脚本

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&调度 Hive 脚本学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12854


集成 Oozie 服务&调度 Hive 脚本


内容介绍

一、利用 hue Oozie 调度 hive 脚本

二、脚本工作流的创建流程


一、利用 hue Oozie 调度 hive 脚本

首先准备 hive 脚本,hive 配置界面创建脚本,命名为 hue-hive.sql

此时为空文件,点击打开编辑模式,输入 use default 语句 如果认为使用不便即可打开浏览器进行编辑操作。接下来创建表格 create table t-hue-hive 创建表并添加字段(id int name string):并插入数据,insertinto table 一定要写数据,并在表上进行数据的插入 table t-hue-hive values1 zhangsan”)为第一个同学,下一个进行复制 table t-hue-hive values2 lisi”)。大致解读,调用默认数据库首先创建表格,有两个字段,插入两条数据,保证 cycle 不会出错,完成后点击保存。

image.png


二、脚本工作流的创建流程

接下来创建工作流,首先点击 query 下方的 scheduler 点击 workfllow,命名 hue hive ,点击进行编写,进行托拽。

image.png

此时注意,编写的脚本为图标提示2的图标,对其进行拖拽 hive server2 ,选择 path tothe scipt on Hdfs ,意味脚本位于选择的路径,点击选择路径,如果在其他路径,则进行相关的选择,一定要找到路径在 oozie-hive 下的hive.sql,点击 add,即可添加完成,点击保存,完成后,点击提交,点击刷新,即可显示执行程序,黄色的表示在执行,绿色的表示执行成功,红色的则是执行失败。

image.png

进行刷新,Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序,完成后,发现成功,验证表是否正确,可通过前方颜色和状态表示是否成功。如果失败,点击观察执行的日志,tasks 会有详细的日志表示失败的原因。

image.png

接下来,来到 hive 进行验证,进行 use default 数据库,进行验证表格,需要保证 cycle 开发时的完整,在后面进行调度则十分方便

查看历史记录,点击 query 下方的 scheduler 点击 workfllowworklows 其中即可保存之前的历史操作记录,点击笔图标即可修改,也可进行添加操作,进入编辑页面后,进行相关编辑,即可添加脚本和路径,在其左右前后都可以进行拖拽功能。以上为编辑流程图

image.png

相关文章
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
66 2
|
4月前
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
4月前
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
4月前
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github
|
4月前
|
安全 jenkins 持续交付
jenkins学习笔记之八:jenkins认证集成gitlab
jenkins学习笔记之八:jenkins认证集成gitlab
|
4月前
|
jenkins Devops 持续交付
jenkins学习笔记之七:jenkins集成LDAP用户认证
jenkins学习笔记之七:jenkins集成LDAP用户认证
|
2月前
|
Java Maven Docker
gitlab-ci 集成 k3s 部署spring boot 应用
gitlab-ci 集成 k3s 部署spring boot 应用
|
1月前
|
消息中间件 监控 Java
您是否已集成 Spring Boot 与 ActiveMQ?
您是否已集成 Spring Boot 与 ActiveMQ?
53 0
|
5月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
323 6
|
5月前
|
Java 关系型数据库 MySQL
如何实现Springboot+camunda+mysql的集成
【7月更文挑战第2天】集成Spring Boot、Camunda和MySQL的简要步骤: 1. 初始化Spring Boot项目,添加Camunda和MySQL驱动依赖。 2. 配置`application.properties`,包括数据库URL、用户名和密码。 3. 设置Camunda引擎属性,指定数据源。 4. 引入流程定义文件(如`.bpmn`)。 5. 创建服务处理流程操作,创建控制器接收请求。 6. Camunda自动在数据库创建表结构。 7. 启动应用,测试流程启动,如通过服务和控制器开始流程实例。 示例代码包括服务类启动流程实例及控制器接口。实际集成需按业务需求调整。
430 4