Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本|学习笔记

简介: 快速学习 Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12793


Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本


内容介绍

一、利用 hue和 oozie 的整合调度执行 hive 脚本


一、利用 hue和 oozie 的整合调度执行 hive 脚本

1.在 HDFS 上创建一个 hive sql 脚本程序文件

打开 hive 页面,在HDFS里创建一个文件:点击右上角的 New 按钮,点击 File,把创建的文件命名为 hue_hive.sql。因为这个文件是空的,所以点击它,选择 Edit file,进行编辑,插入数据。首先使用 use default 数据库。如果此时编辑不好写,则打开浏览器进行相关的编写。再创建 create table t_hue_hive;(id int.name string); 在表格当中插入数据1号同学张三  insert into table t_hue_huehive values(1,"zhangsan") ; 再插入一个数据同学李四 insert into table t_hue_hue hive values(2,"lisi") ; sql 语序必须正确,否则 oozie 和 hive 便不能排错。

图片1.png

解读:使用 default 数据库,创建一个表格,插入两条数据。点击 Save 保存。

2.保存好后创建一个工作流程。

选择 Query 下的 Schedule 中的 Workflow。给工作流程重新命名为 hue hive。描述改为 itcast。然后进行拖拽。将 HiveServe2 Script 拖拽到下面。选择脚本的路径。点击选择路径为 oozie_hue 下的 hive.sql,点击 add 提交。点击保存,则右上角出现 submit 按钮,点击并提交。

点击 Jobs 并刷新,发现正在运行一个程序,绿色表示执行成功,黄色显示为正在执行中,红色表示执行失败。Jobs 显示所有的工作流程,Workflows 指 oozie 中的工作流程。点击 Workflows 浏览所有的工作流程。

图片2.png

可以看颜色或者 Status 来判断是否失败,如果失败,点击查看 logs 和 tasks。里面会描述出错和识别失败的原因。日志是排除错误的唯一依据。

3.工作流程执行成功之后进行验证

首先使用 default 数据,再show tables,则弹出表格,验证表格里的数据 select*from t-hue-hive,弹出一个表格,检查发现数据正确。这样便非常方便,我们则不需要在 HDFS 中编辑,只要保证 sql 是完整的,然后进行调度执行,便很方便。

图片3.png

4. 查看历史记录

选择 Query 下的 Schedule 中的 Workflow,点击右上角的三个点按钮下的 Workflows,记录了所有的工作流。如果需要修改,则双击工作流程,点击右上角的 Edit 按钮。也可以在之前添加其他的信息。比如添加 shell 脚本,并给它添加路径。这样便形成递进关系的工作流程。而且在它的左右前后都可以进行相关图标的拖拽。

相关文章
|
1月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
91 5
|
2月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
52 3
|
4月前
|
jenkins 持续交付
jenkins学习笔记之六:共享库方式集成构建工具
jenkins学习笔记之六:共享库方式集成构建工具
|
4月前
|
Java jenkins Shell
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
jenkins学习笔记之五:Maven、Ant、Gradl、Node构建工具集成
|
4月前
|
jenkins 持续交付
jenkins学习笔记之九:jenkins认证集成github
jenkins学习笔记之九:jenkins认证集成github
|
4月前
|
安全 jenkins 持续交付
jenkins学习笔记之八:jenkins认证集成gitlab
jenkins学习笔记之八:jenkins认证集成gitlab
|
4月前
|
jenkins Devops 持续交付
jenkins学习笔记之七:jenkins集成LDAP用户认证
jenkins学习笔记之七:jenkins集成LDAP用户认证
|
4月前
|
关系型数据库 Linux 网络安全
"Linux系统实战:从零开始部署Apache+PHP Web项目,轻松搭建您的在线应用"
【8月更文挑战第9天】Linux作为服务器操作系统,凭借其稳定性和安全性成为部署Web项目的优选平台。本文以Apache Web服务器和PHP项目为例,介绍部署流程。首先,通过包管理器安装Apache与PHP;接着创建项目目录,并上传项目文件至该目录;根据需要配置Apache虚拟主机;最后重启Apache服务并测试项目。确保防火墙允许HTTP流量,正确配置数据库连接,并定期更新系统以维持安全。随着项目复杂度提升,进一步学习高级配置将变得必要。
396 0
|
5月前
|
分布式计算 Apache Spark
|
2月前
|
Java Maven Docker
gitlab-ci 集成 k3s 部署spring boot 应用
gitlab-ci 集成 k3s 部署spring boot 应用

热门文章

最新文章

推荐镜像

更多