Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本|学习笔记

简介: 快速学习 Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12793


Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本


内容介绍

一、利用 hue和 oozie 的整合调度执行 hive 脚本


一、利用 hue和 oozie 的整合调度执行 hive 脚本

1.在 HDFS 上创建一个 hive sql 脚本程序文件

打开 hive 页面,在HDFS里创建一个文件:点击右上角的 New 按钮,点击 File,把创建的文件命名为 hue_hive.sql。因为这个文件是空的,所以点击它,选择 Edit file,进行编辑,插入数据。首先使用 use default 数据库。如果此时编辑不好写,则打开浏览器进行相关的编写。再创建 create table t_hue_hive;(id int.name string); 在表格当中插入数据1号同学张三  insert into table t_hue_huehive values(1,"zhangsan") ; 再插入一个数据同学李四 insert into table t_hue_hue hive values(2,"lisi") ; sql 语序必须正确,否则 oozie 和 hive 便不能排错。

图片1.png

解读:使用 default 数据库,创建一个表格,插入两条数据。点击 Save 保存。

2.保存好后创建一个工作流程。

选择 Query 下的 Schedule 中的 Workflow。给工作流程重新命名为 hue hive。描述改为 itcast。然后进行拖拽。将 HiveServe2 Script 拖拽到下面。选择脚本的路径。点击选择路径为 oozie_hue 下的 hive.sql,点击 add 提交。点击保存,则右上角出现 submit 按钮,点击并提交。

点击 Jobs 并刷新,发现正在运行一个程序,绿色表示执行成功,黄色显示为正在执行中,红色表示执行失败。Jobs 显示所有的工作流程,Workflows 指 oozie 中的工作流程。点击 Workflows 浏览所有的工作流程。

图片2.png

可以看颜色或者 Status 来判断是否失败,如果失败,点击查看 logs 和 tasks。里面会描述出错和识别失败的原因。日志是排除错误的唯一依据。

3.工作流程执行成功之后进行验证

首先使用 default 数据,再show tables,则弹出表格,验证表格里的数据 select*from t-hue-hive,弹出一个表格,检查发现数据正确。这样便非常方便,我们则不需要在 HDFS 中编辑,只要保证 sql 是完整的,然后进行调度执行,便很方便。

图片3.png

4. 查看历史记录

选择 Query 下的 Schedule 中的 Workflow,点击右上角的三个点按钮下的 Workflows,记录了所有的工作流。如果需要修改,则双击工作流程,点击右上角的 Edit 按钮。也可以在之前添加其他的信息。比如添加 shell 脚本,并给它添加路径。这样便形成递进关系的工作流程。而且在它的左右前后都可以进行相关图标的拖拽。

相关文章
|
25天前
|
监控 关系型数据库 MySQL
zabbix agent集成percona监控MySQL的插件实战案例
这篇文章是关于如何使用Percona监控插件集成Zabbix agent来监控MySQL的实战案例。
29 2
zabbix agent集成percona监控MySQL的插件实战案例
|
1月前
|
前端开发 关系型数据库 测试技术
django集成pytest进行自动化单元测试实战
在Django项目中集成Pytest进行单元测试可以提高测试的灵活性和效率,相比于Django自带的测试框架,Pytest提供了更为丰富和强大的测试功能。本文通过一个实际项目ishareblog介绍django集成pytest进行自动化单元测试实战。
29 3
django集成pytest进行自动化单元测试实战
|
1月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
109 1
|
27天前
|
C# Windows 开发者
当WPF遇见OpenGL:一场关于如何在Windows Presentation Foundation中融入高性能跨平台图形处理技术的精彩碰撞——详解集成步骤与实战代码示例
【8月更文挑战第31天】本文详细介绍了如何在Windows Presentation Foundation (WPF) 中集成OpenGL,以实现高性能的跨平台图形处理。通过具体示例代码,展示了使用SharpGL库在WPF应用中创建并渲染OpenGL图形的过程,包括开发环境搭建、OpenGL渲染窗口创建及控件集成等关键步骤,帮助开发者更好地理解和应用OpenGL技术。
86 0
|
1月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
33 1
|
17天前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
1月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
105 2
|
1月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
36 3
|
1月前
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
35 2
|
1月前
|
消息中间件 前端开发 Kafka
【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls
【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls

热门文章

最新文章

推荐镜像

更多