Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本|学习笔记

简介: 快速学习 Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12793


Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本


内容介绍

一、利用 hue和 oozie 的整合调度执行 hive 脚本


一、利用 hue和 oozie 的整合调度执行 hive 脚本

1.在 HDFS 上创建一个 hive sql 脚本程序文件

打开 hive 页面,在HDFS里创建一个文件:点击右上角的 New 按钮,点击 File,把创建的文件命名为 hue_hive.sql。因为这个文件是空的,所以点击它,选择 Edit file,进行编辑,插入数据。首先使用 use default 数据库。如果此时编辑不好写,则打开浏览器进行相关的编写。再创建 create table t_hue_hive;(id int.name string); 在表格当中插入数据1号同学张三  insert into table t_hue_huehive values(1,"zhangsan") ; 再插入一个数据同学李四 insert into table t_hue_hue hive values(2,"lisi") ; sql 语序必须正确,否则 oozie 和 hive 便不能排错。

图片1.png

解读:使用 default 数据库,创建一个表格,插入两条数据。点击 Save 保存。

2.保存好后创建一个工作流程。

选择 Query 下的 Schedule 中的 Workflow。给工作流程重新命名为 hue hive。描述改为 itcast。然后进行拖拽。将 HiveServe2 Script 拖拽到下面。选择脚本的路径。点击选择路径为 oozie_hue 下的 hive.sql,点击 add 提交。点击保存,则右上角出现 submit 按钮,点击并提交。

点击 Jobs 并刷新,发现正在运行一个程序,绿色表示执行成功,黄色显示为正在执行中,红色表示执行失败。Jobs 显示所有的工作流程,Workflows 指 oozie 中的工作流程。点击 Workflows 浏览所有的工作流程。

图片2.png

可以看颜色或者 Status 来判断是否失败,如果失败,点击查看 logs 和 tasks。里面会描述出错和识别失败的原因。日志是排除错误的唯一依据。

3.工作流程执行成功之后进行验证

首先使用 default 数据,再show tables,则弹出表格,验证表格里的数据 select*from t-hue-hive,弹出一个表格,检查发现数据正确。这样便非常方便,我们则不需要在 HDFS 中编辑,只要保证 sql 是完整的,然后进行调度执行,便很方便。

图片3.png

4. 查看历史记录

选择 Query 下的 Schedule 中的 Workflow,点击右上角的三个点按钮下的 Workflows,记录了所有的工作流。如果需要修改,则双击工作流程,点击右上角的 Edit 按钮。也可以在之前添加其他的信息。比如添加 shell 脚本,并给它添加路径。这样便形成递进关系的工作流程。而且在它的左右前后都可以进行相关图标的拖拽。

相关文章
|
1月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
142 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
3月前
|
监控 关系型数据库 MySQL
zabbix agent集成percona监控MySQL的插件实战案例
这篇文章是关于如何使用Percona监控插件集成Zabbix agent来监控MySQL的实战案例。
86 2
zabbix agent集成percona监控MySQL的插件实战案例
|
2月前
|
Dart Android开发
鸿蒙Flutter实战:03-鸿蒙Flutter开发中集成Webview
本文介绍了在OpenHarmony平台上集成WebView的两种方法:一是使用第三方库`flutter_inappwebview`,通过配置pubspec.lock文件实现;二是编写原生ArkTS代码,自定义PlatformView,涉及创建入口能力、注册视图工厂、处理方法调用及页面构建等步骤。
69 0
|
4月前
|
C# Windows 开发者
当WPF遇见OpenGL:一场关于如何在Windows Presentation Foundation中融入高性能跨平台图形处理技术的精彩碰撞——详解集成步骤与实战代码示例
【8月更文挑战第31天】本文详细介绍了如何在Windows Presentation Foundation (WPF) 中集成OpenGL,以实现高性能的跨平台图形处理。通过具体示例代码,展示了使用SharpGL库在WPF应用中创建并渲染OpenGL图形的过程,包括开发环境搭建、OpenGL渲染窗口创建及控件集成等关键步骤,帮助开发者更好地理解和应用OpenGL技术。
343 0
|
2月前
|
Java Maven Docker
gitlab-ci 集成 k3s 部署spring boot 应用
gitlab-ci 集成 k3s 部署spring boot 应用
|
29天前
|
消息中间件 监控 Java
您是否已集成 Spring Boot 与 ActiveMQ?
您是否已集成 Spring Boot 与 ActiveMQ?
53 0
|
5月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
322 6
|
5月前
|
Java 关系型数据库 MySQL
如何实现Springboot+camunda+mysql的集成
【7月更文挑战第2天】集成Spring Boot、Camunda和MySQL的简要步骤: 1. 初始化Spring Boot项目,添加Camunda和MySQL驱动依赖。 2. 配置`application.properties`,包括数据库URL、用户名和密码。 3. 设置Camunda引擎属性,指定数据源。 4. 引入流程定义文件(如`.bpmn`)。 5. 创建服务处理流程操作,创建控制器接收请求。 6. Camunda自动在数据库创建表结构。 7. 启动应用,测试流程启动,如通过服务和控制器开始流程实例。 示例代码包括服务类启动流程实例及控制器接口。实际集成需按业务需求调整。
428 4
|
5月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
390 1
|
6月前
|
消息中间件 Java Kafka
springboot集成kafka
springboot集成kafka
190 2

热门文章

最新文章

相关实验场景

更多

推荐镜像

更多