集成 Oozie 服务&调度 Hive 脚本 | 学习笔记

简介: 快速学习 集成 Oozie 服务&调度 Hive 脚本

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&调度 Hive 脚本学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12854


集成 Oozie 服务&调度 Hive 脚本


内容介绍

一、利用 hue Oozie 调度 hive 脚本

二、脚本工作流的创建流程


一、利用 hue Oozie 调度 hive 脚本

首先准备 hive 脚本,hive 配置界面创建脚本,命名为 hue-hive.sql

此时为空文件,点击打开编辑模式,输入 use default 语句 如果认为使用不便即可打开浏览器进行编辑操作。接下来创建表格 create table t-hue-hive 创建表并添加字段(id int name string):并插入数据,insertinto table 一定要写数据,并在表上进行数据的插入 table t-hue-hive values1 zhangsan”)为第一个同学,下一个进行复制 table t-hue-hive values2 lisi”)。大致解读,调用默认数据库首先创建表格,有两个字段,插入两条数据,保证 cycle 不会出错,完成后点击保存。

image.png


二、脚本工作流的创建流程

接下来创建工作流,首先点击 query 下方的 scheduler 点击 workfllow,命名 hue hive ,点击进行编写,进行托拽。

image.png

此时注意,编写的脚本为图标提示2的图标,对其进行拖拽 hive server2 ,选择 path tothe scipt on Hdfs ,意味脚本位于选择的路径,点击选择路径,如果在其他路径,则进行相关的选择,一定要找到路径在 oozie-hive 下的hive.sql,点击 add,即可添加完成,点击保存,完成后,点击提交,点击刷新,即可显示执行程序,黄色的表示在执行,绿色的表示执行成功,红色的则是执行失败。

image.png

进行刷新,Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序,完成后,发现成功,验证表是否正确,可通过前方颜色和状态表示是否成功。如果失败,点击观察执行的日志,tasks 会有详细的日志表示失败的原因。

image.png

接下来,来到 hive 进行验证,进行 use default 数据库,进行验证表格,需要保证 cycle 开发时的完整,在后面进行调度则十分方便

查看历史记录,点击 query 下方的 scheduler 点击 workfllowworklows 其中即可保存之前的历史操作记录,点击笔图标即可修改,也可进行添加操作,进入编辑页面后,进行相关编辑,即可添加脚本和路径,在其左右前后都可以进行拖拽功能。以上为编辑流程图

image.png

相关文章
|
4月前
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
215 1
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
219 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
3月前
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
4月前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
124 9
|
4月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
87 2
|
4月前
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
127 0
|
9月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
232 1
|
9月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
361 0
|
4月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
107 0
|
7月前
|
SQL 分布式计算 大数据
大数据处理平台Hive详解
【7月更文挑战第15天】Hive作为基于Hadoop的数据仓库工具,在大数据处理和分析领域发挥着重要作用。通过提供类SQL的查询语言,Hive降低了数据处理的门槛,使得具有SQL背景的开发者可以轻松地处理大规模数据。然而,Hive也存在查询延迟高、表达能力有限等缺点,需要在实际应用中根据具体场景和需求进行选择和优化。

热门文章

最新文章