71 Azkaban HIVE脚本任务

简介: 71 Azkaban HIVE脚本任务

创建job描述文件和hive脚本

Hive脚本: test.sql

use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select * from aztest;
insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;

Job描述文件:hivef.job

# hivef.job
type=command
command=/home/hadoop/apps/hive/bin/hive -f 'test.sql'

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包

4、启动j

目录
相关文章
|
1月前
|
SQL 大数据 HIVE
Hive 任务调优实践总结
Hive 任务调优实践总结
37 0
|
SQL 分布式计算 Hadoop
Azkaban--使用实战--hive 调度 | 学习笔记
快速学习 Azkaban--使用实战--hive 调度
690 0
Azkaban--使用实战--hive 调度 | 学习笔记
|
1月前
|
SQL 分布式计算 数据处理
【Hive】所有的Hive任务都会有MapReduce的执行吗?
【4月更文挑战第17天】【Hive】所有的Hive任务都会有MapReduce的执行吗?
|
1月前
|
SQL 存储 分布式计算
Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
【4月更文挑战第7天】Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
34 0
|
1月前
|
SQL 关系型数据库 MySQL
Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
【4月更文挑战第7天】Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
35 0
|
SQL 存储 Java
hive:后台启动、和脚本化运行
hive:后台启动、和脚本化运行
1088 0
|
SQL 存储 分布式计算
Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
490 0
Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
|
SQL 存储 Shell
hive统计每日的活跃用户和新用户sql开发(附shell脚本)
hive统计每日的活跃用户和新用户sql开发(附shell脚本)
hive统计每日的活跃用户和新用户sql开发(附shell脚本)
|
SQL Shell 调度
Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本|学习笔记
快速学习 Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本
161 0
Apache Oozie-- 实战操作--集成 hue& 调度 hive 脚本|学习笔记
|
SQL 存储 Java
Apache Oozie一 实战操作一调度 hive 脚本|学习笔记
快速学习 Apache Oozie一 实战操作一调度 hive 脚本
286 0
Apache Oozie一 实战操作一调度 hive 脚本|学习笔记