hadoop-0.20.1+120 hive-0.3.99.1+0 试用hwi(hive web interface

简介:

摘自:http://www.chinacloud.cn/show.aspx?id=3274&cid=12

 

[日期:2010-07-04] 来源:淘宝数据平台团队  作者: [字体:  ]

hive迟迟不能支持hadoop 0.20的局面解决了,小试一把。

闲话少说,得益于cloudera团队的努力,hive在昨天9.21号开始能够支持hadoop 0.20.1,下载测试版本软件。

http://archive.cloudera.com/cdh/testing/

http://archive.cloudera.com/cdh/testing/hadoop-0.20.1+120.tar.gz

http://archive.cloudera.com/cdh/testing/hive-0.3.99.1+0.tar.gz

非常简单的解压,配置conf即可使用,hadoop的配置见前面的文章。

hive在使用前注意export   HADOOP_HOME=/home/hadoop/hadoop-0.20.1+120,而不是readme里面的export HADOOP,一味跟着readme,将不能体验hive的强大功能,因为hive命令后就没有输出了,呵呵。

建立几个测试表使用一下。

bin/hive 
Hive history file=/tmp/hadoop/hive_job_log_hadoop_200909190325_1929716196.txt 
hive> show tables; 
OK 
invites 
pokes 
Time taken: 5.217 seconds 
hive> select a.* from pokes a limit 3; 
OK 
Time taken: 1.489 seconds 
hive> LOAD DATA LOCAL INPATH ‘./examples/files/kv1.txt’ OVERWRITE INTO TABLE pokes; 
Copying data from file:/home/hadoop/hive-0.3.99.1+0/examples/files/kv1.txt 
Loading data to table pokes 
OK 
Time taken: 0.378 seconds 
hive> select a.* from pokes a limit 3;                                              
OK 
238 val_238 NULL 
86  val_86 NULL 
311 val_311 NULL 
Time taken: 0.078 seconds

这些基础前面的文章都介绍过,不多费篇幅了,下面重点体验一下hive的

HiveWebInterface,也就是hwi如何使用,看来web interface是个趋势,

只要客户端有个浏览器就能方便的操作和管理hive。

hwi需要apache ant的支持。

http://labs.xiaonei.com/apache-mirror/ant/binaries/apache-ant-1.7.1-bin.tar.gz

解压即可。

export ANT_LIB=/home/hadoop/apache-ant-1.7.1/lib
bin/hive --service hwi09/09/19 03:32:03 INFO hwi.HWIServer: HWI is starting up09/09/19 03:32:03 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog09/09/19 03:32:03 INFO mortbay.log: jetty-6.1.1409/09/19 03:32:03 INFO mortbay.log: Extract jar:file:/home/hadoop/hive-0.3.99.1+0/lib/hive_hwi.war!/ to /tmp/Jetty_0_0_0_0_9999_hive_hwi.war__hwi__bw65n0/webapp09/09/19 03:32:03 INFO mortbay.log: Started SocketConnector@0.0.0.0:9999

 

hwi服务启动成功,看出来是一个war包。

配置文件在/home/hadoop/hive-0.3.99.1+0/conf/hive-default.xml, 把默认的 HIVE_HOME替换为真实安装的绝对路径,否则在启动hwi服务的时候会报错。若有其他同学发现解决方法,请不吝回帖共享经验。

<property>

  <name>hive.hwi.war.file</name>

  <value>/home/hadoop/hive-0.3.99.1+0/lib/hive_hwi.war</value>

  <description>This is the WAR file with the jsp content for Hive Web Interface</description>

</property>

image

image

image

image

image

image

image

image

image

hwi的使用一下子拉近了普通user和hadoop hive的距离,使用起来很方便,不用不知道用了才知道。

另:http://www.cnblogs.com/gpcuster/archive/2010/02/25/1673480.html



本文转自茄子_2008博客园博客,原文链接:http://www.cnblogs.com/xd502djj/p/3545008.html,如需转载请自行联系原作者。


目录
相关文章
|
1月前
|
SQL 分布式计算 Hadoop
干翻Hadoop系列文章【02】:Hadoop、Hive、Spark的区别和联系
干翻Hadoop系列文章【02】:Hadoop、Hive、Spark的区别和联系
|
1月前
|
SQL 存储 大数据
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
118 0
|
1月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
495 0
|
1月前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
196 1
|
1月前
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
1月前
|
SQL 数据采集 分布式计算
Hadoop和Hive中的数据倾斜问题及其解决方案
Hadoop和Hive中的数据倾斜问题及其解决方案
62 0
|
1月前
|
SQL 分布式计算 安全
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
191 0
|
1月前
|
SQL 存储 分布式计算
Hadoop中的Hive是什么?请解释其作用和用途。
Hadoop中的Hive是什么?请解释其作用和用途。
62 0
|
1月前
|
SQL 分布式计算 Hadoop
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
|
1月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
333 0