Hive 入门-阿里云开发者社区

开发者社区> 数据库> 正文
登录阅读全文

Hive 入门

简介: 官网:hive.apache.org 首先,Hive是数据仓库。可以用类SQL的语言来跑MR,可以理解为Hadoop的客户端。

官网:hive.apache.org

首先,Hive是数据仓库。可以用类SQL的语言来跑MR,可以理解为Hadoop的客户端。一方面Hive 数据都来自HDFS,另一方面Hive的代码需要提交到Hadoop中去执行,来跑MR。

HiveQL或者HQL,实际上是Hive将SQL提交,后翻译成MR,在HDFS上执行。所以Hive由解释器(解释成Java代码,提交到MR执行)、编译器、优化器等功能。

Hive在运行时元数据存储在关系型数据库中。不推荐默认的,可以使用mysql代替。具体的配置文件在conf/hive-site.xml里的ConnectionURL里面.

hive的语法和sql很像,举例

CREATE TABLE t_person(
id int,
name string,
hobby array<string>,
character map<string, string>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '_'
MAP KEYS TERMINATED BY ':';

对应的example:
1, zhangsan, sports_books_TV, sex:man_color:red

另外,只有查所有数据的时候才不执行MR, 比如:select * from table 时

创建分区表,分区实际上是个文件夹,表名就是文件夹名。每一个分区,实际上就是这个文件夹下的不同文件。分区可以根据时间、区域等进行划分,如每天一个分区或者每个城市一个分区,只要写下 where pt=20170707这样的条件即可查询指定时间得到数据。

CREATE TABLE e_stu(
id int,
sname string,
city string) PARTITIONED BY (ds string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
sTORED AS TEXTFILE;

导入数据(在hive中执行)
LOAD DATA LOCAL INPATH '/home/zkpk/ecaoyng/input/estu.txt' OVERWRITE INTO TABLE e_stu PARTITION (ds='2017-07-07')

LOAD DATA LOCAL INPATH '/home/zkpk/ecaoyng/input/estu2.txt' INTO TABLE e_stu PARTITION (ds='2017-07-08')


hive> select * from e_stu;
OK
1   young   linyi   2017-07-07
2   jerry   dalian  2017-07-07
3   ian dalian  2017-07-07
1   hello   usa 2017-07-08
2   world   France  2017-07-08
3   hadoop  English 2017-07-08
4   hive    spain   2017-07-08
Time taken: 0.087 seconds, Fetched: 7 row(s)
hive> select * from e_stu where ds = '2017-07-07';
OK
1   young   linyi   2017-07-07
2   jerry   dalian  2017-07-07
3   ian dalian  2017-07-07
Time taken: 0.211 seconds, Fetched: 3 row(s)
hive> 

hive> insert into table e_stu 
    > partition (ds = '2017-09-10')
    > select id,sname,city from e_stu;


hive> select * from e_stu where ds = '2017-09-10';
OK
1   young   linyi   2017-09-10
2   jerry   dalian  2017-09-10
3   ian dalian  2017-09-10
1   hello   usa 2017-09-10
2   world   France  2017-09-10
3   hadoop  English 2017-09-10
4   hive    spain   2017-09-10

那么hive的文件在哪里查看?从50070的页面中的browse directory 中的user目录下/user/hive/warehouse/day0525.db/e_stu 可以看到有两个文件夹

hive的四种数据导入方式,旧的版本不支持insert into values,但新版本已经支持。
http://blog.csdn.net/lifuxiangcaohui/article/details/40588929

因为mysql中存储元数据,所以启动hive的时候需要启动mysql。但启动是有时会遇到如下的提示:

Another MySQL daemon already running with the same unix socket.
解决方案:
find / -name mysql.sock
将mysql.sock(e.g. /var/lib/mysql/mysql.sock)删除,重启service即可

export将表中的数据导出到hdfs.


未完待续

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章