一、 任务描述

本实验任务主要完成基于Hive环境的除了一些常用的Hive SQL语句操作外，通过完成本实验任务，还要求学生熟练掌握Hive中一些自带的函数的使用，学会使用Hive中的函数会很好的帮助学生更快的处理数据，也为进一步学习自定义函数做基础。

二、 任务目标

掌握Hive的数据类型

掌握hive的数据类型的使用

掌握hive的DDL语句的操作

三、 任务环境

本次环境是：Ubuntu16.04+hadoop-2.7.3.+apache-hive-1.2.2-bin

四、 任务分析

Hive支持多种不同长度的整型和浮点型数据类型，支持布尔类型，也支持无长度限制的字符串类型。

Hive中的列支持使用struct，map和array集合数据类型。

♥ 知识链接

hive建表语法中的分隔符设定

实验所需数据和格式如下：

employees.txt内容

John Doe，100000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1 Michigan Ave.|Chicago|IL|60600
Mary Smith，100000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1MichiganAve.|Chicago|IL|60601
Todd Jones，800000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1MichiganAve.|Chicago|IL|60603
Bill King，800000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1 Michigan Ave.|Chicago|IL|60605
Boss Man，100000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1 Michigan Ave.|Chicago|IL|60604
Fred Finance，800000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1 Michigan Ave.|Chicago|IL|60400
Stacy Accountant，800000.0，Mary Smith|Todd Jones，Federal Taxes:.2|State Taxes:.05|Insurance:.1,1 Michigan Ave.|Chicago|IL|60300

五、 任务实施

步骤1、新建hql文件

在命令终端，新建hql文件，分别执行命令：cd /simple和touch create.hql，如图1所示。

图1 创建文件

  向其中写入hql语句，在命令终端中，在/simple目录下执行命令：vim create.hql

1.          向其中添加以下语句
2.  
3.          create table employee(
4.  
5.          name string,
6.  
7.          salary float,
8.  
9.          subordinate array<string>,
10. 
11.         deduction map<string,float>,
12. 
13.         address struct<street:string,city:string,state:string,zip:int>
14. 
15.         )
16. 
17.         row format delimited fields terminated by ","
18. 
19.         collection items terminated by "|"
20. 
21.         map keys terminated by ":";

最终创建如图2所示。

图2 代码显示

步骤2、hive中执行此文件

在命令终端中，执行命令：start-all.sh启动hadoop服务，如图3所示。

图3 启动hadoop服务

  执行命令:service mysql start启动mysql服务，然后执行命令:cd /simple/hive/bin进入hive的安装目录bin目录下，执行命令：./hive ,并在hive命令行中执行以下语句：source /simple/create.hql;如果想在执行hive的命令时，不打印日志信息在shell界面，可以执行命令：./hive -S即可，如图4所示。

图4 进入hive shell界面

  可以看出创建成功。

  hive命令行中输入：describe employee;如图5所示。

图5 显示表结构

步骤3、向表中插入数据

通过load命令把本地数据加载到表中，如图6所示。

图6 向表中加载数据

步骤4、Select语句查询详解

使用索引查询集合数据类型中的元素。数组索引是基于0的，这和java中是一样的，下面是选择subordinate数组中的第一个元素的查询，如图7所示。

图7 查询数组数据

  引用map类型中的一个元素。用户可以使用ARRAY[…]语法，但是使用的是键值而不是整数索引，如图8所示。

图8 查询map数据

  引用struct中的一个元素，用户可以使用“.“符号，如图9所示。

图9 查询struct数据

步骤5、使用列值进行计算

  查询所有用户的年薪（税前），假设一年工资为15个月，如图10所示。

图10 所有用户的年薪（税前）

  查询用户扣除联邦税后实际到手的年薪，如图11所示。

图11 用户扣除联邦税后实际到手的年薪

  执行语句“select count(*) from employee;“查询一共有多少员工，如图12所示。

图12 员工总数

  可以看出底层的查询是通过map-reduce来完成的。

  执行语句”select avg(salary) from employee;”查询员工的平均工资，如图13所示。

图13 员工平均工资

  可以看出底层的查询是通过map-reduce来完成的。

  执行语句”select sum(salary) from employee;”查询出公司发放的薪水总额，如图14所示。

图14 公司发放的薪水总额