任务描述
本关任务：在已安装Hadoop的基础上安装配置好Hive并运行。
相关知识
为了完成本关任务，你需要掌握：
1.Hive的基本安装；
2.Mysql的安装与设置；
3.Hive 的配置。
**注意：**本关实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。
Hive 的基本安装
从 官网 下载Hive二进制包，不过这里你无须再从网上下载，我已经帮你下载好了放在/opt目录下。
- 进入
/opt目录，解压apache-hive-3.1.0-bin.tar.gz到该目录下，并将解压的文件重命名为hive；
cd /opt tar -zxvf apache-hive-3.1.0-bin.tar.gz mv apache-hive-3.1.0-bin hive
- 设置环境变量，编辑
vi /etc/profile，在末尾添加以下两行代码；
export HIVE_HOME=/opt/hive export PATH=$HIVE_HOME/bin:$PATH
source /etc/profile使环境生效；- 查看
hive是否安装成功：hive --version。
Mysql 的安装与设置
平台已安装MySQL数据库，同学们在本地没有安装可以采用以下命令进行安装：
sudo apt-get install mysql-server #安装mysql服务apt-get install mysql-client #安装mysql客户端sudo apt-get install libmysqlclient-dev #安装相关依赖环境
注意：安装过程中会提示设置密码什么的，不要忘了设置。
安装完成之后可以使用如下命令来检查是否安装成功。
sudo netstat -tap | grep mysql
通过上述命令检查之后，如果看到有MySQL的socket处于listen 状态则表示安装成功。
Hive需要数据库来存储metastore的内容，因此我们需要配置一下MySQL数据库。
下载mysql驱动；
我已经帮你下载好放在/opt目录下，进入该目录并进行以下操作：
tar -zxvf mysql-connector-java-5.1.45.tar.gzcd mysql-connector-java-5.1.45cp mysql-
接下来介绍MySQL为Hive做的设置。
- 使用
root用户登录MySQL数据库；
mysql -uroot -p123123 -h127.0.0.1
创建数据库实例hiveDB；
create database hiveDB;
创建用户bee，密码为123123；
create user 'bee'@'%' identified by '123123';
授权用户bee拥有数据库实例hiveDB的所有权限；
grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
刷新系统权限表。
flush privileges;
Hive 的配置
在/opt/hive/conf目录下，修改hive-site.xml和hive-env.sh两个文件。
hive-site.xml
hive-site.xml保存Hive运行时所需要的相关配置信息。
- 如果目录下没有该文件，我们直接创建一个：
vi hive-site.xml，将以下内容复制到其中（按i进入编辑模式后再进行粘贴）。
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! --> <!-- WARNING!!! Any changes you make to this file will be ignored by Hive. --> <!-- WARNING!!! You must make your changes in hive-site.xml instead. --> <!-- Hive Execution Parameters --> <property> <name>hive.metastore.warehouse.dir</name> <value>/opt/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/opt/hive/tmp</value> </property> <property> <name>hive.querylog.location</name> <value>/opt/hive/logs</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>localhost</value> </property> <property> <name>hive.server2.enable.doAs</name> <value>true</value> </property> <property> <name>hive.session.id</name> <value>false</value> </property> <property> <name>hive.session.silent</name> <value>false</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>bee</value> <!-- 这里是之前设置的数据库 --> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <!-- 这里是数据库密码 --> <value>123123</value> </property> </configuration>
完成后，在命令行模式（按 Esc），输入:wq保存退出。
hive-env.sh
由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构，主要运行在 Hadoop分布式环境下，因此，需要在文件hive-env.sh中指定Hadoop相关配置文件的路径，用于Hive访问HDFS（读取fs.defaultFS属性值）和 MapReduce（读取mapreduce.jobhistory.address属性值）等Hadoop 相关组件。
如果目录下没有该文件，我们就以模板复制一个
cp hive-env.sh.template hive-env.sh
。
vi hive-env.sh
打开文件，在文件末尾添加变量指向 Hadoop 的安装路径：
HADOOP_HOME=/usr/local/hadoop #在本地环境安装，要根据自己hadoop的路径来确定
至此
Hive
配置完成。 第一次启动
Hive
前还需要执行初始化命令：
schematool -dbType mysql -initSchema
编程要求
请仔细阅读左侧文档知识点，根据提示，在右侧命令行区域进行 Hive 环境搭建，具体任务如下
- 根据上述步骤完成
Hive的安装与配置 - 然后在命令行
start-dfs.sh启动Hadoop - 点击测评，验证
hive是否成功安装配置。
测试说明
补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。
通关标准：通过Hive可否查询到数据库来判断它是否安装配置成功。
**注意：**通过本关后，请继续完成第二关，第二关是在Hive配置成功的基础上进行的。若中间命令行连接中断，还需重新配置本关环境才能继续第二关。
开始你的任务吧，祝你成功！
root@evassh-13490582:~# tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C /opt/ root@evassh-13490582:~# mv /opt/apache-hive-3.1.0-bin /opt/hive root@evassh-13490582:~# vim /root/.bashrc i export HIVE_HOME=/opt/hive export path=$HIVE_HOME:$PATH esc :x root@evassh-13490582:~# bash root@evassh-13490582:~# tar zxvf /opt/mysql-connector-java-5.1.45.tar.gz -C /opt/ root@evassh-13490582:~# cp /opt/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/ root@evassh-13490582:~# mysql -uroot -p123123 -h127.0.0.1 mysql> create database hiveDB; mysql> create user 'bee'@'%' identified by '123123'; mysql> grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123'; mysql> flush privileges; mysql> quit; root@evassh-13490582:~# vim /opt/hive/conf/hive-site.xml i <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! --> <!-- WARNING!!! Any changes you make to this file will be ignored by Hive. --> <!-- WARNING!!! You must make your changes in hive-site.xml instead. --> <!-- Hive Execution Parameters --> <property> <name>hive.metastore.warehouse.dir</name> <value>/opt/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/opt/hive/tmp</value> </property> <property> <name>hive.querylog.location</name> <value>/opt/hive/logs</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>localhost</value> </property> <property> <name>hive.server2.enable.doAs</name> <value>true</value> </property> <property> <name>hive.session.id</name> <value>false</value> </property> <property> <name>hive.session.silent</name> <value>false</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>bee</value> <!-- 这里是之前设置的数据库 --> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <!-- 这里是数据库密码 --> <value>123123</value> </property> </configuration> esc :x root@evassh-13490582:~# cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh root@evassh-13490582:~# vim /opt/hive/conf/hive-env.sh i HADOOP_HOME=/usr/local/hadoop #在本地环境安装，要根据自己hadoop的路径来确定 esc :x root@evassh-13490582:~# start-all.sh root@evassh-13490582:~# /opt/hive/bin/schematool -dbType mysql -initSchema
下面是敲过的命令
1 tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz 2 ls 3 tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz ./ 4 tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz . 5 tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C ./ 6 ll /opt/ 7 la /opt/ 8 tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C /opt/ 9 la /opt/ 10 mv /opt/apache-hive-3.1.0-bin /opt/hive 11 la /opt/ 12 vim /root/.bashrc 1 echo $HIVE_HOME/ 2 tar zxvf /opt/mysql-connector-java-5.1.45.tar.gz -C /opt/ 3 la /opt/ 4 cp /opt/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/ 5 mysql -uroot -p123123 -h127.0.0.1 6 vim /opt/hive/conf/hive-site.xml 7 cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh 8 vim /opt/hive/conf/hive-env.sh 9 start-all.sh
