2.4 配置Hive元数据储存到MySQL
2.4.1 配置元数据到MySQL
1、新建Hive元数据库
#登录MySQL mysql -uroot -p123456 #创建Hive元数据库 mysql> create database metastore; mysql> quit;
2、将MySQL的JDBC驱动拷贝到Hive的lib目录下。
cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
3、在$HIVE_HOME/cong目录下新建hive-site.xml文件
vim $HIVE_HOME/conf/hive-site.xml
添加如下内容：
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc连接的URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value> </property> <!-- jdbc连接的Driver--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- jdbc连接的username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- jdbc连接的password --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <!-- Hive默认在HDFS的工作目录 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> </configuration>
4、初始化Hive元数据库（修改为采用MySQL存储元数据）
bin/schematool -dbType mysql -initSchema -verbose
2.4.2 验证元数据是否配置成功
1、再次启动Hive
$HIVE_HOME/bin/hive
2、使用Hive
hive> show databases; hive> show tables; hive> create table stu(id int, name string); hive> insert into stu values(1,"zhm"); hive> select * from stu;
3、在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）
hive> show databases; hive> show tables; hive> select * from stu;
2.4.3 查看MySQL元数据
1、登录MySQL
mysql -uroot -p123456
2、查看元数据库metastore
mysql> show databases;
mysql> use metastore;
mysql> show tables;
（1）查看元数据库中存储的库信息
（2）查看元数据中储存的表信息
（3）查看元数据中储存的表中列相关信息
2.5 Hive服务部署
2.5.1 hiveserver2 服务
HIve的hiveserver2服务的作用是提供jdbc/odbc接口，为用户 提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。
1、用户说明
在远程访问Hive数据时，客户端并未直接访问Hadoop集群，而是由Hivesever2代理访问。由于Hadoop集群中的数据具备访问权限控制，所以此时需考虑一个问题：那就是访问Hadoop集群的用户身份是谁？是Hiveserver2的启动用户？还是客户端的登录用户？
答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定，该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据，不启用，则Hivesever2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能，默认是开启的。
具体逻辑如下：
未开启用户模拟功能：
开启用户模拟功能：
生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。
2、hiveserver2部署
（1）Hadoop端配置
hiveserver2的模拟用户功能，依赖与hadoop提供的proxy user（代理用户功能），只有hadoop中的代理用户才能模拟其他用户的身份访问hadoop集群。因此，需要将hiveserver2的启动用户设置为hadoop的代理用户，配置方式如下：
修改配置文件core-site.xml，然后记得分发三台机器
增加如下配置：
<!--配置所有节点的zhm用户都可作为代理用户--> <property> <name>hadoop.proxyuser.zhm.hosts</name> <value>*</value> </property> <!--配置zhm用户能够代理的用户组为任意组--> <property> <name>hadoop.proxyuser.zhm.groups</name> <value>*</value> </property> <!--配置zhm用户能够代理的用户为任意用户--> <property> <name>hadoop.proxyuser.zhm.users</name> <value>*</value> </property>
（2）Hive端配置
在hive-site.xml文件中添加如下配置信息
<!-- 指定hiveserver2连接的host --> <property> <name>hive.server2.thrift.bind.host</name> <value>hadoop102</value> </property> <!-- 指定hiveserver2连接的端口号 --> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property>
3、测试
（1）启动hiveserver2
bin/hive --service hiveserver2
（2）使用命令客户端beeline进行远程访问
启动beeline客户端
bin/beeline -u jdbc:hive2://hadoop102:10000 -n zhm
看到如下界面
Connecting to jdbc:hive2://hadoop102:10000 Connected to: Apache Hive (version 3.1.3) Driver: Hive JDBC (version 3.1.3) Transaction isolation: TRANSACTION_REPEATABLE_READ Beeline version 3.1.3 by Apache Hive 0: jdbc:hive2://hadoop102:10000>
（3）配置DataGrip图形化客户端进行远程访问
4、配置DataGrip连接
（1）创建连接
（2）配置连接属性
所有属性配置，和Hive的beeline客户端配置一致即可。初次使用，配置过程会提示缺少JDBC驱动，按照提示下载即可。
（3）界面介绍
2.5.2 metastore服务
Hive的metastore服务的作用是位Hive CLI或者Hiveserver2提供元数据访问接口。
1、metastore运行模式
metastore有两种运行模式，分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明：
（1）嵌入式模式
（2）独立服务模式
生产模式下，不推荐使用嵌入模式。因为其存在以下两个问题：
（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。
（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
2、metastore部署
（1）嵌入式模式
嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：
<!-- jdbc连接的URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value> </property> <!-- jdbc连接的Driver--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- jdbc连接的username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- jdbc连接的password --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property>
（2）独立服务模式
独立服务模式需做以下配置：
首先，保证metastore服务的配置文件hive-site.xml中包含连接元数据库所需的以下参数：
<!-- jdbc连接的URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value> </property> <!-- jdbc连接的Driver--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- jdbc连接的username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- jdbc连接的password --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property>
其次，保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含访问metastore服务所需的以下参数：
<!-- 指定metastore服务的地址 --> <property> <name>hive.metastore.uris</name> <value>thrift://hadoop102:9083</value> </property>
注意：主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。
3、测试
此时启动Hive CLI，执行shou databases语句，会出现一下错误提示信息：
这是因为我们在Hive CLI的配置文件中配置了hive.metastore.uris参数，此时Hive CLI会去请求我们执行的metastore服务地址，所以必须启动metastore服务才能正常使用。
metastore服务的启动命令如下：
hive --service metastore
2.5.3 编写Hive服务启动脚本
1、前台启动的方式导致需要打开多个Xshell窗口，可以使用如下方式后台方式启动
（1）nohup：放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态。
（2）/dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容都会被自动丢弃。
（3）2>&1：表示将错误重定向到标准输出上
（4）&：放在命令结尾，表示后台运行
一般会组合使用：nohup [xxx命令操作]> file 2>&1 &，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。
2、为了方便使用，可以直接编写脚本来管理服务的启动和关闭。
vim $HIVE_HOME/bin/hiveservices.sh
填入以下内容
#!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi #检查进程是否运行正常，参数1为进程名，参数2为进程端口 function check_process() { pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}') ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1) echo $pid [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1 } function hive_start() { metapid=$(check_process HiveMetastore 9083) cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &" [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动" server2pid=$(check_process HiveServer2 10000) cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &" [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动" } function hive_stop() { metapid=$(check_process HiveMetastore 9083) [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动" server2pid=$(check_process HiveServer2 10000) [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动" } case $1 in "start") hive_start ;; "stop") hive_stop ;; "restart") hive_stop sleep 2 hive_start ;; "status") check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常" check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常" ;; *) echo Invalid Args! echo 'Usage: '$(basename $0)' start|stop|restart|status' ;; esac
3、添加执行权限
chmod +x $HIVE_HOME/bin/hiveservices.sh
4、启动Hive后台服务
hiveservices.sh start
2.6 Hive使用技巧
2.6.1 Hive常用交互命令
bin/hive -help
1、“-e”不进入hive的交互窗口执行hql语句
bin/hive -e "select id from student;"
2、“-f”执行脚本中的hql语句
bin/hive -f /opt/module/hive/datas/hivef.sql
3、执行文件中的hql语句并将结果写入文件中
bin/hive -f /opt/module/hive/datas/hivef.sql > /opt/module/hive/datas/hive_result.txt
2.6.2 Hive参数配置方式
1、查看当前所以配置信息
hive>set;
2、参数的配置三种方式
（1）配置文件方式
- 默认配置文件：hive-default.xml
- 用户自定义配置文件：hive-site.xml
注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。
（2）命令行参数
①启动Hive时，可以在命令行添加-hiveconf param=value来设定参数。例如：
bin/hive -hiveconf mapreduce.job.reduces=10; #注意：仅对本次Hive启动有效
查看参数设置
hive (default)> set mapreduce.job.reduces;
（3）参数声明方式
可以在HQL中使用SET关键字设定参数，例如：
#注意：仅对本次Hive启动有效 hive(default)> set mapreduce.job.reduces=10;
上述三种设定方式的优先级依次递增。即配置文件 < 命令行参数 < 参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。
2.6.3 Hive常见属性配置
1、Hive客户端显示当前库和表头
（1）在hive-site.xml中加入如下两个配置:
<property> <name>hive.cli.print.header</name> <value>true</value> <description>Whether to print the names of the columns in query output.</description> </property> <property> <name>hive.cli.print.current.db</name> <value>true</value> <description>Whether to include the current database in the Hive prompt.</description> </property>
2、Hive运行日志路径配置
（1）Hive的log默认存放在/tmp/zhm/hive.log目录下（当前用户名下）
（2）修改Hive的log存放日志到/opt/module/hive/logs
修改$HIVE_HOME/conf/hive-log4j2.properties.template文件名称为hive-log4j2.properties
在hive-log4j2.properties文件中修改log存放位置
修改配置：property.hive.log.dir=/opt/module/hive/logs
3、Hive的JVM堆内存设置
新版本的Hive启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请的太小，导致后期开启本地模式，执行复杂的SQL时经常会报错：java.lang.OutOfMemoryError: Java heap space，因此最好提前调整一下HADOOP_HEAPSIZE这个参数。
（1）修改$HIVE_HOME/conf下的hive-env.sh.template为hive-env.sh
（2）将hive-env.sh其中的参数 export HADOOP_HEAPSIZE修改为2048，重启Hive
4、关闭Hadoop虚拟内存检查
在yarn-site.xml中关闭虚拟内存检查（虚拟内存校验，如果已经关闭了，就不需要配了）。
（1）yarn-site.xml添加如下配置
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
（2）修改完后记得分发yarn-site.xml，并重启yarn。
