备案控制台
探索云世界
开发者社区 数据库 文章 正文

Hive学习---1、Hive入门、Hive 安装（二）

2023-08-04 142
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL Serverless，价值2615元额度，1个月
简介： Hive学习---1、Hive入门、Hive 安装（二）

2.4 配置Hive元数据储存到MySQL

351d2733d097406a964a68d3c09f82f7.png

2.4.1 配置元数据到MySQL

1、新建Hive元数据库

#登录MySQL
 mysql -uroot -p123456
 #创建Hive元数据库
mysql> create database metastore;
mysql> quit;

2、将MySQL的JDBC驱动拷贝到Hive的lib目录下。

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

3、在$HIVE_HOME/cong目录下新建hive-site.xml文件

vim $HIVE_HOME/conf/hive-site.xml

添加如下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
  <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

4、初始化Hive元数据库（修改为采用MySQL存储元数据）

bin/schematool -dbType mysql -initSchema -verbose
2.4.2 验证元数据是否配置成功

1、再次启动Hive

$HIVE_HOME/bin/hive

2、使用Hive

hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"zhm");
hive> select * from stu;

3、在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）

hive> show databases;
hive> show tables;
hive> select * from stu;
2.4.3 查看MySQL元数据

1、登录MySQL

mysql -uroot -p123456

2、查看元数据库metastore

mysql> show databases;

mysql> use metastore;

mysql> show tables;

（1）查看元数据库中存储的库信息

a2f868cdcb164f21b7c2fa01f17a94f7.png

（2）查看元数据中储存的表信息


f167b3443a1643be8e8ce4e36f7dc341.png

（3）查看元数据中储存的表中列相关信息

d4ce754c3d6846c1813905f1d7e6dcac.png

2.5 Hive服务部署

2.5.1 hiveserver2 服务

HIve的hiveserver2服务的作用是提供jdbc/odbc接口，为用户 提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。

c473d0a631ab40829e7a7718ef3f0967.png

1、用户说明

在远程访问Hive数据时，客户端并未直接访问Hadoop集群，而是由Hivesever2代理访问。由于Hadoop集群中的数据具备访问权限控制，所以此时需考虑一个问题：那就是访问Hadoop集群的用户身份是谁？是Hiveserver2的启动用户？还是客户端的登录用户？

答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定，该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据，不启用，则Hivesever2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能，默认是开启的。

具体逻辑如下：

未开启用户模拟功能：


72723c8ca00d45c389ebf485f21493c5.png

开启用户模拟功能：


12bcf727f6944da7aa7688024caa22cc.png

生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。

2、hiveserver2部署

（1）Hadoop端配置

hiveserver2的模拟用户功能，依赖与hadoop提供的proxy user（代理用户功能），只有hadoop中的代理用户才能模拟其他用户的身份访问hadoop集群。因此，需要将hiveserver2的启动用户设置为hadoop的代理用户，配置方式如下：

修改配置文件core-site.xml，然后记得分发三台机器

增加如下配置：

<!--配置所有节点的zhm用户都可作为代理用户-->
<property>
    <name>hadoop.proxyuser.zhm.hosts</name>
    <value>*</value>
</property>
<!--配置zhm用户能够代理的用户组为任意组-->
<property>
    <name>hadoop.proxyuser.zhm.groups</name>
    <value>*</value>
</property>
<!--配置zhm用户能够代理的用户为任意用户-->
<property>
    <name>hadoop.proxyuser.zhm.users</name>
    <value>*</value>
</property>

（2）Hive端配置

在hive-site.xml文件中添加如下配置信息

<!-- 指定hiveserver2连接的host -->
<property>
  <name>hive.server2.thrift.bind.host</name>
  <value>hadoop102</value>
</property>
<!-- 指定hiveserver2连接的端口号 -->
<property>
  <name>hive.server2.thrift.port</name>
  <value>10000</value>
</property>

3、测试

（1）启动hiveserver2

bin/hive --service hiveserver2

（2）使用命令客户端beeline进行远程访问

启动beeline客户端

bin/beeline -u jdbc:hive2://hadoop102:10000 -n zhm

看到如下界面

Connecting to jdbc:hive2://hadoop102:10000
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.3 by Apache Hive
0: jdbc:hive2://hadoop102:10000>

（3）配置DataGrip图形化客户端进行远程访问

4、配置DataGrip连接

（1）创建连接

9142e4c2a4d0457b998856bf6d97b5ad.png


（2）配置连接属性

所有属性配置，和Hive的beeline客户端配置一致即可。初次使用，配置过程会提示缺少JDBC驱动，按照提示下载即可。

d96f85a03b7b4dc38aa01db2049faf18.png

（3）界面介绍


8d1f3c59165a4a0190420388eb282055.png


2.5.2 metastore服务

Hive的metastore服务的作用是位Hive CLI或者Hiveserver2提供元数据访问接口。

1、metastore运行模式

metastore有两种运行模式，分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明：

（1）嵌入式模式

6813704b72074b2994784509c5f40e39.png

（2）独立服务模式


a36adc8989d844bd8eaf0ddf7cb36499.png

生产模式下，不推荐使用嵌入模式。因为其存在以下两个问题：

（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。

（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。

2、metastore部署

（1）嵌入式模式

嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：

 <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
  <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

（2）独立服务模式

独立服务模式需做以下配置：

首先，保证metastore服务的配置文件hive-site.xml中包含连接元数据库所需的以下参数：

  <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
  <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

其次，保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含访问metastore服务所需的以下参数：

<!-- 指定metastore服务的地址 -->
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://hadoop102:9083</value>
</property>

注意：主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。

3、测试

此时启动Hive CLI，执行shou databases语句，会出现一下错误提示信息：


6f46a0592f444408a35ba1dd57e8a193.png

这是因为我们在Hive CLI的配置文件中配置了hive.metastore.uris参数，此时Hive CLI会去请求我们执行的metastore服务地址，所以必须启动metastore服务才能正常使用。

metastore服务的启动命令如下：

hive --service metastore

2.5.3 编写Hive服务启动脚本

1、前台启动的方式导致需要打开多个Xshell窗口，可以使用如下方式后台方式启动

（1）nohup：放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态。

（2）/dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容都会被自动丢弃。

（3）2>&1：表示将错误重定向到标准输出上

（4）&：放在命令结尾，表示后台运行

一般会组合使用：nohup [xxx命令操作]> file 2>&1 &，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。

2、为了方便使用，可以直接编写脚本来管理服务的启动和关闭。

vim $HIVE_HOME/bin/hiveservices.sh

填入以下内容

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
  mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

3、添加执行权限

chmod +x $HIVE_HOME/bin/hiveservices.sh

4、启动Hive后台服务

hiveservices.sh start

2.6 Hive使用技巧

2.6.1 Hive常用交互命令
bin/hive -help

1、“-e”不进入hive的交互窗口执行hql语句

bin/hive -e "select id from student;"

2、“-f”执行脚本中的hql语句

bin/hive -f /opt/module/hive/datas/hivef.sql

3、执行文件中的hql语句并将结果写入文件中

bin/hive -f /opt/module/hive/datas/hivef.sql  > /opt/module/hive/datas/hive_result.txt

2.6.2 Hive参数配置方式

1、查看当前所以配置信息

hive>set;

2、参数的配置三种方式

（1）配置文件方式

  • 默认配置文件：hive-default.xml
  • 用户自定义配置文件：hive-site.xml

注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

（2）命令行参数

①启动Hive时，可以在命令行添加-hiveconf param=value来设定参数。例如：

bin/hive -hiveconf mapreduce.job.reduces=10;
#注意：仅对本次Hive启动有效

查看参数设置

hive (default)> set mapreduce.job.reduces;

（3）参数声明方式

可以在HQL中使用SET关键字设定参数，例如：

#注意：仅对本次Hive启动有效
hive(default)> set mapreduce.job.reduces=10;

上述三种设定方式的优先级依次递增。即配置文件 < 命令行参数 < 参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

2.6.3 Hive常见属性配置

1、Hive客户端显示当前库和表头

（1）在hive-site.xml中加入如下两个配置:

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

2、Hive运行日志路径配置

（1）Hive的log默认存放在/tmp/zhm/hive.log目录下（当前用户名下）

（2）修改Hive的log存放日志到/opt/module/hive/logs

修改$HIVE_HOME/conf/hive-log4j2.properties.template文件名称为hive-log4j2.properties

在hive-log4j2.properties文件中修改log存放位置

修改配置：property.hive.log.dir=/opt/module/hive/logs

3、Hive的JVM堆内存设置

新版本的Hive启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请的太小，导致后期开启本地模式，执行复杂的SQL时经常会报错：java.lang.OutOfMemoryError: Java heap space，因此最好提前调整一下HADOOP_HEAPSIZE这个参数。

（1）修改$HIVE_HOME/conf下的hive-env.sh.template为hive-env.sh

（2）将hive-env.sh其中的参数 export HADOOP_HEAPSIZE修改为2048，重启Hive

4、关闭Hadoop虚拟内存检查

在yarn-site.xml中关闭虚拟内存检查（虚拟内存校验，如果已经关闭了，就不需要配了）。

（1）yarn-site.xml添加如下配置

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

（2）修改完后记得分发yarn-site.xml，并重启yarn。

文章标签：
云数据库 RDS MySQL 版
Java
分布式计算
SQL
关系型数据库
MySQL
Hadoop
HIVE
数据库
存储
数据库连接
关键词：
Hive安装
Hive入门
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
星光下的赶路人
目录
相关文章
阿甘兄
|
5月前
|
SQL 关系型数据库 MySQL
Mac下安装hive
Mac下安装hive
阿甘兄
183 0
Want595
|
6月前
|
SQL 分布式计算 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门
Want595
73 0
Want595
|
6月前
|
SQL 存储 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
Want595
78 0
yuanzhengme
|
15天前
|
SQL HIVE
Hive【Hive学习大纲】【数据仓库+简介+工作原理】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第6天】Hive【Hive学习大纲】【数据仓库+简介+工作原理】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
yuanzhengme
16 0
疯狂的猿
|
3月前
|
SQL 分布式计算 Java
linux安装Hive详细步骤
【1月更文挑战第2天】linux安装Hive详细步骤
疯狂的猿
149 0
诸葛子房
|
4月前
|
SQL 分布式计算 关系型数据库
Hive安装
Hive安装
诸葛子房
50 1
这啥名啊
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记（HDP）-Part.15 安装HIVE
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
这啥名啊
106 1
Hadoop学习笔记（HDP）-Part.15 安装HIVE
阿甘兄
|
5月前
|
SQL 分布式计算 关系型数据库
Hive教程（02）- Hive安装
Hive教程（02）- Hive安装
阿甘兄
56 0
北惜
|
6月前
|
SQL 分布式计算 关系型数据库
Hive-安装与配置（1）
Hive-安装与配置（1）
北惜
158 0
赵广陆
|
7月前
|
SQL 分布式计算 关系型数据库
大数据Hive安装与应用
大数据Hive安装与应用
赵广陆
115 0

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    【Hive】Hive优化有哪些？
  • 3
    【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
  • 4
    【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
  • 5
    【Hive】Hive有索引吗？
  • 6
    【Hive】Hive的两张表关联，使用MapReduce怎么实现？
  • 7
    【Hive】数据倾斜怎么解决？
  • 8
    Hive【基础知识 05】常用DDL操作（数据库操作+创建表+修改表+清空删除表+其他命令）
  • 9
    【Hive】sort by 和 order by 的区别
  • 10
    Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
  • 1
    DataWorks报错问题之集成hive数据源报错如何解决
    33
  • 2
    DataWorks报错问题之从hive到mysql报错如何解决
    26
  • 3
    Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
    147
  • 4
    Apache Hudi与Hive集成手册
    74
  • 5
    DataWorks常见问题之hive jdbc加载数据错误如何解决
    33
  • 6
    Hive中日期处理函数的使用（date_format、date_add、date_sub、next_day）
    89
  • 7
    Hive窗口函数案例总结
    24
  • 8
    Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
    95
  • 9
    Hive Delegation Token 揭秘
    48
  • 10
    Flink依赖问题之connector hive依赖冲突如何解决
    63

    • 相关课程

    更多
  • 大数据Hive教程精讲
  • HBase入门教程
  • Hadoop快速入门
  • HBase入门与实战
  • Apache Flink 入门
  • Hadoop 分布式文件系统 HDFS

    • 相关电子书

    更多
  • Comparison of Spark SQL with Hive
  • Hive Bucketing in Apache Spark
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • 5分钟上手Flink MySQL连接器
  • 搭建Hadoop环境
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考