4.3 部署Hive

下载地址

https://archive.apache.org/dist/hive/

https://hive.apache.org/downloads.html

这里我们下载hive-3.1.2这个版本

软件地址在这：

链接: https://pan.baidu.com/s/1sYvZsTc4Mz1d9QnwG8zu5A 提取码: jewn
--来自百度网盘超级会员v7的分享

部署

部署Mysql8.x

1.下载镜像

yum install wget
wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm

2.安装镜像

rpm -ivh mysql80-community-release-el7-3.noarch.rpm

3.升级系统中的软件包

yum update mysql-server

4.安装mysql

yum -y install mysql-server

提示：

失败的软件包是：mysql-community-icu-data-files-8.0.30-1.el7.x86_64
GPG 密钥配置为：file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

重新导入密钥并执行安装

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
yum -y install mysql-server

安装完毕

5.修改文件权限

chown mysql:mysql -R /var/lib/mysql

6.初始化

mysqld --initialize

7.启动设置开机自启动

systemctl start mysqld.service
systemctl enable mysqld.service
systemctl daemon-reload

看到active状态表示正常

8.查看版本

mysqladmin --version

9.进入mysql

mysql -u root -p

权限错误

10.重置密码

#关闭服务
systemctl stop mysqld
#跳过检查方式启动
mysqld --user=root --skip-grant-tables &
#登录mysql
mysql：mysql -u root -p
#刷新权限
flush privileges;
#修改密码
use mysql;
ALTER USER 'root'@'localhost' IDENTIFIED BY '你的密码';

11.开启mysql远程

#登录
mysql -u root -p 你的密码
#查询数据库的用户
SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;
#更新用户表
UPDATE user SET `Host` = '%' WHERE `User` = 'root' LIMIT 1;
alter user 'root'@'%' identified with mysql_native_password by '你的密码';
#刷新权限
flush privileges;

12.使用Navicat测试连接

连接成功即可

备份快照

部署Hive

由于Hive本身属于Hadoop客户端工具，所以放在任意节点都可以

这里我们选择部署在客户机bigdata04上

1.上传安装包并解压：

2.进入conf目录修改模板文件

mv hive-env.sh.template  hive-env.sh
mv hive-default.xml.template  hive-site.xml

3.修改hive-env.sh配置文件内容并保存

vi hive-env.sh
#添加如下三行内容
export JAVA_HOME=/data/soft/jdk1.8
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
export HADOOP_HOME=/data/soft/hadoop-3.2.0

4.修改hive-site.xml文件具体内容

指定元数据存放数据库为mysql
指定日志目录与资源目录

修改Hive中的hive-site.xml配置文件
vi hive-site.xml
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://mysqlIp:3306/hive?serverTimezone=Asia/Shanghai</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>admin</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/data/hive_repo/querylog</value>
</property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/data/hive_repo/scratchdir</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/data/hive_repo/resources</value>
</property>

5.在bigdata01节点上修改Hadoop配置

这里配置的目的是处理beeline连接产生的错误信息

在Hadoop的core-site.xml文件中增加下面配置
vi core-site.xml
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

6.同步bigdata01的core-site.xml到bigdata02和bigdata03

scp -rq /data/soft/hadoop-3.2.0/etc/hadoop/core-site.xml bigdata02:/data/soft/hadoop-3.2.0/etc/hadoop/
scp -rq /data/soft/hadoop-3.2.0/etc/hadoop/core-site.xml bigdata03:/data/soft/hadoop-3.2.0/etc/hadoop/

ps:bigdata04节点不需要修改此配置

8.重启Hadoop集群

stop-all.sh
start-all.sh

重启完成

9.初始化Hive的Metastore

拷贝jdbc驱动包到hive lib目录下
打开hive-site.xml
删除hive.txn.xlock.iow对应的description标签
这个位置原始配置有问题
在MySQL下创建hive数据库
初始化:

bin/schematool -dbType mysql -initSchema

初始化成功标志

4.4 Hive基础

使用方式

命令行
JDBC

命令行

bin/hive 最基础的使用方式
beeline：官方推荐的轻量级客户端工具

hive

在hive目录下 bin/hive进入

简单测试下

show tables;
create table t1(id int,name string);

添加数据

insert into t1(id,name) values(1,"zs");

这里执行时会产生mapReduce任务

查询表数据

select * from t1;

查询时并没有产生mapReduce任务，针对select * from tableName这种操作，就跟我们在hdfs打开文件一样，不需要调用计算引擎，所以也就没有产生mapReduce任务。

删除表测试

drop table if exists t1;

退出

quit;

beeline

首先启动HiveServer2服务

bin/hiveserver2

这里必须要等待Hive2服务启动后再通过beeline去连接

等待Hive2输出完所有的Session ID 信息

一般是四行

hiveserver2默认会监听本机的10000端口

重新打开一个新的session会话

启动beeline

bin/beeline -u jdbc:hive2://localhost:10000

上述操作再来一遍

create table t1(id int,name string);

这里报错信息提示缺少写权限

先退出beeline，用root用户启动

bin/beeline -u jdbc:hive2://localhost:10000 -n root

再来一遍

create table t1(id int,name string);
select * from t1;

可以看到beeline会对一些信息进行封装，显得更加好看和专业

官方推荐使用beeline，这个看个人喜好。

hive -e 执行hql语句

首先知道hive -e无需启动会话，就可以执行hive命令

测试如下

配置hive环境变量

vi /etc/profile
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
source /etc/profile

JDBC方式

这里我们创建一个maven项目

com.bigdata.hive

添加Hive开发依赖

hive JDBC驱动如下

<dependency>
 <groupId>org.apache.hive</groupId>
 <artifactId>hive-jdbc</artifactId>
 <version>3.1.2</version>
</dependency>

核心代码：

先启动hiveserver2服务

/**
 * JDBC代码操作 Hive
 */
public class HiveJdbcDemo {
 public static void main(String[] args) throws Exception{
 //指定hiveserver2的连接
 String jdbcUrl = "jdbc:hive2://192.168.197.104:10000";
 //获取jdbc连接，这里的user使用root，就是linux中的用户名，password随便指定即
 Connection conn = DriverManager.getConnection(jdbcUrl, "root", "any")
 //获取Statement
 Statement stmt = conn.createStatement();
 //指定查询的sql
 String sql = "select * from t1";
 //执行sql
 ResultSet res = stmt.executeQuery(sql);
 //循环读取结果
 while (res.next()){
 System.out.println(res.getInt("id")+"\t"+res.getString("name"));
 }
 }
}

这里处理下log4j的信息

排除hive自带的log4j

<dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>3.1.2</version>
      <exclusions>
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

资源目录下新增log4j.xml

重新打印，即可解决log4j报错信息问题

使用临时参数

在hive命令行中可以使用set命令临时设置一些参数的值

其实就是临时修改hive-site.xml中参数的值

通过set命令设置的参数只在当前会话有效，退出重新打开就无效了

在hive-site.xml中有一个参数是 hive.cli.print.current.db ，这个参数可以显示当前所在的数据库名称，默认值为 false 。在这里我们设置为true。

set hive.cli.print.current.db = true;

还有一个参数 hive.cli.print.header 可以控制获取结果的时候显示字段名称，这样看起来会比较清晰

set hive.cli.print.header = true;

修改 ~/.hiverc，保留配置仅对当前用户生效

vi ~/.hiverc
set hive.cli.print.current.db = true;
set hive.cli.print.header = true;

重新进入看下效果

配置Hive日志

删除重复的日志信息

hive中的一个日志依赖包和hadoop中的日志依赖包冲突

我们移除hive的日志依赖包

mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

配置Hive日志信息目录

mv hive-log4j2.properties.template hive-log4j2.properties
vi hive-log4j2.properties
配置信息如下
property.hive.log.level = WARN
property.hive.root.logger = DRFA
property.hive.log.dir = /data/hive_repo/log
property.hive.log.file = hive.log
property.hive.perflogger.log.level = INFO

这样后期分析日志就可以到 /data/hive_repo/log 目录下去查看了。

bigdata-17-Hive部署与Hive基础