第1章概述
1.1编写目的
暂无
1.2业务背景
暂无
第2章组件介绍
2.1组件介绍与架构说明
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。hive是整个中台的数据处理的重要组成部分。
2.2逻辑部署拓扑
hive一般部署在node1上,使用node4的mysql作为元数据。
2.3物理部署拓扑
在node1上安装
2.4依赖环境
硬件:Phytium ARM CPU,银河麒麟v10 内核版本4.19.90-17 arm64 桌面版
JDK依赖:JDK1.8
组件依赖:无
2.5界面效果
2.5.1安装完成后的运行效果
安装完成后运行的效果
2.5.2运行日志
运行日志
第3章部署步骤
3.1环境准备
3.1.1安装包准备
将apache-hive-3.1.2-bin.tar.gz文件上传至node1服务器的/opt/abd_env_soft目录,解压并重命名为apache-hive
解压
tar -zxvf apache-hive-3.1.2-bin.tar.gz
重命名
mv apache-hive-3.1.2-bin/ apache-hive
3.2安装配置
3.2.1配置hive-site.xml文件
进入/opt/abd_env_soft/apache-hive/conf目录,将hive-default.xml.template文件复制一份,重命名为hive-site.xml,并在文件末尾增加如下内容:。
<!-- hive元数据库连接用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- hive元数据库连接密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>Abc_123_</value>
</property>
<!-- hive元数据库连接字符串 -->
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node4:3306/hive</value>
</property>
<!-- hive元数据库连接驱动类 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
将文件里3215行的“& 8;”删除,如下图
3.2.2按照配置文件内容创建数据数据库
按照配置文件在mysql中创建hive数据库
3.2.3初始化数据
将mysql-connector-java-8.0.15.jar上传至/opt/abd_env_soft/apache-hive/lib目录,
然后使用如下命令初始化数据库:
/opt/abd_env_soft/apache-hive/bin/schematool -dbType mysql -initSchema
查看mysql数据中,已经增加了74张表
3.2.4验证是否启动成功
将hive的bin目录加入/etc/profile环境变量
export HIVE_HOME=/opt/abd_env_soft/apache-hive
export PATH=$PATH:$HIVE_HOME/bin
执行hive命令,看是否正常,正常则说明安装成功,可使用hiveSQL创建表
如启动报如下错误,将hive-site.xml文件中的“system:”替换为空,如${system:java.io.tmpdir}替换为${java.io.tmpdir}
JDBC连接hive
使用命令hiveserver2 可启动hiveserver2服务器,后续可使用JDBC进行连接,URL如下:
jdbc:hive2://[host]:10000
1第4章常见操作
4.1启动命令
在node1执行命令hive即可启动
4.2关闭命令
crtl+c 即可关闭hive
4.3健康检查方法
如可使用hive命令,则正常