Hive-安装与配置(1)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Hive-安装与配置(1)

1.Hive环境介绍


Hive在Hadoop生态系统中运行,依赖Hadoop分布式文件系统(HDFS)和YARN资源管理器。它由以下几个主要组件组成:


元数据存储:Hive使用关系型数据库(如MySQL、Derby等)来存储元数据,包括表的结构、分区信息、数据位置等。

Hive服务:Hive提供Hive CLI(命令行界面)和HiveServer2两种服务方式。Hive

CLI用于交互式查询和脚本执行,而HiveServer2允许通过JDBC或ODBC连接进行远程查询。

查询执行引擎:Hive将HiveQL查询语句转换为MapReduce作业或Tez任务,并通过Hadoop集群执行这些作业。此外,Hive还支持LLAP(低延迟分析查询协议)引擎,用于加速查询执行。

数据格式:Hive支持多种数据格式,包括文本、CSV、Parquet、ORC等。这些格式可以根据数据特性和查询需求进行选择。


2.搭建环境准备


本次用到的环境有:

1)Oracle Linux 7.4
2)Hadoop2.7.4
3)Hive2.1.1
4)Mysql5.5.57
5)Java1.8.0_144


3.建立Hive元数据库


1.进入MySQL命令窗口

mysql

2.建立Hive元数据需要的MySQL下的数据库“hive”,并赋予相应权限

create database hive;


grant all privileges on *.* to 'root'@'master' identified by 'root';
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;


3.查看数据库“hive”的权限

SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;

4.退出MySQL命令窗口

quit;



4.安装配置Hive


1.解压Hive压缩包至/opt目录下。

tar xf experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/
ll /opt/


2.解压后的Hive压缩包apache-hive-2.1.1-bin更名为hive。

mv /opt/apache-hive-2.1.1-bin /opt/hive


ll /opt/


3.拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下。

cp ~/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib/
ll /opt/hive/lib/mysql-*

4.打开配置Hive环境变量的文件profile。

vim /etc/profile



5.敲键盘“i”键,使profile处于可插入状态,配置Hive环境变量参数。

export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf
export PATH=$HIVE_HOME/bin:$PATH


6.按“ESC”键,敲“:wq!”命令,按回车保存并退出profile文件。

:wq!



7.使profile文件配置生效。

source /etc/profile


8.查看hive的环境变量是否生效。

echo $PATH



9.进入Hive配置文件的目录。

cd /opt/hive/conf/


ll

10.生成hive-site.xml文件。

cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml
ll


11.打开配置hive-site.xml文件。

vim /opt/hive/conf/hive-site.xml

12.删除hive-site.xml文件中标签与之间的所有内容。根据实际情况而删

22gg
5327dd


13.删除hive-site.xml文件指定内容后的文件全部内容如下。


14.通过键盘敲入”i”,使更改后的hive-site.xml文件处于可编辑状态,即可在文件下方看到“INSERT”或“插入”的字样。



15.将需要配置的参数敲入或者去已经配置好的文件里将配置内容(即Code001的所有内容)全部复制到hive-site.xml文件中与标签之间,粘贴的所有内容如下:

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/data/hive/warehouse</value>
</property>
<property>
  <name>hive.metastore.local</name>
  <value>true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://master/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>root</value>
</property>
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
</property>

16.注意粘贴(点击文档的空白处,点击鼠标右键,即可看到“粘贴”或“Paste”选项,选中它完成粘贴)的位置位于标签与之间。

17.粘贴后的hive-site.xml文件如下所示,按ESC键,录入“:wq!”退出并保存文件。

:wq!


至此Hive的安装与配置就结束了

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6月前
|
SQL 数据库 HIVE
记录hive数据库远程访问配置问题
记录hive数据库远程访问配置问题
154 0
|
1月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
41 3
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
60 3
|
1月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
57 2
|
6月前
|
SQL HIVE
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
70 2
|
5月前
|
SQL 分布式计算 关系型数据库
分布式系统详解 -- Hive1.2.1 安装
分布式系统详解 -- Hive1.2.1 安装
58 1
|
6月前
|
SQL 分布式计算 关系型数据库
Ubuntu上安装MySQL以及hive
Ubuntu上安装MySQL以及hive
|
6月前
|
SQL 存储 分布式计算
Hive详解、配置、数据结构、Hive CLI
Hive详解、配置、数据结构、Hive CLI
119 0
Hive详解、配置、数据结构、Hive CLI
|
6月前
|
SQL 分布式计算 资源调度
一文看懂 Hive 优化大全(参数配置、语法优化)
以下是对提供的内容的摘要,总长度为240个字符: 在Hadoop集群中,服务器环境包括3台机器,分别运行不同的服务,如NodeManager、DataNode、NameNode等。集群组件版本包括jdk 1.8、mysql 5.7、hadoop 3.1.3和hive 3.1.2。文章讨论了YARN的配置优化,如`yarn.nodemanager.resource.memory-mb`、`yarn.nodemanager.vmem-check-enabled`和`hive.map.aggr`等参数,以及Map-Side聚合优化、Map Join和Bucket Map Join。
334 0