备案控制台
开发者社区 数据库 文章 正文

Hive的安装与配置——第1关：Hive的安装与配置

2022-11-16 1861
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介： Hive的安装与配置——第1关：Hive的安装与配置

任务描述

本关任务：在已安装Hadoop的基础上安装配置好Hive并运行。


相关知识

为了完成本关任务，你需要掌握：

1.Hive的基本安装；

2.Mysql的安装与设置；

3.Hive 的配置。

**注意：**本关实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。


Hive 的基本安装

从 官网 下载Hive二进制包，不过这里你无须再从网上下载，我已经帮你下载好了放在/opt目录下。


  • 进入/opt目录，解压apache-hive-3.1.0-bin.tar.gz到该目录下，并将解压的文件重命名为hive；
cd /opt
tar -zxvf apache-hive-3.1.0-bin.tar.gz
mv apache-hive-3.1.0-bin hive


  • 设置环境变量，编辑vi /etc/profile，在末尾添加以下两行代码；
export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH


  • source /etc/profile使环境生效；
  • 查看hive是否安装成功：hive --version。


Mysql 的安装与设置

平台已安装MySQL数据库，同学们在本地没有安装可以采用以下命令进行安装：

sudo apt-get install mysql-server   #安装mysql服务apt-get install mysql-client        #安装mysql客户端sudo apt-get install libmysqlclient-dev  #安装相关依赖环境


注意：安装过程中会提示设置密码什么的，不要忘了设置。

安装完成之后可以使用如下命令来检查是否安装成功。

sudo netstat -tap | grep mysql

通过上述命令检查之后，如果看到有MySQL的socket处于listen 状态则表示安装成功。

Hive需要数据库来存储metastore的内容，因此我们需要配置一下MySQL数据库。


下载mysql驱动；

我已经帮你下载好放在/opt目录下，进入该目录并进行以下操作：

tar -zxvf mysql-connector-java-5.1.45.tar.gzcd mysql-connector-java-5.1.45cp mysql-


接下来介绍MySQL为Hive做的设置。

  • 使用root用户登录MySQL数据库；
mysql -uroot -p123123 -h127.0.0.1


创建数据库实例hiveDB；

create database hiveDB;


创建用户bee，密码为123123；

create user 'bee'@'%' identified by '123123';


授权用户bee拥有数据库实例hiveDB的所有权限；

grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';


刷新系统权限表。

flush privileges;


Hive 的配置

在/opt/hive/conf目录下，修改hive-site.xml和hive-env.sh两个文件。

hive-site.xml

hive-site.xml保存Hive运行时所需要的相关配置信息。


  • 如果目录下没有该文件，我们直接创建一个：vi hive-site.xml，将以下内容复制到其中（按i进入编辑模式后再进行粘贴）。
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
<!-- Hive Execution Parameters -->
 <property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/opt/hive/warehouse</value>
 </property>
 <property>
 <name>hive.exec.scratchdir</name>
 <value>/opt/hive/tmp</value>
 </property>
 <property>
 <name>hive.querylog.location</name>
 <value>/opt/hive/logs</value>
 </property>
 <property>
 <name>hive.server2.thrift.port</name>
 <value>10000</value>
 </property>
 <property>
 <name>hive.server2.thrift.bind.host</name>
 <value>localhost</value>
 </property>
 <property>
 <name>hive.server2.enable.doAs</name>
 <value>true</value>
 </property>
 <property>
 <name>hive.session.id</name>
 <value>false</value>
 </property>
 <property>
 <name>hive.session.silent</name>
 <value>false</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>bee</value>
 <!-- 这里是之前设置的数据库 -->
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <!-- 这里是数据库密码 -->
 <value>123123</value>
 </property>
</configuration>

完成后，在命令行模式（按 Esc），输入:wq保存退出。


hive-env.sh

由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构，主要运行在 Hadoop分布式环境下，因此，需要在文件hive-env.sh中指定Hadoop相关配置文件的路径，用于Hive访问HDFS（读取fs.defaultFS属性值）和 MapReduce（读取mapreduce.jobhistory.address属性值）等Hadoop 相关组件。


如果目录下没有该文件，我们就以模板复制一个

cp hive-env.sh.template hive-env.sh


。

vi hive-env.sh


打开文件，在文件末尾添加变量指向 Hadoop 的安装路径：

HADOOP_HOME=/usr/local/hadoop  #在本地环境安装，要根据自己hadoop的路径来确定


至此

Hive


配置完成。 第一次启动

Hive


前还需要执行初始化命令：

schematool -dbType mysql -initSchema


编程要求

请仔细阅读左侧文档知识点，根据提示，在右侧命令行区域进行 Hive 环境搭建，具体任务如下

  • 根据上述步骤完成Hive的安装与配置
  • 然后在命令行start-dfs.sh启动 Hadoop
  • 点击测评，验证hive是否成功安装配置。


测试说明

补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。

通关标准：通过Hive可否查询到数据库来判断它是否安装配置成功。

**注意：**通过本关后，请继续完成第二关，第二关是在Hive配置成功的基础上进行的。若中间命令行连接中断，还需重新配置本关环境才能继续第二关。


开始你的任务吧，祝你成功！

root@evassh-13490582:~# tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C /opt/
root@evassh-13490582:~# mv /opt/apache-hive-3.1.0-bin /opt/hive
root@evassh-13490582:~# vim /root/.bashrc
i
export HIVE_HOME=/opt/hive
export path=$HIVE_HOME:$PATH
esc
:x
root@evassh-13490582:~# bash
root@evassh-13490582:~# tar zxvf /opt/mysql-connector-java-5.1.45.tar.gz -C /opt/
root@evassh-13490582:~# cp /opt/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
root@evassh-13490582:~# mysql -uroot -p123123 -h127.0.0.1
mysql> create database hiveDB;
mysql> create user 'bee'@'%' identified by '123123';
mysql> grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
mysql> flush privileges;
mysql> quit;
root@evassh-13490582:~# vim /opt/hive/conf/hive-site.xml
i
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
<!-- Hive Execution Parameters -->
 <property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/opt/hive/warehouse</value>
 </property>
 <property>
 <name>hive.exec.scratchdir</name>
 <value>/opt/hive/tmp</value>
 </property>
 <property>
 <name>hive.querylog.location</name>
 <value>/opt/hive/logs</value>
 </property>
 <property>
 <name>hive.server2.thrift.port</name>
 <value>10000</value>
 </property>
 <property>
 <name>hive.server2.thrift.bind.host</name>
 <value>localhost</value>
 </property>
 <property>
 <name>hive.server2.enable.doAs</name>
 <value>true</value>
 </property>
 <property>
 <name>hive.session.id</name>
 <value>false</value>
 </property>
 <property>
 <name>hive.session.silent</name>
 <value>false</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>bee</value>
 <!-- 这里是之前设置的数据库 -->
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <!-- 这里是数据库密码 -->
 <value>123123</value>
 </property>
</configuration>
esc
:x
root@evassh-13490582:~# cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh
root@evassh-13490582:~# vim /opt/hive/conf/hive-env.sh
i
HADOOP_HOME=/usr/local/hadoop  #在本地环境安装，要根据自己hadoop的路径来确定
esc
:x
root@evassh-13490582:~# start-all.sh 
root@evassh-13490582:~# /opt/hive/bin/schematool -dbType mysql -initSchema


下面是敲过的命令

    1  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz
    2  ls
    3  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz ./
    4  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz .
    5  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C ./
    6  ll /opt/
    7  la /opt/
    8  tar zxvf /opt/apache-hive-3.1.0-bin.tar.gz -C /opt/
    9  la /opt/
   10  mv /opt/apache-hive-3.1.0-bin /opt/hive
   11  la /opt/
   12  vim /root/.bashrc
    1  echo $HIVE_HOME/
    2  tar zxvf /opt/mysql-connector-java-5.1.45.tar.gz -C /opt/
    3  la /opt/
    4  cp /opt/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
    5  mysql -uroot -p123123 -h127.0.0.1
    6  vim /opt/hive/conf/hive-site.xml
    7  cp /opt/hive/conf/hive-env.sh.template /opt/hive/conf/hive-env.sh
    8  vim /opt/hive/conf/hive-env.sh
    9  start-all.sh
文章标签：
云数据库 RDS MySQL 版
分布式计算
SQL
关系型数据库
数据安全/隐私保护
MySQL
Hadoop
HIVE
数据库
存储
关键词：
Hive配置
Hive安装
Hive安装配置
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
真题OK撒
目录
相关文章
阿萨聊测试
|
6天前
|
SQL 数据库 HIVE
记录hive数据库远程访问配置问题
记录hive数据库远程访问配置问题
阿萨聊测试
117 0
阿甘兄
|
6月前
|
SQL 关系型数据库 MySQL
Mac下安装hive
Mac下安装hive
阿甘兄
205 0
明哥的IT随笔
|
7月前
|
SQL 安全 Java
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
明哥的IT随笔
216 0
随缘而愈
|
6天前
|
SQL HIVE
Hive的安装
Hive的安装
随缘而愈
21 1
ZShiJ
|
6天前
|
SQL 分布式计算 关系型数据库
Ubuntu上安装MySQL以及hive
Ubuntu上安装MySQL以及hive
ZShiJ
18 1
Byyyi
|
6天前
|
SQL 存储 分布式计算
Hive详解、配置、数据结构、Hive CLI
Hive详解、配置、数据结构、Hive CLI
Byyyi
29 0
Hive详解、配置、数据结构、Hive CLI
yuanzhengme
|
6天前
|
SQL HIVE
Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
【4月更文挑战第7天】Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
yuanzhengme
17 0
疯狂的猿
|
6天前
|
SQL 分布式计算 Java
linux安装Hive详细步骤
【1月更文挑战第2天】linux安装Hive详细步骤
疯狂的猿
164 0
诸葛子房
|
6天前
|
SQL 分布式计算 关系型数据库
Hive安装
Hive安装
诸葛子房
52 1
让线程再跑一会
|
6天前
|
SQL Java Shell
Hive【非交互式使用、三种参数配置方式】
Hive【非交互式使用、三种参数配置方式】
让线程再跑一会
62 0

热门文章

最新文章

  • 1
    【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
  • 2
    【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
  • 3
    【Hive】Hive的两张表关联，使用MapReduce怎么实现？
  • 4
    【Hive】为什么要对数据仓库分层？
  • 5
    【Hive】写出Hive中split、coalesce及collect_list函数的用法？
  • 6
    【Hive】数据倾斜怎么解决？
  • 7
    Hive【基础知识 05】常用DDL操作（数据库操作+创建表+修改表+清空删除表+其他命令）
  • 8
    Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
  • 9
    【Hive】sort by 和 order by 的区别
  • 10
    Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
  • 1
    DataWorks报错问题之集成hive数据源报错如何解决
    44
  • 2
    Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
    172
  • 3
    Apache Hudi与Hive集成手册
    103
  • 4
    DataWorks常见问题之hive jdbc加载数据错误如何解决
    41
  • 5
    Hive中日期处理函数的使用（date_format、date_add、date_sub、next_day）
    122
  • 6
    Hive窗口函数案例总结
    29
  • 7
    Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
    103
  • 8
    Hive Delegation Token 揭秘
    55
  • 9
    Flink依赖问题之connector hive依赖冲突如何解决
    69
  • 10
    Flink报错问题之flink-1.11写hive报错如何解决
    32

    • 相关课程

    更多
  • 大数据Hive教程精讲
  • 实时数据接入：5分钟上手 Flink MySQL 连接器
  • HBase入门教程
  • Hadoop快速入门
  • 分布式数据库 HBase 快速入门
  • HBase入门与实战

    • 相关电子书

    更多
  • Comparison of Spark SQL with Hive
  • Hive Bucketing in Apache Spark
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • 通过Lindorm-cli连接并使用宽表引擎
  • 5分钟上手Flink MySQL连接器
  • 搭建Hadoop环境
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考