Hive环境搭建

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Hive环境搭建

一、 任务描述

本实验任务主要完成基于ubuntu环境的Hive环境部署、配置和调试工作。通过完成本实验任务,要求学生熟练掌握Hive环境部署方法,为后续实验的开展奠定Hive基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、 任务目标

了解hive的作用并熟练hive的配置过程(Msql数据库)

三、 任务环境

本次环境是:Ubuntu16.04+jdk1.8.0

四、 任务分析

Hive工具中默认使用的是derby数据库,该数据库使用简单,操作灵活,但是存在一定的局限性,hive支持使用第三方数据库,例如mysql,通过配置可以把mysql集成到hive工具中,在实际的应用当中就比较方便,mysql功能更强大一些,社会中应用也广泛一些。

♥ 知识链接

mysql简述

由于MySQL是开放源代码的,因此任何人都可以在General Public License的许可下下载并根据个性化的需要对其进行修改。MySQL因为其速度、可靠性和适应性而备受关注。大多数人都认为在不需要事务化处理的情况下,MySQL是管理内容最好的选择

五、 任务实施

步骤1、解压hive

在linux系统下,首先执行cd /simple 命令进入simple目录下,然后把/simple/soft目录下的hive压缩包解压到/simple目录下,执行命令为:tar -zxvf /simple/soft/apache-hive-1.2.2-bin.tar.gz。如图1所示

5d61c14896f44ac1b4c0d66a22bda202.png

图1 解压hive包

  执行完解压命令之后,可以通过执行命令:ls可以看到一个hive解压目录。如图2所示

4510a684fc104fceaf52eed0bdb6dcc5.png

图2 查看解压后文件夹

步骤2、配置hive

解压完毕hive压缩包后,切换目录到/simple/apache-hive-1.2.2-bin目录并查看下面的文件列表。如图3所示

a72f0287c38948aeabfbce1bf4e004bd.png

图3 进入hive目录

  在/simple/apache-hive-1.2.2-bin目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:cp hive-env.sh.template hive-env.sh。如图4所示


c3e6a9719a4e44dc9b4b9d4d627eb00d.png

图4 复制出一个hive配置文件

  在/simple/apache-hive-1.2.2-bin/conf目录下执行:vim hive-env.sh并编辑内容。如图5所示

32114d7ea6094a089b86ddeaf230ac67.png

图5 配置hadoop安装路径

  在/simple/apache-hive-1.2.2-bin目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:mv hive-default.xml.template hive-site.xml。如图6所示

9b742f66964c4d82ba8ba9831e444591.png

图6 重命名文件

   完成上一步操作之后,此时需要修改hive-site.xml文件的内容,由于hive-site.xml中内容较多,我们需要在本地打开文件进行删除文件中的内容,

单击桌面文件选择打开方式->用Leafpad打开进行编译,删除<configuration></configuration>中所有内容,此操作会比较耗时此时需要修改hive-site.xml文件的内容,在终端执行命令:vim hive-site.xml之后并查看内容,注意:mysql url路径地址的ip地址根据本机情况进行修改。如图7所示


98b7a5ad3daa4ca3b6c317d8ffe0837f.png

图7 配置

复制连接mysql数据库的jar包到hive的lib下。如图8所示

a6988651ccb648ae8603d9e7fc141fa1.png

图8 配置

  完成上一步之后,在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:

export JAVA_HOME=/simple/jdk1.8.0_73
export HIVE_HOME=/simple/apache-hive-1.2.2-bin
export HADOOP_HOME=/simple/hadoop-2.7.3

如图9,10所示

ed37aee6a6b04b9aa7ba03c3fd488d86.png

图9 增加环境变量

2e56608641fa4554abdac78dc53c89a0.png

图10 增加环境变量

  在命令终端任意目录下,执行命令:vim /etc/profile然后编辑内容,进行hive环境变量的配置。然后执行命令:source /etc/profile,让配置生效。如图11所示

72ce2a0e0bce4051b19c449b8282f959.png

图11 增加环境变量

  配置完环境变量之后,执行命令”start-all.sh”启动hadoop服务和service mysql start启动mysql服务,之后执行hive命令,进入hive shell环境表示安装配置成功 。 如图12所示

98c66ba87bc341aeadc92fee75acc945.png

图12 进入hive shell界面

  在测试的过程中有可能产生文件权限问题,对应目录主要有两个:

1)hdfs://192.168.1.2:9000/tmp1
2)/tmp1

可以通过如下命令修改hdfs上的tmp1和本地tmp1文件夹权限的修改:

hdfs dfs -mkdir /tmp1
hdfs dfs -chmod -R 777 /tmp1 //hdfs

上的文件权限,如图13所示

4f519251b64f495ebcc26a0047d8b1d4.png

图13

知识链接

语法:tar [主选项+辅选项] 文件或者目录

使用该命令时,主选项是必须要有的,它告诉tar要做什么事情,辅选项是辅助使用的,可以选用。

主选项:

c 创建新的档案文件。如果用户想备份一个目录或是一些文件,就要选择这个选项。相当于打包。

x 从档案文件中释放文件。相当于拆包。

t 列出档案文件的内容,查看已经备份了哪些文件。


651242efa9034e26924fa6feeb4ba082.png004221243e7c4597855e72888f23e3d2.png

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
7月前
|
SQL 关系型数据库 MySQL
Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
【4月更文挑战第6天】Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
444 1
|
SQL 关系型数据库 MySQL
Hive环境搭建及简单使用
上篇文章我们介绍了Hive源码编译的相关内容,本篇文章将主要介绍Hive环境的搭建步骤及简单使用。
282 0
|
SQL 分布式计算 Java
hive_学习_01_hive环境搭建(单机)
一、前言 本文承接上一篇:hbase_学习_01_HBase环境搭建(单机),主要是搭建 hive 的单机环境   二、环境准备 1.说明 hive 的下载来源有: 官方版本:http://archive.apache.org/dist/hive/ CDH版本:http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本,因为比较稳定。
1847 0
|
SQL 关系型数据库 Apache
Hive基本原理及环境搭建
      今天我主要是在折腾这个Hive,早上看了一下书,最开始有点凌乱,后面慢慢地发现,hive其实挺简单的,以我的理解就是和数据库有关的东西,那这样的话对我来说就容易多啦,因为我对sql语法应该是比较熟悉了,而这个是HQL的,其实很多都差不多。先来看一下Hive的基本介绍: 一、Hive基本原理        hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映
1781 0
|
7月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
211 1
|
7月前
|
SQL 存储 大数据
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
272 0
|
7月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
313 0
|
2月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
68 0
|
5月前
|
SQL 分布式计算 大数据
大数据处理平台Hive详解
【7月更文挑战第15天】Hive作为基于Hadoop的数据仓库工具,在大数据处理和分析领域发挥着重要作用。通过提供类SQL的查询语言,Hive降低了数据处理的门槛,使得具有SQL背景的开发者可以轻松地处理大规模数据。然而,Hive也存在查询延迟高、表达能力有限等缺点,需要在实际应用中根据具体场景和需求进行选择和优化。