macOS下 Hive 2.x 的安装与配置-阿里云开发者社区

开发者社区> javaedge> 正文

macOS下 Hive 2.x 的安装与配置

简介: macOS下 Hive 2.x 的安装与配置
+关注继续查看

1 简介

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的[SQL]查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。


它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。


Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上,控制分隔符,也允许用户指定数据格式。


Apache Hive起初由[Facebook]开发,目前也有其他公司使用和开发Apache Hive,例如[Netflix]等。亚马逊公司也开发了一个定制版本的Apache Hive,亚马逊网络服务包中的Amazon Elastic MapReduce包含了该定制版本。


2 环境

  • 操作系统

  • Hadoop版本
    hadoop-2.6.0-cdh5.7.0
  • MySQL版本

  • mysql-connector-java
    5.1.37
  • Hive版本
    2.3.4

3 安装Hive

3.1 先确保已经正确安装并运行了hadoop

3.2 下载Hive安装包

官网下载

将安装包移动至:

…/hadoop-2.6.0-cdh5.7.0/ 目录下,此目录是本地安装Hadoop的目录

移动至此处后,解压缩

tar -xzvf apache-hive-2.3.4-bin.tar.gz

并将解压后的文件名改为hive,方便配置。

例如本机Hive的安装路径为

3.3 配置系统环境变量

3.3.1 修改~/.bash_profile

// 或者修改/etc/profile文件

vim ~/.bash_profile

添加内容

export HIVE_HOME=/Volumes/doc/hadoop-2.6.0-cdh5.7.0/hive
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

退出保存后,在终端输入,使环境变量立即生效

source ~/.bash_profile

4 修改Hive配置

4.1 新建文件hive-site.xml

  • 在 …/hive/conf下

  • 添加hive-site.xml内容

4.2 hive-env.sh

5 MySQL 权限配置

5.1 给用户赋予权限

  • 以使得该用户可以远程登录数据库:

如果上面查询到有信息,但host为localhost或其他值,就需要根据实际需求来更新表信息

grant all privileges on 库名.表名 to '用户名'@'IP地址' identified by '密码' with grant option;
flush privileges;

库名:要远程访问的数据库名称,所有的数据库使用“
表名:要远程访问的数据库下的表的名称,所有的表使用“

用户名:要赋给远程访问权限的用户名称

IP地址:可以远程访问的电脑的IP地址,所有的地址使用“%”

密码:要赋给远程访问权限的用户对应使用的密码


GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;

使改变立即生效:

FLUSH PRIVILEGES;

6 向/usr/hadoop/hadoop-2.6.2/hive/lib中添加mySql连接库:

6.1 官网下载连接驱动包

6.2 将下好的包解压缩

  • 解压后,将此文件夹下mysql-connector-java-8.0.15.jar

  • 复制到…/hive/lib下

注意:需要给/tmp文件夹设置写权限,同时确保 hadoop不在安全模式下,可以执行此命令使hadoop退出安全模式:hadoop dfsadmin -safemode leave

7 启动Hive

在命令行运行 hive 命令时必须保证HDFS 已经启动。可以使用 start-dfs.sh 脚本来启动 HDFS。

7.1 如果是第一次启动Hive,则需要先执行如下初始化命令

schematool -dbType mysql -initSchema

7.2 启动Hive

完成基本的环境配置!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
在macOS上安装配置golang开发环境
本文主要介绍如何在macOS上安装配置golang开发环境。 一、安装 Homebrew 打开终端,输入以下命令安装 Homebrew /usr/bin/ruby -e "$(curl -fsSL https://raw.
1730 0
macOS 安装go配置GOROOT GOPATH
macOS 安装go配置GOROOT GOPATH
15 0
Keepalived 日志配置与启动配置
在Redhat系统下,可以使用下面的方法将keepalived的日志输出到/var/log/下的某个文件里:  1.将keepalived日志输出到local0:  vim /etc/sysconfig/keepalived  KEEPALIVED_OPTIONS="-D -d -S 0"  2.
1729 0
MacOS操作系统当中运行VSCode并配置运行调试C#项目
在开发的过程当中,经常会遇到各种开发环境,在MacOS上如何运行VSCode,配置并且调试C#项目,本文进行讲解
317 0
MacOS 等机器配置 Docker 启用 Remote API
Docker 不仅可以通过本地命令行`docker`命令进行调用,还可以通过开启远程控制 API,使用 HTTP 调用接口来进行访问,远程控制 Docker Daemon 来做很多操作。
89 0
confd + Nacos | 无代码侵入的配置变更管理
为什么要支持 confd,老的应用配置管理模式是启动时读取配置文件,然后重新读取配置文件需要应用重启。一般的配置管理系统都是代码侵入性的,应用接入配置管理系统都需要使用对应的 SDK 来查询和监听数据的变更。
8792 0
Elasticsearch实战(三)-MacOS下载安装启动Elasticserch、Kibana
Elasticsearch实战(三)-MacOS下载安装启动Elasticserch、Kibana
8 0
+关注
javaedge
关注公众号:JavaEdge,后台回复面试,领取更多大厂求职资源。曾在百度、携程、华为等大厂搬砖,专注Java生态各种中间件原理、框架源码、微服务、中台等架构设计及落地实战,只生产硬核干货!
2315
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载