Mac下安装hive

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: Mac下安装hive

01 引言

hive本身是没有存储功能的,数据是存储在hadoophdfs里面。所以要安装并使用hive,需要现在装Hadoop,具体的安装方式可以参考之前写的博客《Mac下安装Hadoop》

接下来,本文讲解如何在Mac的环境下安装hive。

02 Hive安装

① 终端使用brew安装:

brew install hive

② 配置hive环境变量,打开环境变量配置文件:

open ~/.bash_profile

③ 配置文件最后添加(根据安装的版本号来配置版本号):

export HIVE_HOME=/usr/local/Cellar/hive/3.1.2_3
export PATH=$HIVE_HOME/bin:$PATH

④ 保存并更新配置文件:

source ~/.bash_profile

03 配置hive元数据库

注意:hive 配置元数据库metastore有3种方式,分别为内嵌配置、本地配置和远程配置,这里讲的是本地模式,具体的配置可以参考:《Hive Metastore 的三种配置方式》

Hive的元数据存储在MySQL数据库,所以需要安装多一个MySQL数据库,安装方式可以参考之前写的博客《Mac Docker 安装MySQL》

安装好MySQL之后,在MySQL数据库里新建数据库metastore

mysql> create database metastore;

接下来需要配置Hive关联MySQL的元数据库了。

① 进入hive配置目录:

cd /usr/local/Cellar/hive/3.1.2_3/libexec/conf

② 新建hive-site.xml文件:

vi hive-site.xml

hive-site.xml文件里面粘贴如下内容(主要配置Hive关联MySQL的元数据库):

<configuration>
  <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost/metastore</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
  <!--mysql用户名-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
  <!--mysql密码-->
  <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
 <!-- hive用来存储不同阶段的map/reduce的执行计划的目录,同时也存储中间输出结果
,默认是/tmp/<user.name>/hive,我们实际一般会按组区分,然后组内自建一个tmp目录存>储 -->
    <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/tmp/hive</value>
    </property>
    <property>
        <name>hive.downloaded.resources.dir</name>
            <value>/tmp/hive</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/tmp/hive</value>
    </property>
</configuration>

④ 进入hivelib目录,并下载MySQL驱动包:

cd /usr/local/Cellar/hive/3.1.2_3/libexec/lib
curl -O https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.28/mysql-connector-java-8.0.28.jar

04 验证与运行hive

4.1 运行前准备

首先确保MySQL已经启动:

确保Hadoop已经启动,启动命令如下:

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./start-all.sh

浏览器输入如下地址,如果能正常访问,表示hadoop安装成功了:

4.2 验证与运行

命令框里输入:

hive

如果出现下图,表示hive安装并配置成功:

再输入:

show databases;

如果提示一下异常,表示hive的数据库MySQL安装的时候没有初始化:

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

先退出hive(使用命令exit;)然后输入命令:

schematool -dbType mysql -initSchema

再次输入hive,并输入命令:

hive
show databases;

如果提示如下,表示Hive安装成功并关联了MySQL的数据库了:

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
开发工具 git iOS开发
Mac 安装软件包管理工具Homebrew
Mac 安装软件包管理工具Homebrew
|
4月前
|
Unix 网络安全 iOS开发
Mac 电脑如何安装Wireshark?
Mac 电脑如何安装Wireshark?
117 0
Mac 电脑如何安装Wireshark?
|
11天前
|
SQL HIVE
Hive的安装
Hive的安装
19 1
|
7天前
|
Python
Mac上pyCharm找不到已安装的库
Mac上pyCharm找不到已安装的库
9 0
|
18天前
|
Java Android开发 芯片
Mac M芯片安装DBeaver Ultimate
Mac M芯片安装DBeaver Ultimate
18 0
Mac M芯片安装DBeaver Ultimate
|
2月前
QT 5.14.2版本 MAC环境安装部署流程
QT 5.14.2版本 MAC环境安装部署流程
|
2月前
|
iOS开发 MacOS Python
Mac安装pip报错的解决办法
Mac安装pip报错的解决办法
|
2月前
|
存储 Ubuntu Linux
如何在 Mac M1 (Apple Silicon) 上安装 ABAP 1909
如何在 Mac M1 (Apple Silicon) 上安装 ABAP 1909
15 0
|
3月前
|
NoSQL 关系型数据库 MySQL
Windows、Linux、Mac安装数据库(mysql、MongoDB、Redis)#0
不同系统下进行MySQL安装、MongoDB安装、Redis安装【2月更文挑战第5天】
445 5
Windows、Linux、Mac安装数据库(mysql、MongoDB、Redis)#0
|
3月前
|
关系型数据库 MySQL 数据安全/隐私保护
【MySQL】 Docker 安装 MySQL8.0(mac)
【MySQL】 Docker 安装 MySQL8.0(mac)
111 0