Hive安装

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Hive安装

1.依赖(需要提前安装hadoop)

hadoop 安装系列教程二——伪分布式

2.下载Hive

hive和hadoop版本:hadoop,hbase,hive版本整合兼容问题

https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/

3.安装

(1)修改环境变量 vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_251

export HADOOP_HOME=/opt/hadoop-2.9.2

export HIVE_HOME=/opt/apache-hive-2.3.7-bin

export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar

export PATH=PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:$HIVE_HOME/bin

(2)配置hive  cd /opt/apache-hive-2.3.7-bin/conf

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-default.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

(3) 创建hdfs目录  开启hadoop:start-all.sh

hdfs dfs -mkdir -p /usr/hive/warehouse
(此处的-p指直接创建多级目录,一次创建成功)
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
(设置权限)
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log

(4)修改hive-env.sh(conf 目录下)

export JAVA_HOME=/opt/jdk1.8.0_251

export HIVE_HOME=/opt/apache-hive-2.3.7-bin

export HADOOP_HOME=/opt/hadoop-2.9.2

export HIVE_CONF_DIR=/opt/apache-hive-2.3.7-bin/conf

(5)修改hive-site.xml

javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive
JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
root
Username to use against metastore database
javax.jdo.option.ConnectionPassword
123
password to use against metastore database
hive.exec.local.scratchdir
/usr/local/hive
Local scratch space for Hive jobs
hive.downloaded.resources.dir
/usr/local/hive/hive-downloaded-addDir/
Temporary local directory for added resources in the remote file system.
hive.querylog.location
/usr/local/hive/querylog-location-addDir/
Location of Hive run time structured log file
hive.server2.logging.operation.log.location
/usr/local/hive/hive-logging-operation-log-addDir/
Top level directory where operation logs are stored if logging functionality is enabled

(6)修改hive-log4j.properties

hive.log.dir=/usr/local/tmp

(7)mysql配置  安装参照:mysql安装_诸葛子房的博客-CSDN博客

mysql -u root -p

mysql> create database hive;
mysql> show databases;
mysql> grant all on hive.* to 'hive'@'%' identified by 'hive';(将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码)
mysql> flush privileges;(刷新mysql系统权限关系表)
mysql> exit;

(8)下载连接 MySQL :: Download Connector/J

将 mysql-connector-java-8.0.20.jar 拷贝到lib目录下

Maven Repository: mysql » mysql-connector-java » 8.0.27 (mvnrepository.com)

(9)数据库初始化  hive bin 目录下

schematool -initSchema -dbType mysql

(10)启动

hive --service metastore
hive

参考:

Hive安装与部署 - v林三岁 - 博客园

https://mp.weixin.qq.com/s?src=11×tamp=1591580470&ver=2387&signature=2ebm9Unlmxs2YsECJIvudFyTDZjXKo2hnWpRn1N7E3OKt2A0ejSM313Wo8TTnQIZC2FtL*eEyqbWXJgyXkddx-nmD2W-o5GEghXKQFam3uAI5cbBAbbohjqYoAtdUaXq&new=1


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
SQL 关系型数据库 MySQL
Mac下安装hive
Mac下安装hive
444 0
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
82 3
|
7月前
|
SQL HIVE
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
78 2
|
6月前
|
SQL 分布式计算 关系型数据库
分布式系统详解 -- Hive1.2.1 安装
分布式系统详解 -- Hive1.2.1 安装
72 1
|
7月前
|
SQL 分布式计算 关系型数据库
Ubuntu上安装MySQL以及hive
Ubuntu上安装MySQL以及hive
|
SQL 分布式计算 Ubuntu
基于Hadoop的数据仓库Hive安装
基于Hadoop的数据仓库Hive安装
446 0
|
SQL 存储 分布式计算
Hive学习---1、Hive入门、Hive 安装(二)
Hive学习---1、Hive入门、Hive 安装(二)
|
7月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.15 安装HIVE
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
218 1
Hadoop学习笔记(HDP)-Part.15 安装HIVE
|
7月前
|
SQL 分布式计算 Java
linux安装Hive详细步骤
【1月更文挑战第2天】linux安装Hive详细步骤
373 0
下一篇
DataWorks