hive-1.2.1安装以及简单使用

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: hive-1.2.1安装以及简单使用

Hive只在一个节点上安装即可

1.上传tar包

2.解压


tar -zxvf hive-1.2.1.tar.gz -C /apps/


3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点)


4.配置hive


  • (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home


1.配置hive环境变量,编辑
vi /etc/profile
#set hive env
export HIVE_HOME=/root/apps/hive-1.2.1
export PATH=${HIVE_HOME}/bin:$PATH
source /etc/profile
2.配置hadoop环境变量【安装hadoop时候已配置】

cd apps/hive-1.2.1/conf

4.1 cp hive-env.sh.template hive-env.sh

vi hive-env.sh


将以下内容写入到hive-env.sh文件中
export JAVA_HOME=/usr/local/java-1.8.231
export HADOOP_HOME=/root/apps/hadoop-2.6.5
export HIVE_HOME=/root/apps/hive-1.2.1


4.2 配置元数据

vi hive-site.xml


添加如下内容:


<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.52.200:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>


5.安装hive和mysq完成后,将mysql的连接jar包拷贝到hive安装目录的/lib目录下

如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行)
mysql -uroot -p
#(执行下面的语句  *.*:所有库下的所有表   %:任何IP地址或主机都可以连接)
  GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'mysql' WITH GRANT OPTION;
  FLUSH PRIVILEGES;
  grant all privileges on *.* to root@"192.168.52.200" identified by "mysql" with grant option;
  FLUSH PRIVILEGES;

【注意】:需要配置hadoop和hive的环境变量,在启动hive之前需要启动hadoop的hdfs、yarn


6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的


/apps/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar


7.1 启动hive程序


bin/hive


【注意】移植很强悍,只需要需改好的hive-1.2.1拷贝到其他机器,不许做任何修改,直接可启动用,如:


scp -r hive-1.2.1/ hadoop02:/root/apps/


7.2 显示当前使用的库,和开启字段名称


1. set hive.cli.print.current.db=true;
2. set hive.cli.print.header=true;


8.0如果启动hive服务、客户端呢???

# 启动服务hiveserver2 10000端口
bin/hiveserver2    # 这里没有后台运行
nohup bin/hiveserver2 1>/dev/null 2>&1 &    # 后台运行服
# 开启beeline客户端
bin/beeline
beeline>!connect jdbc:hive2://hadoop1:10000
用户名root 直接回车
客户端很好看!!!!!
# 退出客户端
beeline>!quit

9.0 建内部表(默认是内部表default) 字段之间 , 分开的


create table trade_detail(id bigint, account string, income double, expenses double, time st


9.1 建外部表


建外部表,任意目录,可以非/usr/warehouse/下,外部表删除后,hdfs中的数据目录不会删除。

create external table td_ext(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by ',' location '/lod/20190202/';

10. 创建分区表


10.1 普通表和分区表区别:有大量数据增加的需要建分区表


create table log (id bigint, url string) partitioned by (daytime string) row format delimited fields terminated by ',';


10.2 **导入本机数据到分区表 hdfs的hive仓库中

1.手动上传
2.hive命令,再次执行的话会追加数据
hive>load data local inpath '/root/log1.log/' log partition(daytime='20190904'); # 指定分区20190904


10.3 分区表加载数据


select *
from log
where daytime='20190904'


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
SQL 关系型数据库 MySQL
Mac下安装hive
Mac下安装hive
456 0
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
89 3
|
7月前
|
SQL HIVE
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
79 2
|
6月前
|
SQL 分布式计算 关系型数据库
分布式系统详解 -- Hive1.2.1 安装
分布式系统详解 -- Hive1.2.1 安装
81 1
|
7月前
|
SQL 分布式计算 关系型数据库
Ubuntu上安装MySQL以及hive
Ubuntu上安装MySQL以及hive
|
SQL 分布式计算 Ubuntu
基于Hadoop的数据仓库Hive安装
基于Hadoop的数据仓库Hive安装
451 0
|
SQL 存储 分布式计算
Hive学习---1、Hive入门、Hive 安装(二)
Hive学习---1、Hive入门、Hive 安装(二)
|
7月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.15 安装HIVE
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
220 1
Hadoop学习笔记(HDP)-Part.15 安装HIVE
|
7月前
|
SQL 分布式计算 关系型数据库
Hive安装
Hive安装
113 1