👨🏻🎓博主介绍:大家好,我是芝士味的椒盐,一名在校大学生,热爱分享知识,很高兴在这里认识大家🌟
🌈擅长领域:Java、大数据、运维、电子
🙏🏻如果本文章各位小伙伴们有帮助的话,🍭关注+👍🏻点赞+🗣评论+📦收藏,相应的有空了我也会回访,互助!!!
🤝另本人水平有限,旨在创作简单易懂的文章,在文章描述时如有错,恳请各位大佬指正,在此感谢!!!
@[TOC]
- 搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。
- 准备好
apache-hive-1.2.1-bin.tar.gz
和mysql-libs.zip
两个包
hive安装
解压
apache-hive-1.2.1-bin.tar.gz
到/usr/local/src下,并且将其重命名为hivetar -zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin hive
复制/hive/conf下的hive-env.sh.template模板并重命名为hive-env.sh
cp hive-env.sh.template hive-env.sh
在重命名的hive-env.sh里配置参数
export HADOOP_HOME=/usr/local/src/hadoop export HIVE_HOME=/usr/local/src/hive/conf
修改/usr/local/src/hive/bin下的hive脚本
# add Spark assembly jar to the classpath if [[ -n "$SPARK_HOME" ]] then #如果装有spark需要指定Spark目录下的jars目录下的所有的jar包 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar` CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}" fi
- 否则启动hive将报如下错误
提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录...
启动hadoop的hdfs和yarn
start-dfs.sh start-yarn.sh
在hdfs上创建tmp和/user/hive/warehouse两个目录,修改为同组可读
#创建文件夹 hadoop fs -mkdir /tmp hadoop fs -mkdir /user/hive/warehouse #赋予文件夹权限 hadoop fs -chmod g+w /tmp hadoop fs -chmod g+w /user/hive/warehouse
将hive下的
jline-2.12.jar
复制替换hadoop中的jline-2.12.jar
cp /usr/local/src/hive/lib/jline-2.12.jar /usr/local/src/hadoop/share/hadoop/yarn/lib/ rm jline-2.12.jar -rf
- 否则启动hive会报如下错误
Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina
hive启动并测试
启动hive并测试查询
#在配了环境变量bin的情况下才能使用 hive
查看数据库
hive> show databases;
选择默认数据库
hive> use default;
显示默认数据库中的表
hive> show tables;
TIPS:hive在hdfs中的结构
- 数据库:在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
- 表:在hdfs中表现所属db目录下一个文件夹,文件夹中存放该表中的具体数据
如果使用Metastore自带的derby数据库,在已经有一个对话的时候再打开一个对话将报错
`Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException:
Unable to instantiate`- 原因:推荐MySQL存储Metastore元数据,替换默认的Derby数据库