HIVE 安装设置-阿里云开发者社区

开发者社区> 风来了> 正文

HIVE 安装设置

简介: HIVE 介绍 Hive 是一个基于 Hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中
+关注继续查看

HIVE 介绍

Hive 是一个基于 Hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换,最终生成一系列基于 hadoop 的 map/reduce 任务,通过执行这些任务完成数据处理。
Hive 诞生于 facebook 的日志分析需求,面对海量的结构化数据, Hive 以较低的成本完成了以往需要大规模数据库才能完成的任务,并且学习门槛相对较低,应用开发灵活而高效。
来源:百科
风.fox

Hadoop安装

http://blog.csdn.net/fenglailea/article/details/53318459

环境

CENTOS7
hive 版本 2.1.0
当前用户:hadoop

HIVE 下载安装

http://hive.apache.org/
http://www.apache.org/dyn/closer.cgi/hive/
http://apache.fayea.com/hive/

wget http://apache.fayea.com/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
tar -zxvf apache-hive-2.1.0-bin.tar.gz
mv apache-hive-2.1.0-bin ~/hive

HIVE设置环境变量

vim  ~/.bash_profile

最后加入

export HIVE_HOME=/home/hadoop/hive
export PATH=$PATH:$HIVE_HOME/bin

应用

.  ~/.bash_profile

HIVE配置修改

cp -rf /home/hadoop/hive/conf/hive-default.xml.template /home/hadoop/hive/conf/hive-site.xml

vim /home/hadoop/hive/conf/hive-site.xml

部分参数修改为

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseInfoNotExist=true</value> 
            <description>JDBC connect string for a JDBC metastore</description>
      </property>
      <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
            <description>Driver class name for a JDBC metastore</description>
      </property>
      <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>hive</value>
            <description>数据库用户名</description>
      </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>xujun</value>
            <description>数据库密码</description>
      </property>
      <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/hadoop/hive/tmp</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/hadoop/hive/tmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  <property>
    <name>hive.querylog.location</name>
    <value>/home/hadoop/hive/tmp</value>
    <description>Location of Hive run time structured log file</description>
  </property>

下载mysql-connector-java驱动包

下载地址
http://dev.mysql.com/downloads/connector/j/
放到 $HIVE_HOME/lib目录下

启动

hive

参考
https://my.oschina.net/gently/blog/683580
http://blog.csdn.net/an342647823/article/details/46048403
http://www.cnblogs.com/linbingdong/p/5829369.html

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hive安装使用
文档及下周网址 官网http://hive.apache.org 文档https://cwiki.apache.org/confluence/display/Hive/GettingStarted https://cwiki.
2030 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8919 0
tomcat,zookeeper,activeMQ,Kafka设置jvm参数
1,tomcat设置jvm参数 设置方法: 在tomcat bin 目录增加配置:setenv.sh #add tomcat pid CATALINA_PID="$CATALINA_BASE/conf/tomcat.pid" #add java opts JAVA_OPTS=" -Djava.awt.headless=true -Djava.net.preferIPv4Stack=tr
1214 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10677 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
12586 0
+关注
222
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载