Hive安装使用

简介: 文档及下周网址 官网http://hive.apache.org 文档https://cwiki.apache.org/confluence/display/Hive/GettingStarted https://cwiki.

文档及下周网址

必要条件Requirements

  • Java 1.7
    Note: Hive versions 1.2 onward require Java 1.7 or newer. Hive versions 0.14 to 1.1 work with Java 1.6 as well. Users are strongly advised to start moving to Java 1.8 (see HIVE-8607).
  • Hadoop 2.x (preferred推荐), 1.x (not supported by Hive 2.0.0 onward).
    Hive versions up to 0.13 also supported Hadoop 0.20.x, 0.23.x.
  • Hive is commonly used in production(生产环境) Linux and Windows environment. Mac is a commonly used development environment. The instructions in this document are applicable to Linux and Mac. Using it on Windows would require slightly different steps.

上传hive包和myql包到linux系统

启动hdfs和yarn服务及MapReduce历史

  • sbin/start-dfs.sh
  • sbin/start-yarn.sh
  • sbin/mr-jobhistory-damon.sh start historyserver


解压及修改配置文件

hive依赖于hadoop

  • tar -zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/
    -C 表示change的意思

  • 把apache-hive-0.13.1-bin 重新命名为hive-0.13.1
    mv apache-hive-0.13.1-bin hive-0.13.1

  • 把hive-env.sh.template重新命令为hive-env.sh


  • 修改hadoop目录
    修改hive-en.sh 中的 HADOOP_HOME=/opt/modules/hadoop-2.5.0

  • 修改hive配置文件目录
    opt/modules/hive-0.13.1/conf

运行hive

  • 在hdfs系统中添加目录
    命令:bin/hdfs dfs -mkdir -p /user/hive/warehouse 和/tmp

  • 把这两个目录放到一个组权限
    set them chmod g+w before you can create a table in Hive
    命令:bin/hdfs dfs -chmod 777 /tmp
    bin/hdfs dfs -chmod g+w /user/hive/warehouse
    bin/hdfs dfs -chmod777 /user/hive/warehouse

  • 运行 bin/hive
    第一次运行比较慢,在创建元数据,默认会创建一个default库。库为空库,没有任何表。

  • 创建表并执行count查询
    在这个过程中会执行MapReduce

  • 网页访问地址

目录
相关文章
|
SQL Shell Apache
|
存储 SQL 关系型数据库
|
8月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
215 1
|
SQL 分布式计算 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门
177 0
|
8月前
|
SQL 存储 大数据
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
287 0
|
SQL 存储 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
153 0
|
8月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
328 0
|
8月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
1186 0
|
3月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
77 0
|
6月前
|
SQL 分布式计算 大数据
大数据处理平台Hive详解
【7月更文挑战第15天】Hive作为基于Hadoop的数据仓库工具,在大数据处理和分析领域发挥着重要作用。通过提供类SQL的查询语言,Hive降低了数据处理的门槛,使得具有SQL背景的开发者可以轻松地处理大规模数据。然而,Hive也存在查询延迟高、表达能力有限等缺点,需要在实际应用中根据具体场景和需求进行选择和优化。