Hadoop大数据平台实战(01):Impala vs Hive的区别-阿里云开发者社区

开发者社区> 徐雷frank> 正文

Hadoop大数据平台实战(01):Impala vs Hive的区别

简介: Hadoop大数据生态系统重要的2个框架Apache Hive和Impala,用于在HDFS和HBase上进行大数据分析。 但Hive和Impala之间存在一些差异--Hadoop生态系统中的SQL分析引擎的竞争。本文中我们会来对比两种技术Impala vs Hive区别?
+关注继续查看

Hadoop大数据生态系统重要的2个框架Apache Hive和Impala,用于在HDFS和HBase上进行大数据分析。 但Hive和Impala之间存在一些差异--Hadoop生态系统中的SQL分析引擎的竞争。本文中我们会来对比两种技术Impala vs Hive区别?

image


Hive介绍
Apache Hive™是开源的数据仓库框架,基于Hadoop构建,使用SQL语法读取Hadoop数据,分析保存在分布式存储中HDFS或者HBase数据库中的大型数据集。

image


Hive最早由Facebook开发,后来2008年贡献给Apache软件基金会。 此外,Hive的用途非常广泛,因为它支持分析存储在Hadoop的HDFS和其他兼容文件系统中的大量数据集。 像亚马逊S3。
Hive是一个在Hadoop集群之上运行的开源数据仓库和分析包。 Hive脚本使用类似SQL的语言,称为Hive QL(查询语言),它抽象编程模型并支持典型的数据仓库交互。 Hive使开发者能够避免接触底层机制,如(如Java)中的有向非循环图(DAG)或MapReduce程序编写Tez作业,降低复杂性。
Hadoop中SQL查询的事实标准
自2008年孵化以来,Apache Hive被认为是Hadoop中数PB数据的交互式SQL查询的事实标准。Hive使用熟悉的JDBC接口轻松与其他关键数据中心技术集成。
Hive提供类SQL的语言(HiveQL),在读取时使用模式,并将查询透明地转换为MapReduce任务,Apache Tez和Spark Jobs来分析数据。
Hive功能特性:
  • 提供索引加速分析处理
  • Hive支持多种类型的存储。 如纯文本,RCFIle,HBase,ORC
  • 此外,它还支持RDBMS中的元数据存储
  • Hive支持SQL之类的查询。 虽然我们可以隐式转换为MapReduce,Tez或Spark作业
  • 要操纵字符串,日期内置用户定义函数(UDF)
    Hive 官方网站 http://hive.apache.org/

LLAP Hive(Live Long and Process)利用具有智能内存缓存的持久查询服务器来避免Hadoop的面向批处理的延迟问题,并提供与次数较小的数据量一样快的亚秒查询响应时间,而Hive on Tez继续针对PB级数据集提供出色的批量查询性能,性能做了优化加速。
Hive中的表与关系数据库中的表类似,数据单元按从大到小单位的分类法进行组织。数据库由表组成,表由分区组成。可以通过简单的查询语言访问数据,Hive支持覆盖或附加数据。

在特定数据库中,表中的数据是序列化的,每个表都有一个对应的Hadoop分布式文件系统(HDFS)目录。每个表可以细分为多个分区,用于确定数据在表目录的子目录中的分布方式。分区内的数据可以进一步细分为存储桶。

Hive支持所有常见的数据类型,如BIGINT,BINARY,BOOLEAN,CHAR,DECIMAL,DOUBLE,FLOAT,INT,SMALLINT,STRING,TIMESTAMP和TINYINT。此外,我们也可以组合原始数据类型以形成复杂的数据类型,
Impala介绍

image


Impala是Cloudera公司开发的全新的开源大数据分析引擎MPP,它提供类SQL语法,能处理存储在Hadoop的HDFS和HBase中大数据。
不同于之前的Hive,虽然Hive也提供了SQLL语法,但Hive底层依赖于是MapReduce分析引擎,难以实现复杂查询的交互性。
Impala提高了Apache Hadoop上SQL查询性能,节约了大数据分析的时间,同时保留了熟悉的SQL语法用户体验。 使用Impala,可以实时查询存储在HDFS和Apache HBase的数据 - 支持包括SELECT,JOIN和聚合函数。 此外,Impala使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动和用户界面UI(Hue Beeswax),为批处理或实时查询管理操作提供了熟悉且统一的平台。 (Hive开发者可以很快熟悉Impala)
Impala是一个开源的大规模并行处理(MPP)SQL引擎。 在HDFS和Apache HBase上运行查询。 它不需要先移动或转换数据。 很容易与整个Hadoop生态系统集成。 此外,对于开源交互式商业智能任务,Impala跨框架的统一资源管理使其成为标准。
image

Impala的功能包括:

  • Impala支持Hadoop分布式文件系统(HDFS)和Apache HBase
  • Impala还识别Hadoop文件格式,如文本,LZO,Avro,RCFile,Parquet
  • 它还支持Kerberos身份验证
  • 支持Apache Sentry,提供基于角色的授权。
    Impala的优点:
  • 由于在数据节点上本地处理,避免了网络传输的性能瓶颈。
  • 可以使用单个,开放且统一的元数据存储中心。
  • 不需要昂贵的数据格式转换,因此不会产生任何开销。
  • 所有数据都可以立即查询,ETL没有延迟。
  • 所有硬件都用于Impala查询以及MapReduce分析。
  • 只需要一个机器池即可扩展集群。
    官方网站:https://impala.apache.org/

参考:
https://hive.apache.org/
https://impala.apache.org/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Java基础-18总结Map,HashMap,HashMap与Hashtable区别,Collections工具类
你需要的是什么,直接评论留言。 获取更多资源加微信公众号“Java帮帮” (是公众号,不是微信好友哦) 还有“Java帮帮”今日头条号,技术文章与新闻,每日更新,欢迎阅读 学习交流请加Java帮帮交流QQ群553841695 分享是一种美德,分享更快乐! 1:Map(掌握) (1)将键映射到值的对象。一个映射不能包含重复的键;每个键最多只
2450 0
《React Native移动开发实战》一一1.5 小试牛刀——更改React Native项目源码
本节书摘来自华章出版社《React Native移动开发实战》一 书中的第1章,第1.2节,作者:袁林 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1095 0
[喵咪大数据]Hadoop集群模式
既然是大数据无论存储和处理都需要相当大的磁盘或者是处理的资源消耗,那么单机肯定是满足不了我们的需求的,所以本节我们就来了解Hadoop的集群模式搭建,在集群情况下一同配合处理任务分发,存储分担等相关的功能进行实践.
99 0
大数据与海量数据的区别
       如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题。然而,当人们发现数据库中的数据可以分为三种类型:结构性数据、非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了。
1554 0
开放平台密钥, mapi网关产品密钥,老版wap支付密钥的区别
说明:    区别在于网关,请求方式不同,支持的密钥有区别    如何判断自己使用的是appid请求还是pid(partner)请求 【点击了解】  1.开放平台密钥    1)appid请求方式:appid以年份开头(如下图)       2)请求网关为:https://openapi.
2743 0
[喵咪大数据]Hadoop单机模式
千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务调度,计算处理,本机我们在单机模式下把Hadoop运行起来并且简单的使用接触Hadoop相关的机制.
68 0
+关注
徐雷frank
1.阿里云栖课堂Java讲师 2.阿里云大学讲师,主讲《MongoDB高级实战》《微服务Spring Cloud设计与开发实战》课程 3.MongoDB中文社区核心专家组 4.《MongoDB实战》第2版译者 5.吉林大学计算机科学学士 上海交通大学硕士
55
文章
456
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载