开发者社区> 问答> 正文

Apache Hive & Tez是什么?

已解决

Apache Hive & Tez是什么?

展开
收起
胡嘞嘞 2022-07-11 13:12:06 424 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    Hive 应该是最有名气的数据仓库工具了吧,他将HDFS 上的数据组织成关系型数据库的形式,并提供了HiveSQL 进行结构化查询,使得数据分析人员可以从传统的关系型数据库几乎无缝的过渡到HDFS 上, 但其个别函数和传统SQL还是有区别的,并且默认也不支持update 和delete 操作。但开发人员可以开发UDF, 为HiveSQL 扩充属于自己的功能函数。Hive 本身的计算是基于MapReduce 的, 后来为了应对SparkSQL 的出现,开发组推出了Hive on Spark,使得SQL的解释、分析、优化还是在Hive 上,而执行阶段交由Spark去完成,从而以达到和SparkSQL 近似的速度。Tez 是对Hive 的另一项优化,为其引入了DAG 的概念,增加任务并行度从而提升Hive 的查询速度,但其本质仍旧是MapReduce, 所以提升效果相比Hive on Spark 来讲并不足够明显。

    以上内容摘自《高德技术2020年刊合集》电子书,点击https://developer.aliyun.com/topic/download?id=1135可下载完成版

    2022-07-12 15:44:07
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

相关镜像