开发者社区> 问答> 正文

E-MapReduce中的Hive组件只能使用MR引擎吗

已解决

E-MapReduce中的Hive组件只能使用MR引擎吗

展开
收起
提个问题 2024-06-11 18:07:07 9 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    • E-MapReduce中的Hive支持两种引擎,分别是MapReduce (MR) 和 Tez。
      • MR引擎是Hadoop自带的默认MapReduce引擎,它是一种基于磁盘I/O和网络传输的批处理框架,适用于处理大数据量的离线数据分析任务。在Hive中使用MR引擎时,数据通常需要写入到磁盘,然后再从磁盘读取,这会带来一定的性能损失。
      • Tez 引擎是一种基于内存计算和数据流的高性能计算框架,它可以提高Hive的查询性能,适用于处理较小规模的交互式查询和实时数据分析任务。在Hive中使用Tez引擎时,数据可以在内存中直接流转,避免了磁盘I/O带来的性能瓶颈,从而大大提高了查询性能。
        关于Tez引擎可参考阿里云官方Tez文档
    2024-06-11 18:07:08
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载