开发者社区> 问答> 正文

Hivbe中Tez和MapReduce作业的区别是什么?

Hivbe中Tez和MapReduce作业的区别是什么?

展开
收起
游客5n3d3br4o5qn4 2021-12-06 23:41:38 636 0
1 条回答
写回答
取消 提交回答
  • Tez绕过了MapReduce很多不必要的中间的数据存储和读取的过程,直接在一个作业中表达了MapReduce需要多个作业共同协作才能完成的事情。

    Tez和MapReduce一样都运行使用YARN作为资源调度和管理。但与MapReduce on YARN不同,Tez on YARN并不是将作业提交到ResourceManager,而是提交到AMPoolServer的服务上,AMPoolServer存放着若干已经预先启动ApplicationMaster的服务。

    当用户提交一个作业上来后,AMPoolServer从中选择一个ApplicationMaster用于管理用户提交上来的作业,这样既可以节省ResourceManager创建ApplicationMaster的时间,而又能够重用每个ApplicationMaster的资源,节省了资源释放和创建时间。

    2021-12-07 08:08:08
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
spark替代HIVE实现ETL作业 立即下载
阿里云E-MapReduce 立即下载
Flink+HBase场景化解决方案 立即下载