开发者社区> 问答> 正文

MapReduce的处理技术的缺点是什么?

MapReduce的处理技术的缺点是什么?

展开
收起
芯在这 2021-12-07 11:44:01 428 0
1 条回答
写回答
取消 提交回答
  • 由于这种方法严重依赖持久存储,每个任务需要多次执行读取和写入操作,因此速度相对较慢。但另一方面由于磁盘空间通常是服务器上最丰富的资源,这意味着MapReduce可以处理非常海量的数据集。同时也意味着相比其他类似技术,Hadoop的MapReduce通常可以在廉价硬件上运行,因为该技术并不需要将一切都存储在内存中。MapReduce具备极高的缩放潜力,生产环境中曾经出现过包含数万个节点的应用。

      MapReduce的学习曲线较为陡峭,虽然Hadoop生态系统的其他周边技术可以大幅降低这一问题的影响,但通过Hadoop集群快速实现某些应用时依然需要注意这个问题。

      围绕Hadoop已经形成了辽阔的生态系统,Hadoop集群本身也经常被用作其他软件的组成部件。很多其他处理框架和引擎通过与Hadoop集成也可以使用HDFS和YARN资源管理器。

    2021-12-07 12:14:02
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
分布式流处理框架——功能对比和性能评估 立即下载
Hadoop存储与计算分离实践 立即下载
为流处理世界重新设计的存储 立即下载