开发者社区> 问答> 正文

MapReduce中有哪些额外的细节?

MapReduce中有哪些额外的细节?

展开
收起
kun坤 2020-04-23 16:41:07 351 0
1 条回答
写回答
取消 提交回答
  • 发送应用代码到服务器
    监控任务处理的进度
    把map产生的数据发给reduce
    服务器之间的负债均衡
    故障恢复
    长尾任务处理
    MapReduce对任务有限制
    不能交互执行,没有状态
    没有多级迭代,没有多级pipeline。而是一个mapReduce到另外一个MapReduce
    不能进行实时流处理(现在已经有了,spark)
    输入和输出文件是存储在GFS上的
    MP需要巨大的输入和输出吞吐
    GFS会把文件以64MB的chunk拆分到不同的服务器
    Maps的读是并行
    Reduces的写是并行
    GFS 的文件副本会存储在2~3个服务器中
    GFS是MapReduce成功的一大关键
    
    
    2020-04-23 16:41:19
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
为并行图数据处理提供高层抽象/语言 立即下载
Hadoop存储与计算分离实践 立即下载
实战-如何基于HBase构建图片视频数据的统一存储检索方案 立即下载