开发者社区> 问答> 正文

为什么说MapReduce分布可靠呢?

为什么说MapReduce分布可靠呢?

展开
收起
游客ydhxr2xydmgpo 2021-12-12 21:48:39 760 0
1 条回答
写回答
取消 提交回答
  • MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性;每个节点会周期性的返回它所完成的工作和最新的状态。如果一个节点保持沉默超过一个预设的时间间隔,主节点(类同Google File System中的主服务器)记录下这个节点状态为死亡,并把分配给这个节点的数据发到别的节点。每个操作使用命名文件的原子操作以确保不会发生并行线程间的冲突;当文件被改名的时候,系统可能会把他们复制到任务名以外的另一个名字上去。(避免副作用)。

    2021-12-12 21:52:21
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink中的两类新型状态存储 立即下载
为流处理世界重新设计的存储 立即下载
Cassandra总体介绍 立即下载