开发者社区> 问答> 正文

Worker如何Map worker故障恢复细节?

Worker如何Map worker故障恢复细节?

展开
收起
kun坤 2020-04-23 16:42:09 561 0
1 条回答
写回答
取消 提交回答
  • Map worker故障

    • master注意到worker不再响应。
    • master因为保存了所有该worker执行的任务编号,把任务发给其他worker执行。之前的中间文件丢失了,需要重建
    • 如果Reduce读取了从之前崩溃的worker的中间数据,则可以丢弃重新运行.

    Reduce worker故障 - 已经执行完成的任务可以保留,因为文件存储在GFS,存在副本 - Master重启未完成的任务在其他worker执行

    2020-04-23 16:42:42
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《基于 Service Worker 实现在线代理》 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
低代码开发师(初级)实战教程 立即下载