开发者社区> 问答> 正文

MapReduce中调优参数的容错相关参数配置是什么?

MapReduce中调优参数的容错相关参数配置是什么?

展开
收起
真的很搞笑 2021-12-05 01:11:59 213 0
1 条回答
写回答
取消 提交回答
  • (1)mapreduce.map.maxattempts 每个 Map Task 最大重试次数,一旦重试参数超过该值,则认为 Map Task 运行失败,默认值:4。 (2)mapreduce.reduce.maxattempts 每个 Reduce Task 最大重试次数,一旦重试参数超过该值,则认为 Map Task 运行失败,默认值:4。 (3)mapreduce.task.timeout Task 超时时间,经常需要设置的一个参数,该参数表达的意思为:如果一个 task 在一定时间内没 有任何进入,即不会读取新的数据,也没有输出数据,则认为该 task 处于 block 状态,可能是卡 住了,也许永远会卡主,为了防止因为用户程序永远 block 住不退出,则强制设置了一个该超时 时间(单位毫秒),默认是 600000。

    2021-12-05 01:12:12
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Cassandra 性能压测及调优实战 立即下载
HBase in Practise- 性能、监控和问题排查 立即下载
HBase in Practise: 性能、监控和问题排查 立即下载