开发者社区> 问答> 正文

在运行mapreduce任务中,经常调整的参数有哪些呢?

在运行mapreduce任务中,经常调整的参数有哪些呢?

展开
收起
游客ydhxr2xydmgpo 2021-12-12 21:21:20 843 0
1 条回答
写回答
取消 提交回答
  • 在运行mapreduce任务中,经常调整的参数有:

    1.mapred.reduce.tasks:手动设置reduce个数

    2.mapreduce.map.output.compress:map输出结果是否压缩

    3.mapreduce.map.output.compress.codec

    4.mapreduce.output.fileoutputformat.compress:job输出结果是否压缩

    5.mapreduce.output.fileoutputformat.compress.type

    6.mapreduce.output.fileoutputformat.compress.codec

    2021-12-12 21:22:23
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
图计算优化技术探索 立即下载
低代码开发师(初级)实战教程 立即下载