开发者社区> 问答> 正文

MapReduce 优化方法数据输入是什么?

MapReduce 优化方法数据输入是什么?

展开
收起
cuicuicuic 2021-12-05 01:06:05 283 0
1 条回答
写回答
取消 提交回答
  • 数据输入: 合并小文件:在执行 mr 任务前将小文件进行合并,大量的小文件会产生大量的 map 任务,增大 map 任务装载次数,而任务的装载比较耗时,从而导致mr 运行较慢

    2021-12-05 01:06:19
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
实战-如何基于HBase构建图片视频数据的统一存储检索方案 立即下载
Hadoop存储与计算分离实践 立即下载