开发者社区> 问答> 正文

MapReduce中的切片机制是什么?

MapReduce中的切片机制是什么?

展开
收起
芯在这 2021-12-06 22:14:13 260 0
1 条回答
写回答
取消 提交回答
  • FileInputFormat默认的切片机制是:

    按照文件内容长度进行切片 切片大小默认等于block大小 切片针对每个文件单独切片, 比如一个文件300M, 一个10M, 300M的默认会切成0-128, 128-256, 256-300三片, 而10M的文件只会切成0-10一片.

    2021-12-06 22:14:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
HBase2.0重新定义小对象实时存取 立即下载
Quanta:Quora的HBase分层计数系统 立即下载