开发者学堂课程【Hadoop 分布式计算框架 MapReduce：FilelnputFormat 切片机制和配置参数】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/94/detail/1500
FilelnputFormat切片机制和配置参数
内容简介：
一、切片机制
二、案例分析
1、切片机制
(1)简单地按照文件的内容长度进行切片
(2)切片大小，默认等于 Block 大小
(3)切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
2、案例分析
(1)输入数据有两个文件：
filel.txt file2.txt
320M 10M
(2) 经过 FilelnputFormat 的切片机制运算后，形成的切片信息如下：
filel.txt.splitl-- 0~128
filel.txt.split2-- 128~256
filel.txt.split3--256~320
file2.txt.splitl--0~10M
FilelnputFormat切片大小的参数配置
(1)源码中计算切片大小的公式Math.max(minSize.Math.min(maxSize.blockSize)):mapreduce.input.fileinputfonmat.split.minsize=1 默认 值为1
mapreduce.input.fileinputformat.split.maxsize=Long.MAXValue 默认值Long.MAXValue
因此，默认情况下，切片大小=blocksize。
（2)切片大小设置
maxsize (切片最大值)：参数如果调得比 blockSize 小，则会让切片变小，而且就等于配置的这个参数的值。
minsize (切片最小值)：参数调的比 blockSize 大，则可以让切片变得比 blockSize还大。
（3）获取切片信息 API// 获取切片的文件名称
String name = inputSplit.getPath().getName();
//根据文件类型获取切片信息
FileSplit inputSplit =(FileSplit)context.getInputSplit();
