1. 切片与MapTask并行度决定机制

MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。

思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？

MapTask并行度决定机制

数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。

数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。

2. FileInputFormat切片机制

切片机制：

• 简单地按照文件的内容长度进行切片
• 切片大小，默认等于Block大小
• 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

案例分析：

• 输入数据有两个文件： file1.txt 320M file2.txt 10M

• 经过FileInputFormat的切片机制运算后，形成的切片信息如下：

  file1.txt.split1-- 0~128

  file1.txt.split2-- 128~256

  file1.txt.split3-- 256~320

  file2.txt.split1-- 0~10M

3. FileInputFormat切片大小的参数配置

• 源码中计算切片大小的公式

Math.max(minSize, Math.min(maxSize, blockSize));

mapreduce.input.fileinputformat.split.minsize=1 默认值为1

mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue

因此，默认情况下，切片大小=blocksize

• 切片大小设置

maxsize（切片最大值）：参数如果调得比blockSize小，则会让切片变小，而且就等于配置的这个参数的值

minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大

• 获取切片信息API

// 获取切片的文件名称
String name = inputSplit.getPath().getName();
// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit();