本文已参与「新人创作礼」活动，一起开启掘金创作之路。

13.MapReduce框架原理

13.1InputFormat数据输入

13.1.3FileInputFormat切片源码解析

13.1.3.1切片源码断点在哪断并且介绍相关源码：

断点在blog.csdn.net/Redamancy06… 这篇文章写了一部分了，可以先跟着这篇文章做，然后再看这篇文件就好理解了。

在这里插入图片描述一直运行到这一步然后强制进入。在这个位置打上断点，然后再断点处强行进入

在这里插入图片描述进去后在这两个地方打上断点

在这里插入图片描述然后进入这个断点就到FileInputFormat类里面了

在这里插入图片描述然后一直往上翻到最上面，点这个按下f4，就可以出现继承关系(type hierarchy)

在这里插入图片描述

红色框住的是最常用的 TextInputFormat是默认的按行切 CombineTextInputFormat把多个小文件放到一起统一的进行切割
还有两个不经常用的 NLineInputFormat按行进行切割 KeyValueTextInputFormat

在这里插入图片描述我是设置过的，参考的尚硅谷的java课程，有兴趣的可以看下我之前的博客，或者你在设置里面全部快捷键里搜一下type hierarchy 就可以知道你的快捷键是什么了

blog.csdn.net/Redamancy06…

在这里插入图片描述这里minSize获取的是1,1是怎么来的，可以看getFormatMinSplitSize这个和getMinSplitSize方法

在这里插入图片描述 getFormatMinSplitSize方法他是返回的是1，

在这里插入图片描述他这个值是由mapreduce.input.fileinputformat.split.minsize这个值来决定

这个参数去mapred-default.xml里面找

在这里插入图片描述

<property>
  <name>mapreduce.input.fileinputformat.split.minsize</name>
  <value>0</value>
  <description>The minimum size chunk that map input should be split
  into.  Note that some file formats may have minimum split sizes that
  take priority over this setting.</description>
</property>

这里的值默认是0 所以minSize的值取1

在这里插入图片描述 maxSize没有获取到，是为什么呢，进入getMaxSplitSize方法里面看看

在这里插入图片描述他的值是由mapreduce.input.fileinputformat.split.maxsize这个值决定在mapred-default.xml里面mapreduce.input.fileinputformat.split.maxsize是找不到的，如果找不到，则会返回long的最大值，

在这里插入图片描述这里开始循环变量输入的个数，这里可以说明是一个文件一个文件的切片

在这里插入图片描述这里可以看出来文件地址，和文件大小

在这里插入图片描述

然后继续往下走到这里，isSplitable是检查是否支持切片，如果是压缩文件就不支持切片

在这里插入图片描述然后再往下走到这里，blockSize是块的大小为32m，因为是在本地，所以他是32m

在这里插入图片描述然后再往下走，splitSize是切片大小，他也是32m，是怎么来的，进入computeSplitSize方法看看因为minSize为1，maxSize为long 的最大值，blockSize是32，所以切片的大小与minSize和maxSize有关，可以通过调整这两个的值来改变切片的大小