系列文章目录
大数据框架Hadoop：第一章 HDFS分布式文件系统(一) 大数据框架Hadoop：第一章 HDFS分布式文件系统(二) 大数据框架Hadoop：第二章 计算框架MapReduce（一） 大数据框架Hadoop：第二章 计算框架MapReduce（二）
@TOC
前言
上文中介绍了什么是MapReduce，描述了MapReduce的核心思想以及编程的8个步骤，本文将继续深入了解MapReduce。
一、Map Task数量及切片机制
1.MapTask个数
- 在运行我们的MapReduce程序的时候，我们可以清晰的看到会有多个mapTask的运行，那么maptask的个数究竟与什么有关，是不是maptask越多越好，或者说是不是maptask的个数越少越好呢？？？我们可以通过MapReduce的源码进行查看mapTask的个数究竟是如何决定的；
- 在MapReduce当中，每个mapTask处理一个切片split的数据量，注意切片与block块的概念很像，但是block块是HDFS当中存储数据的单位，切片split是MapReduce当中每个MapTask处理数据量的单位；
- MapTask并行度决定机制；
- 数据块：Block是HDFS物理上把数据分成一块一块；
- 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储；
- 查看FileInputFormat的源码，里面getSplits的方法便是获取所有的切片，其中有个方法便是获取切片大小；
- 切片大小的计算公式：
Math.max(minSize, Math.min(maxSize, blockSize));
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue
blockSize为128M
- 由以上计算公式可以推算出split切片的大小刚好与block块相等
- 那么hdfs上面如果有以下两个文件，文件大小分别为300M和10M，那么会启动多少个MapTask？？？
#输入文件两个
file1.txt 300M
file2.txt 10M
#经过FileInputFormat的切片机制运算后，形成的切片信息如下:
file1.txt.split1-- 0~128
file1.txt.split2-- 128~256
file1.txt.split3-- 256~300
file2.txt.split1-- 0~10M
一共就会有四个切片，与我们block块的个数刚好相等
- 如果有1000个小文件，每个小文件是1kb-100MB之间，那么我们启动1000个MapTask是否合适，该如何合理的控制MapTask的个数？？？
2. 如何控制mapTask的个数
-
如果需要控制maptask的个数，我们只需要调整maxSize和minsize这两个值，那么切片的大小就会改变，切片大小改变之后，mapTask的个数就会改变
-
maxsize（切片最大值）：参数如果调得比blockSize小，则会让切片变小，而且就等于配置的这个参数的值。
-
minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大。
二、分区、排序、归并、分组
1.mapreduce的partitioner详解
-
在mapreduce执行当中，有一个默认的步骤就是partition分区，分区主要的作用就是将相同的数据发送到同一个reduceTask里面去，在mapreduce当中有一个抽象类叫做Partitioner，默认使用的实现类是HashPartitioner，我们可以通过HashPartitioner的源码，查看到分区的逻辑如下
-
我们MR编程的第三步就是分区；这一步中决定了map生成的每个kv对，被分配到哪个分区里
-
那么这是如何做到的呢？
-
要实现此功能，涉及到了分区器的概念；
默认分区器HashPartitioner
- MR框架有个默认的分区器HashPartitioner
- 我们能观察到：
- HashPartitioner实现了Partitioner接口
- 它实现了getPartition()方法
- 此方法中对k取hash值
- 再与MAX_VALUE按位与
- 结果再模上reduce任务的个数
所以，能得出结论，相同的key会落入同一个分区中
自定义分区器
- 实际生产中，有时需要自定义分区的逻辑，让key落入我们想让它落入的分区
- 此时就需要自定义分区器
- 如何实现？
- 参考默认分区器HashPartitioner
- 自定义的分区器类，如CustomPartitioner
- 实现接口Partitioner
- 实现getPartition方法；此方法中定义分区的逻辑
- main方法
- 将自定义的分区器逻辑添加进来job.setPartitionerClassCustomPartitioner.class)
- 设置对应的reduce任务个数job.setNumReduceTasks(3)
- 自定义的分区器类，如CustomPartitioner
2.mapreduce当中的排序
-
排序是MapReduce框架中最重要的操作之一。
-
MapTask和ReduceTask均会对数据按照key进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。
-
默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。
-
对于MapTask，它会将处理的结果暂时放到环形缓冲区中，当环形缓冲区使用率达到一定阈值后，再对缓冲区中的数据进行一次快速排序，并将这些有序数据溢写到磁盘上，而当数据处理完毕后，它会对磁盘上所有文件进行归并排序。
-
对于ReduceTask，它从每个MapTask上远程拷贝相应的数据文件，如果文件大小超过一定阈值，则溢写磁盘上，否则存储在内存中。如果磁盘上文件数目达到一定阈值，则进行一次归并排序以生成一个更大文件；如果内存中文件大小或者数目超过一定阈值，则进行一次合并后将数据溢写到磁盘上。当所有数据拷贝完毕后，ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序。
-
各种排序的分类：
-
1、部分排序
MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序
-
2、全排序
最终输出结果只有一个文件，且文件内部有序。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行架构
-
3、辅助排序
在Reduce端对key进行分组。应用于：在接收的key为bean对象时，想让一个或几个字段相同（全部字段比较不相同）的key进入到同一个reduce方法时，可以采用分组排序。
-
4、二次排序
在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序。
3.mapreduce当中的combiner
combiner基本介绍
-
combiner类本质也是reduce聚合，需要继承Reducer父类
-
combine是运行在map端的，对map task的结果做聚合；而reduce是将来自不同的map task的数据做聚合
-
combine可以减少map task落盘及向reduce task传输的数据量
-
并非所有的mapreduce job都适用combine，无论适不适用combine，都不能对最终的结果造成影响；比如下边求平均值的例子，就不适用适用combine
Mapper
3 5 7 ->(3+5+7)/3=5
2 6 ->(2+6)/2=4
Reducer
(3+5+7+2+6)/5=23/5 不等于 (5+4)/2=9/2
4.mapreduce当中的GroupingComparator分组详解
- GroupingComparator是mapreduce当中reduce端的一个功能组件，主要的作用是决定哪些数据作为一组，调用一次reduce的逻辑，默认是每个不同的key，作为多个不同的组，每个组调用一次reduce逻辑，我们可以自定义GroupingComparator实现不同的key作为同一个组，调用一次reduce逻辑
#### 分组排序步骤：
- （1）自定义类继承WritableComparator
- （2）重写compare()方法
@Override
public int compare(WritableComparable a, WritableComparable b) {
// 比较的业务逻辑
return result;
}
- （3）创建一个构造将比较对象的类传给父类
protected OrderGroupingComparator() {
super(OrderBean.class, true);
}
3.map task工作机制
例如上篇文章中的词频统计的例子：
-
（1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。
-
（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。
-
（3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分区（调用Partitioner），并写入一个环形内存缓冲区中。
-
（4）Spill阶段：即“溢写”，当环形缓冲区满80%后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。
-
溢写阶段详情：
- 步骤1：利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号Partition进行排序，然后按照key进行排序。这样，经过排序后，数据以分区为单位聚集在一起，且同一分区内所有数据按照key有序。
- 步骤2：按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out（N表示当前溢写次数）中。如果用户设置了Combiner，则写入文件之前，对每个分区中的数据进行一次聚集操作。
- 步骤3：将分区数据的元信息写到内存索引数据结构SpillRecord中，其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过1MB，则将内存索引写到文件output/spillN.out.index中。
-
（5）Combine阶段：当所有数据处理完成后，MapTask对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。
-
当所有数据处理完后，MapTask会将所有临时文件合并成一个大文件，并保存到文件output/file.out中，同时生成相应的索引文件output/file.out.index。
-
在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并io.sort.factor（默认10）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。
-
让每个MapTask最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。
4. reduce task工作机制
1. reduce流程
-
（1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。
-
（2）Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。
-
（3）Sort阶段：当所有map task的分区数据全部拷贝完，按照MapReduce语义，用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起，Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序，因此，ReduceTask只需对所有数据进行一次归并排序即可。
-
（4）Reduce阶段：reduce()函数将计算结果写到HDFS上。
2. 设置ReduceTask并行度（个数）
-
ReduceTask的并行度同样影响整个Job的执行并发度和执行效率，但与MapTask的并发数由切片数决定不同，ReduceTask数量的决定是可以直接手动设置：
// 默认值是1，手动设置为4
job.setNumReduceTasks(4);
5.mapreduce完整流程
1. map简图
2. reduce简图
3.mapreduce简略步骤
-
第一步：读取文件，解析成为key，value对
-
第二步：自定义map逻辑接受k1,v1，转换成为新的k2,v2输出；写入环形缓冲区
-
第三步：分区：写入环形缓冲区的过程，会给每个kv加上分区Partition index。（同一分区的数据，将来会被发送到同一个reduce里面去）
-
第四步：排序：当缓冲区使用80%，开始溢写文件
- 先按partition进行排序，相同分区的数据汇聚到一起；
- 然后，每个分区中的数据，再按key进行排序
-
第五步：combiner。调优过程，对数据进行map阶段的合并（注意：并非所有mr都适合combine）
-
第六步：将环形缓冲区的数据进行溢写到本地磁盘小文件
-
第七步：归并排序，对本地磁盘溢写小文件进行归并排序
-
第八步：等待reduceTask启动线程来进行拉取数据
-
第九步：reduceTask启动线程，从各map task拉取属于自己分区的数据
-
第十步：从mapTask拉取回来的数据继续进行归并排序
-
第十一步：进行groupingComparator分组操作
-
第十二步：调用reduce逻辑，写出数据
-
第十三步：通过outputFormat进行数据输出，写到文件，一个reduceTask对应一个结果文件
总结
本文主要描述了MapReduce在Shuffle阶段的分区、排序、归并、分组操作，具体分析了MapTask和ReduceTask的工作机制，以及整个MapReduce的完整流程。接下来的文章是关于Hadoop的最后一个框架资源调度框架Yarn和一些关于Hadoop调优的知识，也会附上Hadoop集群搭建的文章。
