这是我参与「第四届青训营」笔记创作活动的第4天

1. MapReduce编程规范

用户编写的MapReduce程序分成三个部分：Mapper、Reducer 和 Driver。

1. Mapper阶段

（1）用户自定义的 Mapper 要继承自己的父类；
（2）Mapper的输入数据是 KV对 的形式（KV的类型可自定义）；
（3）Mapper中的业务逻辑写在 map() 方法中；
（4）Mapper的输出数据是 KV对 的形式（KV的类型可自定义）；
（5）map() 方法（MapTask进程）对每一个 <K,V> 调用一次

2. Reducer阶段

（1）用户自定义的Reducer要继承自己的父类；
（2）Reducer的输入数据类型对应Mapper的输出数据类型，也就是KV对；
（3）Reducer的业务逻辑写在 reduce() 方法中；
（4）ReduceTask进程对每一组相同 k 的 <K,V>组调用一次reduce()方法

3. Driver阶段

相当于YARN集群的客户端，用于提交整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象。

2. Hadoop序列化

2.1 序列化概述

1）什么是序列化

序列化：就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输；

反序列化：就是将收到的字节序列（或其他数据传输协议） 或者是磁盘的持久化数据，转换成内存中的对象。

2）为什么要序列化

一般来说，“活的”对象只生存在内存里，关机断电就没有了；而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。但是序列化可以存储“活的”对象，而且可以将“活的”对象发送到远程计算机。

3）为什么不用Java的序列化

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。
所以，Hadoop自己开发了一套序列化机制（Writable）。

4） Hadoop序列化特点

（1）紧凑： 高效使用存储空间；

（2）快速： 读写数据的额外开销小；

（3）互操作： 支持多语言的交互

2.2 自定义bean对象实现序列化接口（Writable）

在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。

具体实现bean对象序列化步骤如下7步:

（1）必须实现Writable接口;

（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造;

public FlowBean() {
    super();
}

（3）重写序列化方法;

@Override
public void write(DataOutput out) throws IOException {
    out.writeLong(upFlow);
    out.writeLong(downFlow);
    out.writeLong(sumFlow);
}

（4）重写反序列化方法；

@Override
public void readFields(DataInput in) throws IOException {
    upFlow = in.readLong();
    downFlow = in.readLong();
    sumFlow = in.readLong();
}

（5）注意反序列化的顺序和序列化的顺序完全一致;

（6）如果想把结果显示在文件中，那么需要重写toString();

（7）如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序。

@Override
public int compareTo(FlowBean o) {
    // 倒序排列
    return this.sumFlow > o.getSumFlow() ? -1 : 1;
}

Hadoop--分布式计算组件MapReduce编程规范 | 青训营笔记