InputFormat数据输入（二）

熊猫Panda
163 阅读3分钟

1. TextInputFormat

  1. FileInputFormat实现类

    思考：在运行MapReduce程序时，输入的文件格式包括：基于行的日志文件、二进制格式文件、数据库表等。那么，针对不同的数据类型，MapReduce是如何读取这些数据的呢？

    FileInputFormat常见的接口实现类包括：TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义InputFormat等

  2. TextInputFormat

    TextInputFormat是默认的FileInputFormat实现类。按行读取每条记录。键是存储该行在整个文件中的起始字节偏移量， LongWritable类型。值是这行的内容，不包括任何行终止符（换行符和回车符），Text类型

    以下是一个示例，比如，一个分片包含了如下4条文本记录。

    Rich learning form

Intelligent learning engine

Learning more convenient

From the real demand for more close to the enterprise

    每条记录表示为以下键/值对：

    (0,Rich learning form)

(20,Intelligent learning engine)

(49,Learning more convenient)

(74,From the real demand for more close to the enterprise)

2. CombineTextInputFormat切片机制

框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下

  1. 应用场景：

CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理

  1. 虚拟存储切片最大值设置

    CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m

    注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值

  2. 切片机制

    生成切片过程包括：虚拟存储过程和切片过程二部分

    image.png

    • 虚拟存储过程：

      将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。如果输入文件大于设置的最大值且大于两倍，那么以最大值切割一块；当剩余数据大小超过设置的最大值且不大于最大值2倍，此时将文件均分成2个虚拟存储块（防止出现太小切片）。

      例如setMaxInputSplitSize值为4M，输入文件大小为8.02M，则先逻辑上分成一个4M。剩余的大小为4.02M，如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。

    • 切片过程：

      • 判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。

      • 如果不大于则跟下一个虚拟存储文件进行合并，共同形成一个切片。

      • 测试举例：

        有4个小文件大小分别为1.7M、5.1M、3.4M以及6.8M这四个小文件，则虚拟存储之后形成6个文件块，大小分别为：

        1.7M，（2.55M、2.55M），3.4M以及（3.4M、3.4M）

        最终会形成3个切片，大小分别为：

        （1.7+2.55）M，（2.55+3.4）M，（3.4+3.4）M

3. CombineTextInputFormat案例实操

  1. 需求

    将输入的大量小文件合并成一个切片统一处理

    • 输入数据

      准备4个小文件

    • 期望

      期望一个切片处理4个文件

  2. 实现过程

    • 不做任何处理，运行1.8节的WordCount案例程序，观察切片个数为4

    • 在WordcountDriver中增加如下代码，运行程序，并观察运行的切片个数为3

      • 驱动类中添加代码如下： 
        // 如果不设置InputFormat，它默认用的是TextInputFormat.class
job.setInputFormatClass(CombineTextInputFormat.class);

//虚拟存储切片最大值设置4m
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);
      • 运行如果为3个切片。 
        number of splits:3

    • 在WordcountDriver中增加如下代码，运行程序，并观察运行的切片个数为1。

      • 驱动中添加代码如下： 
        // 如果不设置InputFormat，它默认用的是TextInputFormat.class
job.setInputFormatClass(CombineTextInputFormat.class);

//虚拟存储切片最大值设置20m
CombineTextInputFormat.setMaxInputSplitSize(job, 20971520);
      • 运行如果为1个切片 
        number of splits:1
avatar
文章
阅读
粉丝