Hadoop中的Map Join

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第9天

13.6.3 Map Join

13.6.3.1 使用场景

  Map Join适用于一张表十分小、一张表很大的场景。

13.6.3.2 优点

  思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？   在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。

13.6.3.3 具体办法：采用DistributedCache

（1）在Mapper的setup阶段，将文件读取到缓存集合中。 （2）在Driver驱动类中加载缓存。

//缓存普通文件到Task运行节点。
job.addCacheFile(new URI("file:///e:/cache/pd.txt"));
//如果是集群运行,需要设置HDFS路径
job.addCacheFile(new URI("hdfs://hadoop102:8020/cache/pd.txt"));

13.6.4 Map Join案例实操

13.6.4.1 需求

1001	01	1
1002	02	2
1003	03	3
1004	01	4
1005	02	5
1006	03	6

订单数据表t_order

id	pid	amount
1001	01	1
1002	02	2
1003	03	3
1004	01	4
1005	02	5
1006	03	6

01	小米
02	华为
03	格力

商品信息表t_product

pid	pname
01	小米
02	华为
03	格力

将商品信息表中数据根据商品pid合并到订单数据表中

最终数据形式

id	pname	amount
1001	小米	1
1004	小米	4
1002	华为	2
1005	华为	5
1003	格力	3
1006	格力	6

13.6.4.2需求分析

  MapJoin适用于关联表中有小表的情形。

13.6.4.3代码实现

创建一个mapjoin包

13.6.4.3.1 先在MapJoinDriver驱动类中添加缓存文件

创建一个MapJoinDriver类

package com.summer.mapreduce.mapjoin;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author Redamancy
 * @create 2022-10-07 12:10
 */
public class MapJoinDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException, URISyntaxException {
        //1 获取job
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2 设置jar包路径
        job.setJarByClass(MapJoinDriver.class);

        //3 关联mapper
        job.setMapperClass(MapJoinMapper.class);

        //4 设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);


        //5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        //8 加载缓存数据
        job.addCacheFile(new URI("D:\\Acode\\Hadoop\\input\\inputmapJoinorderandpd\\pd"));

        //9 Map端Join的逻辑不需要Reduce阶段，设置reduceTask数量为0
        job.setNumReduceTasks(0);

        // 6 设置输入输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\\Acode\\Hadoop\\input\\inputmapJoinorderandpd\\order"));
        FileOutputFormat.setOutputPath(job, new Path("D:\\Acode\\Hadoop\\output\\output2"));

        //7 提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 : 1);
    }
}

13.6.4.3.2 在MapJoinMapper类中的setup方法中读取缓存文件

创建一个MapJoinMapper类

package com.summer.mapreduce.mapjoin;


import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;


/**
 * @author Redamancy
 * @create 2022-10-07 11:22
 */
public class MapJoinMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    private HashMap<String, String> pdmap = new HashMap<>();
    private Text text = new Text();


    //任务开始前将pd数据缓存进pdMap
    @Override
    protected void setup(Mapper<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException {

        //通过缓存文件得到小表数据pd.txt
        URI[] cacheArchives = context.getCacheArchives();
        Path path = new Path(cacheArchives[0]);

        //获取文件系统对象,并开流
        FileSystem fs = FileSystem.get(context.getConfiguration());
        FSDataInputStream fis = fs.open(path);

        //通过包装流转换为reader,方便按行读取
        BufferedReader reader = new BufferedReader(new InputStreamReader(fis, "UTF-8"));

        //逐行读取，按行处理
        String line;
        while (StringUtils.isNotEmpty(line = reader.readLine())){
            //切割一行
            String[] split = line.split("\t");
            pdmap.put(split[0],split[1]);

        }

        //关流
        IOUtils.closeStream(reader);
    }

    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException {

        //读取大表数据
        String[] fields = value.toString().split("\t");

        //通过大表每行数据的pid,去pdMap里面取出pname
        String pname = pdmap.get(fields[1]);

        //将大表每行数据的pid替换为pname
        text.set(fields[0] + "\t" + pname + "\t" + fields[2]);

        //写出
        context.write(text, NullWritable.get());

    }
}

13.6.4.4 测试

运行程序查看结果

1004	小米	4
1001	小米	1
1005	华为	5
1002	华为	2
1006	格力	6
1003	格力	3