Hadoop

13.6.3 Map Join 13.6.3.1 使用场景   Map Join适用于一张表十分小、一张表很大的场景。 13.6.3.2 优点   思考：在Reduce端处理过多的表，非常容易产生数据

13.6 Join应用 13.6.1 Reduce Join   Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标

13.5.4.2ReduceTask源码解析流程 搜索这个，然后选择第一个 然后ctrl+f搜索isMapOrReduce这个，然后再这行打上断点，然后再继续下一步，一直到如下位置 这里一定要提前打上

13.5.4.1 MapTask 源码解析流程 运行前在这里context.write(outK, outV);打上断点。 这里强行进入会进入环形缓冲区，我们来看看是不是，点击强行进入这里是write

13.MapReduce框架原理 13.5 MapReduce 内核源码解析 13.5.1 MapTask 工作机制 （1）Read阶段：MapTask通过InputFormat获得的RecordRe

@[toc] 13.MapReduce框架原理 13.4 OutputFormat数据输出 13.4.1 OutputFormat接口实现类 OutputFormat是MapReduce输出的基类，所

@[toc] 13.MapReduce框架原理 13.3 Shuffle机制 13.3.9 Combiner 合并案例实操 13.3.9.1 需求   统计过程中对每一个 MapTask 的输出进行局

@[toc] 13.MapReduce框架原理 13.3 Shuffle机制 13.3.7 WritableComparable排序案例实操（区内排序） 13.3.7.1 需求 要求每个省份手机号输出

@[toc] 13.MapReduce框架原理 13.3 Shuffle机制 13.3.4 WritableComparable排序 13.3.4.1 排序概述   排序是MapReduce框架中最重

@[toc] 13.MapReduce框架原理 13.3Shuffle机制 13.3.2Partition分区 13.3.2.3自定义Partitioner步骤 13.3.2.3.1自定义类继承Par

1.大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的

1.Hadoop 概述 1.1Hadoop 是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Ha

想看远程终端工具Xshell、Xftp传输工具、VMware 安装CentOS7的点这里 想看远程终端工具Xshell、Xftp传输工具https://blog.csdn.net/Redamancy0

如果想看CentOS7安装可以看https://blog.csdn.net/Redamancy06/article/details/126064465 如果想看VMware 安装可以看https://

1.Hadoop运行环境搭建（开发重点） 1.1模板虚拟机环境准备 1.1.1安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G 远程终端工具Xsh

Hadoop运行环境搭建（开发重点） 1.2克隆虚拟机 1.2.1背景 为什么不从hadoop101开始，因为一开始hadoop101留给了单台服务器操作使用，而用102,103,104搭建的是完全分

2.Hadoop运行环境搭建（开发重点） 2.3在hadoop102安装JDK 为什么只在hadoop102上安装JDK，因为在hadoop102中安装后将JDK拷贝到hadoop103和hadoop

2.Hadoop运行环境搭建（开发重点） 2.4在hadoop102安装Hadoop 2.4.1用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面 点这个 将这两个包拖到/op

3.Hadoop运行模式 Hadoop官方网站：http://hadoop.apache.org/ Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 伪分布式模式：也是单机运行，但