hadoop学习

Yarn资源调度框架 Hadoop1.x架构 在Hadoop1.x版本中只有HDFS和MapReduce两个组件组成，其中HDFS是分布式文件系统，MapReduce是计算框架

MapReduce源码解析 ReduceTask reduce阶段整体概述 先去所有map任务所在的主机拉取指定分区（当前reduce）的数据（map输出），然后对拉取的所有数据做合并

MapReduce源码解析 核心代码是job.waitForCompletion(true)->submit()->submitter.submitJobInternal

MapReduce原理与搭建 MapReduce介绍 Google发表了两篇论文《Google File System》 《Google MapReduce》，《Google File System》

HDFS 操作 Shell操作 基本语法 基于shell来操作HDFS时，可以使用$HADOOP_HOME/bin/hadoop fs 具体命令或者使用$HADOOP_HOME/bin/hdfs df

Hadoop 3.x 新特性 将默认的最低jdk从7升级到8 纠删码可以将3倍副本占据的空间压缩到1.5倍，并保持3倍副本的容错。由于在读取数据的时候需要进行额外的计算，用于存储使用不频繁的数据

Hadoop NameNode HA 背景概述 在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用

Hadoop Federation联邦 Federation背景介绍 从上图中，我们可以很明显地看出现有的HDFS数据管理，数据存储2层分层的结构

HDFS伪集群搭建 $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HADOOP_HOME/etc/hadoop/core-site.xml

HDFS完全分布式搭建 搭建前环境准备 Hadoop集群节点规划 ip CPU 内存 硬盘 角色 主机名

HDFS架构 前提和设计目标 硬件错误 硬件错误是常态而不是异常。 HDFS可能由成百上千的服务器所构成，单机故障概率的存在意味着总有一部分服务器不工作的

hadoop起源 发展历史 2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch

热身1T文件操作的思考 分治思想引入案例 单机处理大数据的问题 集群分布式处理大数据 集群分布式处理大数据优劣的辩证 分治思想引入案例 十万个元素（单词）需要存储，如何存储？