【Hadoop】

Hadoop和Flink都是大数据处理领域的重要工具，它们之间存在一定的关系，但在设计理念和应用场景上有所区别，因此它们的级别并不是直接相同的，而是从不同的角度解决大数据处理的问题。 关系概述 功能定

1/hadoop 文件管理 hadoop的hdfs分布式存储系统是虚拟的，你可以理解为在云端。 它无法像linux一样，可以cd到某个目录下看到具体的文件。 2/hadoop job管理

一/yarn 简介 二/YARN架构 三/YARN工作原理简述 四、YARN工作原理详述 五、提交作业到YARN上运行

1/简介 2/hadoop优点 3/hadoop缺点 4/怎么使用Hadoop 5/HDFS简介 6/HDFS文件读写 7/HDFS文件读流程 8/ HDFS文件写流程 9/ MapReduce介绍

MapReduce主要由Map和Reduce两个过程组成! 事实上,为了让Reduce可以并行处理Map的结果，需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Comb

1/Streaming的作用 2/Streaming的局限 3/Streaming命令的形式 4/普通选项有哪些 5/streaming选项 6/Mapper输入/输出，根据哪些key分桶，根据哪些k

mapreduce过程的详细介绍mapreduce过程的详细介绍mapreduce过程的详细介绍mapreduce过程的详细介绍

1/集群规划 2/前置条件 3/配置免密登录 <1>生成密匙 <2>免密登录 <3>验证免密登录 4/集群搭建 <1>在主机下载并解压 <2>在主机配置环境变量 <3>在主机修改配置 <4>注意，注意

一/简介 HDFS: Hadoop Distributed File System 是Hadoop下的分布式文件存储系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 既然是可以部署在低成本

一/MapReduce概述 MapReduce是一个分布式计算引擎，用于编写批处理应用程序。 mapreduce的重点是高批处理高并发，而不是低延迟。 编写好的程序可以提交到Hadoop集群上用于并行

（1）Hadoop 1.0 （2）Hadoop 2.0 （3）MapReduce 1.0或者MRv1（MapReduceversion 1） （4）MapReduce 2.0或者MRv2（MapRed

因为InputSplit是逻辑切分而非物理切分，所以还需要通过RecordReader（RR）根据InputSplit中的信息来处理InputSplit中的具体记录，加载数据并转换为适合Map任务读取

对于集群来说，什么是客户端 可以理解为： 客户端是一台可以去访问集群，向集群发送/获取数据文件，可以执行分布式作业的机器(服务器)。 客户端就像是一个抓手。 配置集群客户端的步骤 <1>配置hosts

转自 https://juejin.cn/post/6930598891771396104 感谢 前沿 1、集群的最主要瓶颈   磁盘IO 2、Hadoop运行模式   单机版、伪分布式模式、完全分布

Hadoop是一个由Apache基金会所开发的用于解决海量数据的存储及分析计算问题的分布式系统基础架构。从各个方面详细介绍如下： 定义与组成： Hadoop是一个用于解决海量数据的存储及分析计算问题的

1/前期准备工作 2/搭建hadoop伪分布式环境 <1>创建一个新的普通用户 <2>安装JDK <3>安装Hadoop 2.9.2 <4>修改hadoop的配置文件 第一：修改hadoop-env.