Hadoop

3.Hadoop运行模式 3.3SSH无密登录配置 3.3.1配置ssh 3.3.1.1基本语法 ssh 另一台电脑的IP地址 3.3.1.2ssh连接时出现Host key verification

3.Hadoop运行模式 3.5群起集群 3.5.1配置workers summer@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoo

3.Hadoop运行模式 3.6配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下： 3.6.1配置mapred-site.xml 配置前记得将yarn关闭 [sum

3.Hadoop运行模式 3.9编写Hadoop集群常用脚本 3.9.1Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh [summer@hado

4.常见错误及解决方案 1）防火墙没关闭、或者没有启动YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.

高容错性，数据自动保存多个副本。它通过增加副本的形式，提高容错性、适合处理大数据，数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；文件规模：能够处理百万规模以上的文件数量，数量相当之大、

-help：-mkdir：-moveFromLocal：-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去、-put：等同于copyFromLocal，生产环境更习惯用put、-a

客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户。org.apache.h

参数优先级排序：（1）客户端代码中设置的值 >（2）在项目资源目录下的用户自定义配置文件（如在resources下创建的hdfs-site.xml，可以看上面的过程） >（3）服务器的自定义配置（hd

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3

查看oiv和oev命令、sz命令，从虚拟机上下载到windows上、通常情况下，SecondaryNameNode每隔一小时执行一次、一分钟检查一次操作次数，当操作次数达到1百万时，Secondary

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括

优点：易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理、缺点：不擅长实时计算、不擅长流式计算、不擅长DAG（有向无环图）计算、MapReduce核心功能是将`用户编写的业务逻辑代码`

什么是序列化、为什么要序列化、为什么不用Java的序列化、Hadoop序列化特点：1）紧凑 ：高效使用存储空间。2）快速：读写数据的额外开销小。3）互操作：支持多语言的交互、在企业开发中往往常用的基本

自定义Partition后，要根据自定义Partitioner的逻辑设置相应数量的ReduceTask、Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。（1）Shuffle中的

如果是集群模式，还有jar包，面试官问这类问题是时候问你看过源码吗，回答是：提交三样东西，一个是xml，一个jar包，一个切片信息、job.xml的内容是job运行所需要的参数设置默认值、state的

源码中计算切片大小的公式、切片大小设置、获取切片信息API、FileInputFormat常见的接口实现类包括：`TextInputFormat、KeyValueTextInputFormat、NLi

如果是集群模式，还有jar包，面试官问这类问题是时候问你看过源码吗，回答是：提交三样东西，一个是xml，一个jar包，一个切片信息、job.xml的内容是job运行所需要的参数设置默认值、state的

Hadoop中的MapReduce框架原理、切片源码断点在哪断并且介绍相关源码、FileInputFormat切片源码解析、总结，那些可以证明你看过切片的源码