Hadoop3.X

NameNode被格式化之后，将在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录中产生如下文件 Fsimage文件:HDFS文件系统元数据的一

NN和2NN工作机制 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低.因此,元数据需要存放在内存中.但如果只存在内存中,一旦断电

客户端通过DistributedFileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址 挑选一台DataNode(就近原则,然后随机)

剖析文件写入 客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在 NameNode 返回是否可以上传 客户

客户端环境准备 下载Windows环境所需的bin https://github.com/s911415/apache-hadoop-3.1.0-winutils 将下载好的文件复制到没有中文的目录下

基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的 命令大全 常用命令操作 准备工作 启动集群 -help：输出这个命令参数 创建sanguo文件夹 上传 -m

HDFS产出背景及定义 HDFS产出背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就

防火墙没关闭,或者没有启动YARN 主机名称配置错误 IP地址配置错误 ssh 没有配置好 root 用户和 muyi 两个用户启动集群不统一 配置文件修改不细心 不识别主机名称 解决办法: 在/et

常用端口号说明 端口名称 Hadoop2.x Hadoop3.x NameNode 内部通信端口 8020 / 9000 8020 / 9000 /9820 NameNode HTTP UI 5007

集群启动/停止方式总结 各个模块分开启动/停止 (配置ssh 是前提) 常用 整体启动/停止 HDFS 整体启动/停止YARN 各个服务组件逐一启动/停止 分别启动/停止 HDFS 组件 启动/停止Y

简单示例 Scrapy 是一个用于网络爬虫的 Python 框架，它可以帮助开发者快速编写爬虫程序来抓取网页内容。在 Scrapy 中，Item 是一种容器，用来保存从网页中提取的数据。它类似于 Py

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动 NodeManage

Hadoop集群中配置历史服务器（History Server）的原因主要有以下几点： 日志记录和分析：历史服务器可以存储和展示集群运行过程中的日志信息，这对于监控、分析和调试Hadoop作业非常重要

模拟集群崩溃 假设我们hadoop安装文件中的data文件夹一不小心删除了, 在hadoop103上也不小心把data文件夹删除了 那么现在我们在集群上的文件是否能够下载下来? 通过操作,我们能够下载

配置workers 将workers分发到其他机器上 启动集群 格式化NameNode 如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，

集群部署规划 注意： ➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ➢ ResourceManager 也很消耗内存，不要和 NameNode、Secondar

配置SSH 基本语法: SSH连接时出现Host key verification failed的解决方法 如果出现以下内容, Are you sure you want to continue co

Hadoop 官方网站：http://hadoop.apache.org 根据官网的说明: Hadoop在GNU/Linux作为开发和生产平台受到了支持。 必须安装Java 如果要使用可选的启动和停止

在hadoop102 安装JDK 用XShell传输工具将JDK导入到opt目录下面的software文件夹下面 JDK安装 解压JDK安装包 查看文件 配置环境变量 我们在文件中可以查看到: 这段代

克隆虚拟机 在模版虚拟机上 右键-->管理-->克隆 同样的方法完成hadoop103,hadoop104的克隆 移除模版虚拟机 鼠标移动到需要移除的虚拟机上,右键-->移除 这样就可以在VMware