Hadoop HDFS

HDFS 是一个分布式、可扩展、高容错性的文件系统，设计用于在廉价商用硬件上运行，并适用于一次写入、多次读取的大规模数据集场景。它是Apache Hadoop项目的核心组件，为整个大数据生态提供了底层

HDFS命令体系清晰，可以按文件操作、集群管理、权限控制等维度分类。想到用“一句话命令+注释”的形式既能满足简洁性，又保留实用性。需要覆盖最高频的ls、put、get、rm操作，同时补充dfsadmi

经过我们前面的介绍，我们对HDFS已经具有基本的操作能力，现在来说说每个中间件都必须要讲解的监控环节。

在HDFS中，文件通常被设计为"一次写入，多次读取"（Write Once, Read Many, WORM）。因此，HDFS本身不支持对已有文件进行修改，包括在文件末尾追加数据。但是，从Hadoop

上个小节，我们介绍了kerberos这个网络认证协议，本小节我们就来进行kerberos的安装部署。

前面我们介绍了HDFS的用户概念，很多的时候就是为了权限控制，但是HDFS超级管理员的本质由配置决定，而非用户本身。手动创建 hdfs 用户不会自动获得超管权限，需同时满足以下条件

我们上个小节介绍了回收站的功能，在里面提到一个用户的概念，这个概念在回收站里面其实就是涉及到一个目录问题。

上个小节我们已经介绍了HDFS可用使用快照方式来保护我们的数据，今天我们来介绍另外方式就是回收站，他就和Windows回收站类似，当然也有不一样的地方，下面我们就来详细介绍。

前面讲了很多HDFS的基本操作，并且其他软件也讲解过快照的相关概念：kvm-快照，ZooKeeper-快照。本小节我们来讲解HDFS的快照。

HDFS作为一个类Linux的目录的树形目录，我们业务在使用HDFS的时候也会根据不同的应用放置在不同的目录，或者不同环境使用不同的目录，实际这个和ZooKeeper的目录结构结构类似。我们对单个目录

我们的高可用集群部署完成以后，不同的进程会监听不同的端口，下面我们就来详细介绍下端口，每个进程都有对应的端口。

当客户端需要向HDFS写入数据时，会经历以下步骤： 客户端请求写入文件 ，NameNode分配DataNode，建立数据写入管道（Pipeline）， 数据分块传输与ACK，确认关闭写入流

在传统的Linux里面，我们受限物理磁盘，我们无法生成或者使用一个很大的文件，虽然我们可以通过命令对文件进行切割和组合（Linux进阶命令-split），但是这里的只是实现切割，如果要使用还得重新组合

上个小节我们部署了3个节点的HDFS高可用集群，本小节我们就来介绍这3个核心组件是怎么来实现高可用的。

前面介绍高可用集群部署的几个组件，本小节就以常见的3节点来搭建一个高可用的HDFS集群。基于下面的规划来实现（实际为了简单，这里的ZooKeeper使用的单节点）

前面3个小节，我们介绍了单机情况下的HDFS的3个组件，其中nn和dn无论单机还是集群都是需要的，而2nn则只在单机下才有用，后面几个我们将介绍高可用集群模式涉及到的几个组件：JournalNode,

前面3个小节，我们介绍了单机情况下的HDFS的3个组件，其中nn和dn无论单机还是集群都是需要的，而2nn则只在单机下才有用，后面几个我们将介绍高可用集群模式涉及到的几个组件：JournalNode,

前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是Secondary

前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是DataNode。

前面我们介绍了HDFS的安装，在单机版本里面一共启动了3个java进程：NameNode，DataNode，SecondaryNameNode，下面我们就来分别介绍这3个进程，今天是NameNode