HDFS介绍

HDFS介绍

HDFS是一个分布式文件管理系统

传统架构：并发性弱

分布式架构：有效减少了主节点压力

• HDFS是一种允许文件通过网络在多台主机上分享的文件系统可以让多台机器上的多个用户分享文件和存储空间

• 分布式文件管理系统有很多，HDFS只是其中一种实现

• HDFS不适合小文件存储

HDFS的shell介绍

操作格式

bin/hdfs dfs -xxx scheme :// authority / path

• 使用Hadoop下bin目录的hdfs命令，dfs代表我们需要操作一个分布式文件系统（注意：这些都属于一个基本格式），如果在path环境变量中有配置bin目录，直接写hdfs即可

• -xxx 代表着具体操作命令

• schema就是HDFS

• authority：代表着集群中NameNode所在节点的IP和对应的端口号

• path：具体操作的文件路径

HDFS基础操作

HDFS常见的shell操作

查看进程信息

jps

查看根目录下文件

hdfs dfs -ls hdfs://host:post /

hdfs dfs -ls /

hdfs dfs -ls -R /

递归显示路径下的文件

上传文件

hdfs dfs -put 文件名 /

上传到根目录

查看文件内容

hdfs dfs -cat /文件名

下载文件到本地

hdfs dfs -get /文件名 目录名

创建文件夹

hdfs dfs -mkdir [-p] /目录名

多级创建目录需要加上-p

删除文件/文件夹

hdfs dfs -rm [-r] /文件名（目录名）

删除目录需要加上-r