hadoop搭建记录04:HDFS常见命令

249 阅读1分钟

基本语法 hadoop fs 具体命令

上传

1)-put:等同于 copyFromLocal:从本地剪切粘贴到 HDFS

vim shuguo.txt

shuguo

上传本地文件到hdfs

## 前提是在hdfs创建了/sanguo目录
hadoop fs -put ./shuguo.txt /sanguo

2)-appendToFile:追加一个文件到已经存在的文件末尾

vim liubei.txt

liubei

追加

 hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

下载

1)-copyToLocal:从 HDFS 拷贝到本地 尚硅谷大数据技术之 Hadoop(HDFS)

## 下载到本地的/myfiles/a.txt
hadoop fs -copyToLocal /sanguo/shuguo.txt /myfiles/a.txt

创建

3)-mkdir:创建路径 [atguigu@hadoop102 hadoop-3.1.3]$

HDFS中拷贝

  hadoop fs -mkdir /jinguo

5)-cp:从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

 hadoop fs -cp /sanguo/shuguo.txt /jinguo 

6)-mv:在 HDFS 目录中移动文件

hadoop fs -mv /sanguo/wuguo.txt /jinguo

查看

7)-tail:显示一个文件的末尾 1kb 的数据

hadoop fs -tail /jinguo/shuguo.txt

8)-rm:删除文件或文件夹

hadoop fs -rm /sanguo/shuguo.txt

9)-rm -r:递归删除目录及目录里面内容

 hadoop fs -rm -r /sanguo 

10)-du 统计文件夹的大小信息

hadoop fs -du -s -h /jinguo
hadoop fs -du -h /jinguo

11)-setrep:设置 HDFS 中文件的副本数量

 hadoop fs -setrep 10 /jinguo/shuguo.txt

这里设置的副本数只是记录在 NameNode 的元数据中,是否真的会有这么多副本,还得 看 DataNode 的数量。因为目前只有 3 台设备,最多也就 3 个副本,只有节点数的增加到 10 台时,副本数才能达到 10。