【Hadoop笔记】HDFS常用命令

2,084 阅读1分钟

(1)-help:查看这个命令参数

hdfs dfs -help rm

(2)-ls: 显示目录信息

hdfs dfs -ls /
hdfs dfs -lsr / 展示整个目录下的信息 等价于:hdfs dfs -ls -R / 

(3)-mkdir:在hdfs上创建目录

hdfs dfs  -mkdir  -p  /aaa/bbb/cc/dd

(4)-put:从本地文件系统中拷贝文件到hdfs路径去

hdfs dfs -put /a.txt  /user
等价于:
hdfs dfs -copyFromLocal /a.txt   /user

(5)-moveFromLocal从本地剪切粘贴到hdfs

hdfs dfs  -moveFromLocal  /root/install.log  /aaa/bbb/cc/dd

(6)--appendToFile :追加一个文件到已经存在的文件末尾(用的很少)

hdfs dfs -appendToFile /a.txt /test.txt

(7)-moveToLocal:从hdfs剪切粘贴到本地

(未实现)

(8)-get:从hdfs下载文件到本地

hdfs dfs -get /user/a.txt /export
等价于:
hdfs dfs -copyToLocal /user/a.txt /export/

(9)-getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hdfs dfs -getmerge /aaa/*.log /export/hello.txt

(10)-mv:在hdfs目录中移动文件

hdfs dfs -mv /aaa/a.txt /aaa/bbb

(11)-rm:删除文件或文件夹

hdfs dfs -rm -r /user/jdk-8u141-linux-x64.tar.gz

(12)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径

hdfs dfs -cp /a.txt /aaa/

(13)-cat :显示文件内容

hdfs dfs -cat /a.txt

(14)-tail:显示一个文件的末尾

hdfs dfs -tail /a.txt

(15)-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限

hdfs dfs  -chmod  666  /a.txt
hdfs dfs  -chown  someuser:somegrp   /a.txt

(16)-df :统计文件系统的可用空间信息

hdfs dfs  -df  -h  /

(17)-du统计文件夹的大小信息

hdfs dfs -du -s -h /aaa

(18)-count:统计一个指定目录下的文件节点数量

hdfs dfs -count /aaa/

(19)-setrep:设置hdfs中文件的副本数量

hdfs dfs -setrep 1 /a.txt

(20) - expunge :清空hdfs垃圾桶(不要用)

hdfs dfs  -expunge