7、学习大数据笔记-hadoop fs 命令

hdfs基本操作

 - hadoop fs类似于hdfs dfs 
 
 1. 如何查看hdfs子命令的帮助信息，如ls子命令
        hdfs dfs -help rmdir
 2. 查看hdfs文件系统中已经存在的文件
        hdfs dfs -ls /
        hadoop fs -ls /
 3. 在hdfs文件系统中创建文件
        hdfs dfs -touchz /1.txt
 4. 从本地路径上传文件至HDFS
        hdfs dfs -put /本地路径 /hdfs路径
        hdfs dfs -put hadoop-2.7.3.tar.gz /
 5. 在hdfs文件系统中下载文件
        hdfs dfs -get /hdfs路径 /本地路径
 6. 在hdfs文件系统中删除文件
        hdfs dfs -rm /1.txt
 7. 在hdfs文件系统中查看文件内容
        hdfs dfs -cat /xrsync.sh
 8. 在hdfs文件系统中创建目录
        hdfs dfs -mkdir /shell
 9. 在hdfs文件系统中修改文件名称（也可以用来移动文件到目录）
        hdfs dfs -mv /xcall.sh /call.sh
        hdfs dfs -mv /call.sh /shell
 10. 在hdfs中拷贝文件到目录
         hdfs dfs -cp /xrsync.sh /shell
 11. 递归删除目录
         hdfs dfs -rmr /shell
 12. 列出本地文件的内容（默认是hdfs文件系统）
         hdfs dfs -ls file:///home/bruce/
 13. 追加文件内容到hdfs文件系统中的文件
         hdfs dfs -appendToFile xrsync.sh /xcall.sh

hdfs与getconf结合使用

 1. 获取NameNode的节点名称（可能有多个）
        hdfs getconf -namenodes
 2. 获取hdfs最小块信息
        hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size
 3. 查找hdfs的NameNode的RPC地址
        hdfs getconf -nnRpcAddresses

hdfs与dfsadmin结合使用

 1. 查看hdfs dfsadmin的帮助信息
        hdfs dfsadmin
 2. 查看当前的模式
        hdfs dfsadmin -safemode get
 3. 进入安全模式
        hdfs dfsadmin -safemode enter

hdfs与fsck结合使用

 1. fsck指令显示HDFS块信息
        hdfs fsck / -files -blocks

其他命令

 1. 检查压缩库本地安装情况
        hadoop checknative
 2. 格式化名称节点（慎用，一般只在初次搭建集群，使用一次）
        hadoop namenode -format
 3. 执行自定义jar包
        hadoop jar YinzhengjieMapReduce-1.0-SNAPSHOT.jar com.kaikeba.hadoop.WordCount /world.txt /out