[Hadoop] hadoop命令详解

121 阅读1分钟
  • 如果启动失败,可以去logs文件夹下 去看日志信息

  • 命令格式为 hadoop fs -xxxhdfs dfs -xxx

  • hadoop中 的URI的格式为 hdfs://master:9000/readme.txt

hadoop 基本命令

上传文件

  • hdfs dfs -put 本地路径 HDFS路径
  • hdfs dfs -put copyFromLocal 本地路径 HDFS路径

下载

  • hdfs dfs -get HDFS路径 本地路径
  • hdfs dfs -put copyToLocal HDFS路径 本地路径

创建目录

  • hdfs dfs -mkdir -p /dir/next_dir -p表示递归创建目录

查看目录下的内容

打印文件的内容

  • hdfs dfs -cat HDFS路径
  • hdfs dfs -tail HDFS路径
  • hdfs dfs -tail -F HDFS路径 监听hdfs文件的内容
  • hdfs dfs -text HDFS路径 查看压缩文件内容

追加信息到文件中

  • appendToFile

删除文件

  • rm -r -f

查找文件

  • find

复制

  • cp

重命令

  • mv

修改文件权限

  • hdfs dfs chmod [-R] 777 HDFS路径 -R表示递归修改

查看存储空间

  • hdfs dfs -df 查看整个HDFS中的内存占用情况
  • hdfs dfs -du -h / 查看指定目录下对应的内存情况

格式化(所有数据清空)

  • 先将所有节点的tmp目录下的清空
  • 在执行命令 hdfs namenode -format

Safemode

  • hdfs dfsadmin -savemode 开启后,所有的读写都不能进行
  • hdfs dfsadmin -savemode leave 关闭安全模式