使用Hadoop所需要的一些Linux基础

222 阅读4分钟

这是我参与更文挑战的第1天,活动详情查看更文挑战

Linux 概念

Linux 是一个类Unix操作系统,是 Unix 的一种,它 控制整个系统基本服务的核心程序 (kernel) 是由 Linus 带头开发出来的,「Linux」这个名称便是以 「Linus's unix」来命名的。

  • Linux泛指一类操作系统,具体的版本有: Ubuntu、CentOS、Debian、Red Hat、OpenSUSE、UOS(统信)、Deepin(深度)、优麒麟(Ubuntu Kylin)等。
  • Linux是一个多用户、多任务的操作系统。
  • Linux支持带卓面(GNOME)的鼠标操作方式(GUI),也支持不带卓面的命令行操作方式(CMD)。

系统目录结构

/etc 配置文件和子目录, /etc/hosts,主机名与IP地址的映射文件 /bin 存放常用命令 /root 管理员用户主目录 /tmp 临时文件目录 /var 包含日志文件 /usr 用户应用程序和文件目录,类似Program files目录

image.png

用户目录结构(/home)

用户zach主目录/home/zach 用户his主目录/home/his 用户在自己的主目录有权限修改、创建文件及文件夹操作

image.png

环境与用户

  • root用户 管理员用户,其目录在根一级(/root) 管理员用户有权限修改根目录级别的文件!
  • 普通用户 who 或 w 查看 /home/$username, 每个用户的主目录, “~” ~/.bash_profile 用户环境文件(.表示隐藏)
  • 环境变量 /etc/profile 系统级;例如在最后一行,添加java路径;

/etc/sysconfig/network 主机名在此文件设置

修改系统根目录下的文件需要管理员权限,对于普通用户 可通过sudo命令来修改文件: sudo vim /etc/profil

目录操作

  • mkdir、rmr 创建/删除文件夹
  • touch、rm 创建/删除文件
  • pwd(显示当前目录)
  • cd 改变目
pwd ,查看当前路径
cd 或 cd ~ 进入用户主目录,
~表示用户主目录
mkdir mydir 在当前目录下创建子目录mydir
rmr -R mydata 删除目录(R表示递归删除其下子目录)
rm filename 删除文件
touch filename 创建一个文件(内容为空)

显示与查找

  • ls 列出目录
  • ll 列出目录详细信息
  • find 查找
  • cp 复制 , mv 移动或改名
ls -al 显示当前目录(a表示所有,即包含隐藏文件)
ls –R | grep hadoop,在当前路径递归查找hadoop文件
名,
”|”表示管道,grep 文本搜索
find . –name ‘*hadoo

压缩与解压

  • tar -xzvf 待解压文件名 –C 目标路径
  • tar -czvf 目标压缩文件名 文件或目
1.将当前目录下所有.txt文件打包并压缩归档到文件this.tar.gz
tar czvf this.tar.gz ./*.txt
2.将当前目录下的this.tar.gz中的文件解压到当前目录
tar xzvf this.tar.g

查看文件内容

  • cat 由第一行开始显示文件内容
  • tac 从最后一行开始显示, tac 是 cat 的倒著写!
  • nl 显示的时候,输出行号!
  • more 一页一页的显示文件内容
  • less 与 more 类似,可以往前翻页!
  • head 只看头几行
  • tail 只看末尾几行

vi 或者 vim 编辑(命令行界面)

image.png

注意: 一、编辑文件时注意区别linux和win的换行符:

  • 1.windows中的换行符是\r\n,
  • 2.linux/unix下的换行符是\n

二、文件格式互转命令

  • 1.unix2dos:将具有unix风格的格式文件转化为具有window下的格式文件。
  • 2.dos2unix:将具有windows风格的格式文件转化为unix下的格式文件

其他命令

  • 服务管理 systemctl命令(Centos 7) systemctl start/stop/restart/enable/disable/status XX.servic
systemctl status firewalld.service 查看防火墙状态
systemctl enable docker 设置开机启动docker服务
  • 显示本机IP地址 ip a 、 ifconfig
  • 进程相关 jps 显示运行java进程

kill 进程ID //强制关闭进程

ps 查看所有运行进程

  • 安装软件包或工具(root用户操作) centos使用yum的方式,Ubuntu使用apt-get 方式
yum -y install lrzsz 安装文件上传下载工具lrzsz,其中rz上传(从windows->linux),sz相反
yum -y install vim 安装vim命
  • 用户、用户组 useradd,groupadd useradd demo 增加用户 groupadd gdemo 增加用户组

  • chown改变(文件或文件夹)所有者

  • chmod命令: 一、语法:chmod [对谁操作] [操作符] [赋予的权限] 文件名

二、操作对象:

u 用户user,表现文件或目录的所有者

g 用户组group,表现文件或目录所属的用户组

o 其他用户other

a 所有用户all

三、操作符:+ 添加权限 ,- 减少权限 ,=直接给定一个权限

四、权限:1、r(4) 2、w(2) 3、x(1)

例如:

chmod u+x ex1.py 设定为只有该文件拥有者可以执行
chmod 755 文件或文件夹名字
chmod a=rwx 1.txt 等同于 chmod 777 1.txt