shell脚本和编程

前言

Shell 脚本就是将要执行的命令按顺序保存到一个文本中，并给该文件可执行权限，方便一次性执行的一个程序文件。主要是方便管理员进行设置或管理，可结合各种 Shell 控制语句以完成更复杂的操作

一. shell 概述

1.1 shell 和 shell 脚本

1.1.1 什么是shell

Shell是一个命令解释器，它在操作系统的最外层，负责直接与用户进行对话，把用户的输入解释给操作系统，并处理各种各样的操作系统的输出结果，输出到屏幕反馈给用户。这种对话方式可是交互也可以是非交互式的,我们所输入的命令计算机是不识别的，这时就需要一种程序来帮助我们进行翻译，变成计算机能识别的二进制程序，同时又把计算机生成的结果返回给我们。

1.1.2 shell的作用

Linux系统中的Shell是一个特殊的应用程序，它介于操作系统内核与用户之间，充当了一个“命令解释器”的角色，负责接收用户输入的操作指令（命令）并进行解释，将需要执行的操作传递给内核执行，并输出执行结果。常见的 Shell 解释器程序有很多种，使用不同的 Shell 时，其内部指令、命令行提示符等方面会存在一些区别。通过/etc/shells 文件可以了解当前系统所支持的 Shell 脚本种类。

1.1.3 shell脚本是什么

shell脚本就是说我们把原来 linux 命令或语句放在一个文件中，然后通过这个程序文件去执行时，我们就说这个程序为 shell 脚本或 shell 程序；我们可以在脚本中输入一系统的命令以及相关的语法语句组合，比如变量，流程控制语句等，把他们有机结合起来就形成了一个功能强大的 shell 脚本

总结：将需要执行的命令保存到一个文件中，按照顺序执行，它不需要编译，它是解释型的

1.1.4 shell脚本能干什么

自动化完成软件的安装部署，如安装部署LAMP架构服务自动化完成系统的管理，如批量添加用户自动化完成备份，如数据库定时备份自动化的分析处理，如网站访问量

1.1.5 shell脚本使用场景

重复性操作

交互性任务

批量事务处理

服务运行状态监控

定时任务执行 …

1.1.6 如何学习shell脚本熟悉掌握各种linux命令掌握脚本的标准格式掌握脚本的基本语法

1.1.7 Linux 中的 shell 类型以 CentOS 7 为例

[root@localhost ~]#cat /etc/shells /bin/sh #/bin/sh 是 bash 命令的软链接(已经被 /bin/bash 所替换) /bin/bash #基准于 GNU 的框架下发展出的 shell /usr/bin/sh #己经被 bash 所替换 /usr/bin/bash #centos 和 redhat 系统默认使用 bash shell /bin/tcsh #csh 的增强版，与 csh 完全兼容，提供更多的功能 /bin/csh #已经被 /bin/bash 所替换（整合 c shell,提供更多的功能） /sbin/nologin #奇怪的 shel1，这个 shell 可以让用户无法登录主机

1.1.6shell基础概念：

终端：获取用户输入，展示运算结果的硬件设备

tty:teletypeWriter的简称，和终端等价

终端模拟器：Mac Terminal，iTerm2等，关联虚拟tty的输入输出软件

Shell：command interpreter,处理来自终端模拟器的输入，结束执行之后输出结果给终端

Bash：shell的一种具体实现

二. shell 脚本编程基础

2.1 shell脚本的构成

第一行为“#！/bin/bash”,脚本申明（默认解释器）：表示此行以下的代码语句是通过/bin/bash程序来执行。还有其他类型的解释器，比如#！/usr/bin/python、#!/usr/bin/expect 注释信息：以“#”开头的语句表示为注释信息，被注释的语句在脚本运行时不会被执行可执行语句：如echo命令，用于输出“ ”之间的字符串

如果想要把文本字符串和命令输出显示在同一行中，可以使用echo语句的 -n 参数。

2.2 Shell脚本执行方法

#法一：指定路径的命令，要求文件必须有x权限 [root@localhost ~]#chmod +x /root/first.sh [root@localhost ~]#cd /root/ [root@localhost ~]#./zhangao.sh 当前目录位于： /root #法二：指定Shell来解释脚本，不要求文件必须有x权限。 [root@localhost ~]#bash zhangao.sh 当前目录位于： /root #法三：source 脚本路径执行shell脚本 [root@localhost ~]#source zhangao.sh 当前目录位于： /root

2.3 命名要求

区分大小写

不能使程序中的保留字和内置变量:如: if, for， hostname 只能使用数字、字母及下划线，且不能以数字开头，注意:不支持短横线“-"，和主机名相反不要使用内置的变量，使用英文尽量使用词义通俗易懂，PATH

2.4脚本错误

2.4.1 命令错误

命令出错不会影响接下来的命令继续

2.4.2 语法错误

会影响接下来的命令继续

2.4.3 逻辑错误

只能自己去筛查

2.4.4 查找代码的正确

bash -n 脚本名称（不在当前目录下加绝对路径）检查语法错误 bash -x 脚本名称（不在当前目录下加绝对路径）检查逻辑错误

三. 管道与重定向

由于Shell脚本“批量处理”的特殊性，其大部分操作过程位于后台，不需要用户进行干预，因此要学会提取、过滤执行信息变得十分重要，所以我们需要重定向和管道。

3.1 管道 1.管道操作符：“|”：将管道符号“|"左侧的命令输出的结果，作为右侧命令的输入(处理对象)，同一行命令中可以使用多个管道。

[root@localhost ~]#ps aux |wc -l #查看进程数 224 [root@localhost ~]#echo "123456"|passwd --stdin zhangsan #给张三设置密码

3.2重定向

3.2.1 交互式硬件设备

类型设备文件文件描述编号默认设备标准输入 /dev/stdin 0 键盘标准输出 /dev/stdout 1 显示器标准错误输出 /dev/stderr 2 显示器 3.2.2 重定向操作类型操作符用途重定向输入 < 从指定文件读取数据重定向输出 > 将标准输出结果保存到指定的文件，并且覆盖原有文件

将标准输出追加到指定的文件的尾部，不覆盖原有内容标准错误输出 2> 将错误信息保存到指定文件，并且覆盖原有文件 2>> 将错误信息追加到指定文件的尾部，不覆盖原有内容混合输出 &>和2>&1 将标准输出，标准错误保存到同—文件中。

四、Shell脚本变量

发展：

暂时无法在飞书文档外展示此内容

构成：

4.1 Shell变量的作用

（1）用来存放系统和用户需要使用的特定参数（值）

（2）变量名：使用固定的名称，由系统预设或用户定义

（3）变量值：能够根据用户设置、系统环境的变化而变化

4.2 Shell变量的类型

（1）自定义变量:由用户自己定义、修改和使用；

（2）特殊变量:环境变量，只读变量，位置变量，预定义变量。

4.2.1自定义变量

1.定义新的变量：

格式：变量名=变量值

查看定义的变量的值：

格式echo $变量名

3.赋值时使用引号

（1）双引号：允许通过$符号引用其他变量值

（2）单引号：禁止引用其他变量值， $视为普通字符

（3）反撇号：命令替换，提取命令执行后的输出结果,``和$(…)作用相同

4.从键盘输入内容为变量赋值

4.2.2变量作用范围

（1）默认情况下，新定义的变量只在当前的Shell环境中有效，因此称为局部变量。当进入子程序或新的子Shell环境时局部变量将无法再使用。

（2）可以通过内部命令export将指定的变量导出为全局变量，使用户定义的变量在所有的子Shell环境中能够继续使用。

变量名设置格式:变量名=变量值全局变量格式：export 变量名=变量值

4.2.3 整数变量的算术计算

运算符：+ 加法、- 减法、* 乘法、/除法、% 取余

常见表达式：

expr 变量1 运算符变量2 var= $(expr 变量1 运算符变量2) var=$ ((变量1 运算符变量2)) var=$[变量1 运算符变量2] let var=变量1 运算符变量2

i++相当于i= $[$ i + 1]，i++是先赋值，再运算 i--相当于i= $[$ i - 1]，++i是先运算再赋值 i+=1相当于i= $[$ i + 1]

4.2.4 环境变量

使用 env 命令可以查看到当前工作环境下的环境变量

变量USER表示用户名称，HOME表示用户的宿主目录，LANG表示语言和字符集，PWD表示当前所在的工作目录，变量PATH表示可执行程序的默认搜索路径

配置文件：/etc/profile（全局生效）、~/.bash_profile（当前用户环境

4.2.5 只读变量

readonly命令用于定义只读shell变量和shell函数。readonly命令的选项-p可以输出显示系统中所有定义的只读变量。

格式：readonly 【选项】【参数】

[root@localhost data]#readonly abc=111 [root@localhost data]#abc=222 bash: abc: 只读变量 #再想修改只读变量就无法修改了

4.2.6 位置变量

（1）当执行命令行操作时，第一个字段表示命令名或脚本程序名，其余的字符串参数按照从左到右的顺序依次赋值给位置变量。

（2） $n：n为数字，$ 0代表命令本身，1~9代表第一个到第九个参数，十以上的参数需要使用大括号表示，比如第十个参数为 ${10}

4.2.7 预定义变量

$* 和$ @：都会表示命令或脚本要处理的参数。

（1） $* ：把所有参数看成以空格分隔的一个字符串整体(单字符串)返回，代表"$ 1 $2$ 3 $4 "

（2） $@：把各个参数加上双引号分隔成n份的参数列表，每个参数作为一个字符串返回，代表“$ 1” “ $2” “$ 3” “$4”

预定义变量表示的意思 $* 把所有参数看成以空格分隔的一个字符串整体(单字符串)返回，代表"$ 1 $2$ 3 $4 "$ @ 把各个参数加上双引号分隔成n份的参数列表，每个参数作为一个字符串返回，代表“ $1” “$ 2” “ $3” “$ 4” $0 表示当前执行的脚本或命令的名称$ # 表示命令或者脚本要处理的参数的个数 $？表示前一条命令或脚本执行后的返回状态码，返回值为0表示执行正确，返回任何非0值均表示执行出现异常，也常被用于shell脚本中return退出函数并返回的退储值

类型作用域声明方式规范自定义变量当前shell=字符串，整型，浮点型，日期型环境变量当前shell及其子shellexport，declare -x系统环境变量所有shell启动加载

五、执行过程和原理

shell脚本一般以 ,sh结尾，也可以没有，这是一个约定：第一行需要指定用什么命令解释器来执行
启动方式
执行过程：
1. 字符解析
  1. 识别换行符，分号，做行的分割
  2. 识别命令连接符做命令的分割
  3. 识别空格，tab符，做命令和参数的分割
2. shell展开
3. 重定向，将stdin，stdout，stderr的文件描述符进行指向变更
4. 执行命令：
  1. builtin直接执行
  2. 非builtin使用￥PATH查找，然后启动子进程执行
5. 手机状态并返回
shell展开
1. 大括号展开
2. 波浪号展开
3. 参数展开
4. 命令替换
5. 数学计算
6. 文件名展开

六、调试和前端集成

调试：

普通log，使用echo ，printf
使用set命令
vscode debug 插件

VSCode 配置

shellman：diamante提示和自动补全
shellcheck：代码语法效验
shell-format：代码格式化
Bash Debug ：支持单步调试
1. 安装vscode插件
2. 编写launch.json文件
3. 升级bash到4.x以上版本

前端集成：

node中通过exec，spawn调用shell命令
shell脚本中调用node命令
借助zx等库进行javascript，shell script的融合
1. 借助shell完成系统操作，文件io、内存，磁盘系统状态查询
2. 借助 nodejs完成引用层能力，网络io。计算等

课程总结：执行方式：子进程执行，父进程执行，配置文件读取：，命令执行机制：字符解析，shell展开，查找命令、执行，字符串匹配机制：正则表达式，通配符，默认变量，判断命令，选择命令，循环

七、总结

重定向与管道操作是 Shell 环境中十分常用的功能，如果能够熟练的掌握并灵活的运用，将有助于编写代码简洁但功能强大的 Shell 脚本程序。

在使用 expr 进行计算的时候，变量必须是整数，不能是字符串，也不能含小数，否则会出错。

shell脚本编程 | 青训营笔记