Shell脚本和编程

学习shell的价值：

1. Linux服务器的基本操作和管理
2. 前端Node.js服务的进程管理、问题排查、资源监控等运维操作
3. 使用shell编写TCE、SCM、Docker脚本，完成服务编译和部署

课程准备

• 一台安装了 linux 系统的物理机或者云主机，可运行 shell 脚本
• 本地的 vscode 安装 Bash Debug 插件，并升级 bash 到4.x以上
• Npm 全局安装 zx 依赖

Shell基本概念

概念

• Shell（也称为命令行界面或终端）是一种通过文本输入和输出进行交互的计算机用户界面。它允许用户通过输入命令来执行操作、运行程序和管理系统

1. 命令（Command）：Shell通过输入命令来执行不同的操作或任务，例如创建文件、复制文件、移动文件、运行程序等。命令通常由命令名和参数组成，命令名指定要执行的操作，参数用于指定命令的具体操作方式或作用对象。
2. 提示符（Prompt）：Shell在等待用户输入命令时会显示一个提示符，通常是一个特殊的字符或字符串，表示Shell已经准备好接受命令输入。
3. 文件系统（File System）：Shell可以用于管理计算机上的文件和目录，包括创建、复制、移动、删除、重命名、查看等操作。Shell使用文件系统的路径来定位文件和目录，例如绝对路径（从根目录开始的完整路径）和相对路径（从当前目录开始的相对路径）。
4. 管道（Pipeline）：Shell允许将多个命令通过管道连接起来，其中一个命令的输出作为另一个命令的输入。这样可以实现多个命令的组合和协作，从而更加灵活地完成复杂的任务。
5. 环境变量（Environment Variable）：Shell使用环境变量来存储系统级别的配置信息、用户配置和运行时参数。环境变量可以在命令中使用，并且可以通过设置和修改来影响Shell的行为和操作。
6. 脚本（Script）：Shell允许用户编写一系列命令的脚本文件，以便将一组命令作为一个单独的程序运行。脚本可以包含条件语句、循环、函数等控制结构，从而实现更加复杂的自动化任务。
7. 快捷键（Shortcut）：Shell提供了许多快捷键和命令行编辑功能，用于提高命令行操作的效率和便捷性。例如，可以使用上下箭头键来浏览历史命令，使用Tab键进行命令和文件名的自动补全，使用Ctrl+C来中断正在执行的命令等。

• Shell`和Bash`能够理解为类和实例的关系

Bash的历程

以下内容当作课外内容补充(当故事看都行)：

1. 1989年：Bash由布莱恩·福克斯（Brian Fox）开发，并首次发布。Bash基于Bourne Shell（sh），是Bourne Shell的一种改进版本，它添加了许多新的特性，例如命令历史、命令行编辑、作业控制等。
2. 1993年：Bash 1.12发布，这是Bash的第一个公开发布版本。Bash开始在Unix和Linux系统中广泛传播，并成为默认的命令行Shell。
3. 1994年：Bash 2.0发布，引入了更多的新特性，包括命令别名、条件语句、循环、函数、算术运算等，使Bash变得更加强大和灵活。
4. 2000年：Bash 2.05b发布，这是一个重要的版本，引入了很多新的特性，包括命令补全、目录堆栈、命令行参数处理等，进一步提升了Bash的用户友好性和交互性。
5. 2007年：Bash 3.0发布，引入了更多的新特性，包括新的扩展属性、数组、关联数组等，使Bash更加适用于复杂的脚本编程和系统管理任务。
6. 2011年：Bash 4.2发布，带来了许多新的特性和改进，包括新的内置命令、更强大的模式匹配、更灵活的历史命令管理、更高效的作业控制等。
7. 2016年：Bash 4.4发布，带来了许多新的特性和改进，包括新的参数扩展、新的运算符、更好的错误处理、更强大的命令历史管理等。
8. 2019年：Bash 5.0发布，引入了一些新特性，例如新的管道重定向符号、新的内置命令、新的变量扩展和运算符等，继续改进和增强了Bash的功能和性能。

构成

Unix shell既是一个命令解释器也是一种编程语言。作为命令解释器，shell为丰富的GNU工具集提供了用户接口。

命令和语法

类型	作用域	声明方式	规范
自定义变量	当前shell	=(隐式声明)	字符串、整型、浮点型、日期型
环境变量	当前shell及其子shell	export declare -x(显示声明)
系统环境变量	所有shell	启动加载

自定义变量

#!/bin/bash
# 这是脚本文件的shebang，它告诉系统脚本文件使用哪种解释器来执行。在这个例子中，使用的是bash解释器
​
#变量名=变量值（等号左右不能有空格），定义了两个变量page_size和page_num，并分别给它们赋值为1和2
page size=1
page_num=2
​
#将命令复制给变量，这样可以通过变量名来执行命令。
_ls=ls
​
#将命令结果赋值给变量，可以通过变量名来访问命令结果
file_list=$(ls -a)
​
#默认字符串，不会进行 + 运算。所以total的值为"page_size*page_num"字符串
total=page_size*page_num
​
#声明变量为整型(-i)，后续的数值计算中，total会被当作整型来处理
let total=page_size*page_num
declare -i total=page_size*page_num
​
#导出环境变量，使得其在子进程中也可用
export total
declare -x total
复制代码

declare选项的含义

选项	含义
-	给变量设定类型属性
+	取消变量的类型属性
-a	将变量声明为数组类型
-i	将变量声明为整数型
-x	将变量声明为环境变量
-r	将变量声明为只读变量
-p	显示指定变量的被声明的类型

系统环境变量

变量名	含义	常见操作
$0	当前shell名称/脚本名称	1、1、1、2等可以获取到传入参数
$#	传入脚本的参数数量	if[ $# -gt 1 ]
$*	传入脚本的所有参数
$?	上条命令执行的状态码	if [ $? -eq 0 ];
$PS1	命令提示符	export PS1="\u@\h \w" (对应当前的主机名、用户名、目录)
$HOME	用户主文件夹(主目录)	cd ~
$PATH	全局命令的搜索路径	PATH=$PATH:[新增路径]

1. $#表示当前脚本或函数的参数个数。在shell脚本中，可以通过$#来获取当前脚本或函数的参数个数，并根据参数个数执行相应的操作。
2. $*表示当前脚本或函数的所有参数列表。在shell脚本中，可以通过$*来获取当前脚本或函数的所有参数，并根据参数列表执行相应的操作。
3. $?表示上一个命令的退出状态码。在shell脚本中，可以通过$?来获取上一个命令的退出状态码，并根据状态码执行相应的操作。
4. $PS1表示shell提示符的格式。在shell中，可以通过修改$PS1来自定义shell提示符的格式，以适应个人习惯或需求。
5. $HOME表示当前用户的主目录。在shell脚本中，可以通过$HOME来获取当前用户的主目录，并根据主目录执行相应的操作。
6. $PATH表示系统的可执行文件路径列表。在shell中，可以通过修改$PATH来添加或删除系统的可执行文件路径，以便更方便地执行系统命令或自定义命令。

配置文件加载

运算符和引用

管道

管道与管道符 | ，作用是将前一个命令的结果传递给后面的命令 语法：cmd1 | cmd2

要求：管道右侧的命令必须能接受标准输入才行，比如grep命令，ls、mv等不能直接使用，可以使用xargs预处理

注意：管道命令仅仅处理stdout,对于stderr会予以忽略，可以使用set -o pipefail设置shell遇到管道错误退出

#!/bin/bash
​
#该命令将文件platform.access.log的内容通过管道符|传递给grep命令，用于查找文件中包含字符串ERROR的行。这个命令的作用是在platform.access.log文件中查找错误信息
cat platform.access.log | grep ERROR
​
#该命令使用netstat命令来显示所有的网络连接状态，并通过管道符|将结果传递给grep命令，用于查找所有处于ESTABLISHED状态的连接。最后，通过管道符|将结果传递给wc -l命令，用于统计行数。这个命令的作用是统计当前系统中所有处于ESTABLISHED状态的网络连接数量
netstat -an grep ESTABLISHED | wc -l
​
#该命令使用find命令在当前目录中查找所有扩展名为.sh的文件，并通过管道符|将结果传递给xargs命令，将查找到的文件名作为参数传递给ls -l命令，用于显示这些文件的详细信息。这个命令的作用是列出当前目录中所有扩展名为.sh的文件的详细信息
find . -maxdepth l -name "*.sh" | xargs ls -l
复制代码

重定向

• 修改了默认的关系

1. >：将命令的输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
2. >>：将命令的输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则在文件末尾追加。
3. 2>：将命令的错误输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
4. &>：将命令的输出和错误输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
5. <：将一个文件的内容作为命令的输入。
6. <<：将一段字符串作为命令的输入。

以下是一些例子：

1. ls > file.txt：将ls命令的输出重定向到file.txt文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
2. ls >> file.txt：将ls命令的输出重定向到file.txt文件中，如果文件不存在则创建，如果文件已经存在则在文件末尾追加。
3. ls 2> error.txt：将ls命令的错误输出重定向到error.txt文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
4. ls &> output.txt：将ls命令的输出和错误输出重定向到output.txt文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
5. sort < file.txt：将file.txt文件的内容作为sort命令的输入。
6. cat << EOF：将下面的一段字符串作为cat命令的输入直到遇到EOF为止。

判断命令

shell中提供了test、[、[[三种判断符号，可用于：

• 整数测试
• 字符串测试
• 文件测试

语法：

• test condition
• [ condition ]
• [[ condition ]]

注意：

• 中括号前后要有空格符
• [ 和test是命令，只能使用自己支持的标志位，<、>、=只能用来比较字符串
• 中括号内的变量，最好都是用引号括起来
• [[更丰富，在整型比较中支持<、>、=,在字符串比较中支持=~正则

在shell中，test命令用于进行各种测试操作。在这段代码中，test命令被用于进行整数、字符串和文件的测试。

整数测试使用-eq、-lt和-gt选项来比较两个整数的大小关系，返回结果为真或假。

字符串测试使用-z、-n和`=``选项来测试字符串的长度、非空和相等关系，返回结果为真或假。

文件测试使用-e和-f选项来测试文件是否存在和是否为普通文件，返回结果为真或假。在文件测试中，还可以使用-d选项来测试目录是否存在，-r选项来测试文件是否可读，-w选项来测试文件是否可写，-x选项来测试文件是否可执行等等。

#!/bin/bash
​
# 整数测试
test $nl -eq $n2   # 测试 $nl 是否等于 $n2
test $nl -lt $n2   # 测试 $nl 是否小于 $n2
test $nl -gt $n2   # 测试 $nl 是否大于 $n2
​
# 字符串测试
test -z $str_a     # 测试 $str_a 是否为空
test -n $str_a     # 测试 $str_a 是否非空
test $str_a = $str_b   # 测试 $str_a 是否等于 $str_b
​
# 文件测试
test -e /dmt && echo "exist"   # 测试 /dmt 是否存在，并在存在时输出 "exist"
test -f /usr/bin/npm && echo "file exist"   # 测试 /usr/bin/npm 是否存在，并在存在时输出 "file exist"
复制代码

• 还有就是在进行比较的时候，需要注意的点：

  • 左边是写法，右边是写法实际上变成的内容样子

shell中的分支语句

在shell中，分支语句主要有if语句和case语句。

1. if语句

• if语句用于判断条件是否成立，如果成立则执行相应的命令或者代码块。if语句的基本语法如下：

if [ condition ]
then
    command1
    command2
    ......
    commandN
fi
​
# condition是需要判断的条件，可以是变量、字符串、数值等，command1到commandN是需要执行的命令或者代码块
复制代码

• if语句可以带有else和elif语句，用于在条件不成立时执行相应的命令或者代码块。if语句的完整语法如下：

if [ condition ]
then
    command1
    command2
    ......
    commandN
elif [ condition2 ]
then
    command1
    command2
    ......
    commandN
else
    command1
    command2
    ......
    commandN
fi
​
#condition是需要判断的条件，condition2是第二个需要判断的条件，command1到commandN是需要执行的命令或者代码块
复制代码

案例演示：

需求：假设我们需要判断一个数是否为偶数，如果是偶数则输出“偶数”，否则输出“奇数”。

解析：在这个例子中，我们使用read命令获取用户输入的整数，然后使用$((num % 2))计算出余数，再判断余数是否等于0来判断这个数是否为偶数。如果是偶数则输出“偶数”，否则输出“奇数”

#!/bin/bash
​
echo "请输入一个整数："
read num
​
if [ $((num % 2)) -eq 0 ]
then
    echo "$num 是偶数"
else
    echo "$num 是奇数"
fi
复制代码

2. case语句

   case语句用于根据不同的条件执行相应的命令或者代码块

case variable in
pattern1)
    command1
    ;;
pattern2)
    command2
    ;;
......
*)
    commandN
    ;;
esac
​
# variable是需要判断的变量，pattern1到patternN是需要判断的模式，command1到commandN是需要执行的命令或者代码块。如果没有任何一个模式匹配，那么就会执行*后面的命令或者代码块。esac是用来结尾的
复制代码