Shell 脚本和编程｜青训营笔记1. Shell 基础概念 1.1 概念终端：获取用户输入、展示运算结果的硬件设备

1. Shell 基础概念

1.1 概念

终端：获取用户输入、展示运算结果的硬件设备
tty：teletypeWriter 的简称，和终端等价，早期指电传印机，在 Linux 中是输入/输出环境
终端模拟器：Mac Terminal、iTerm2等，关联虚拟 tty 的输入输出软件
Shell：command interpreter，处理来自终端模拟器的输入，解释执行后输出结果给终端
Bash：shell 的一种具体实现

1.2 构成

2. 命令和语法

2.1 变量

类型	作用域	声明方式	规范
自定义变量	当前 shell	=	字符串、整型、浮点型、日期型
环境变量	当前 shell 及其子 shell	`export`、`declare -x`
系统环境变量	所有 shell	启动加载

1.drawio.png

2.1.1 自定义变量

# 变量名=变量值（等号左右不能有空格）
page_size=1
page_num=2

# 将命令复制给变量
_ls=ls

# 将命令结果赋值给变量
file_list=$(ls -a)

# 默认字符串，不会进行+运算
total=page_size*page_num

# 声明变量为整型
let total=page_size*page_num

declare -i total=page_size*page_num

# 导出环境变量
export total

declare -x total

declare [+/-] 选项变量

选项	含义
-	给变量设定类型属性
+	取消变量的类型属性
-a	将变量声明为数组类型
-i	将变量声明为整数型
-x	将变量声明为环境变量
-r	将变量声明为只读变量
-p	显示指定变量的被声明的类型

2.1.2 系统环境变量

变量名	含义	常见操作
$0	当前 shell 名称/脚本名称	$1、$ 2等可以获取到传入参数
$#	传入脚本的参数变量	if [$# -gt 1]
$*	传入脚本的所有参数
$?	上条命令执行的状态码	if [$? -eq 0]
$PS1	命令提示符	export PS1="\u@\h \w> "
$HOME	用户主文件夹	cd ~
$PATH	全局命令的搜索路径	PATH=$PATH:[新增路径]

2.1.3 配置文件加载

2.drawio.png

通过系统用户登录默认运行的 shell
非登录交互式运行 shell
执行脚本运行非交互式 shell

取得 bash 需要完整的登录流程，我们称之为 login shell，比如 ssh 远程登录一台主机。

不需要登录的 bash 称为 non-login bash，比如在原来的 bash 中执行 bash开启子进程、执行一些外部命令。

修改配置文件不会立即生效，需要重启终端或者执行 source 命令。

2.1.4 运算符和引用

类型	符号	作用	用法
算数运算符	+ - * / %	&	常规运算
逻辑运算符			&& !
比较运算符	== != < >
引号	双引号 ""	部分引用，仅仅$ ` \ 保留作用	foo="${a} 123"
引号	单引号 ''	完全引用，原样输出	foo='foo$a'
引号	反引号 `` `	执行命令	foo=\ ``ls -a`
圆括号	(())	算数运算	foo=$((1+2))
圆括号	()	执行命令	$(ls -a)
命令连接				cmd1 执行完且返回码非0，则继续执行 cmd2	cmd1	cmd2
命令连接	&&	cmd1 执行完返回码为0，则继续执行 cmd2	cmd1 && cmd2
命令连接	;	cmd1、cmd2 串行执行	cmd1 ; cmd2
后台运行	&	让命令在后台运行，可与 nohup 一起使用	cmd &

双引号：部分引用，使用这种引用时，$、`(反引号)、(转义符) 这 3 个还是会解析成特殊的意义
单引号：完全引用，只原样输出
反引号：执行命令

2.1.5 管道

管道与管道符|，作用是将前一个命令的结果传递给后面的命令

如果需要互通，比如第一个命令的返回传递给第二个命令，就需要用到管道了，管道的本质就是将多个程序进行了一个连接，和信号一样，也是进程通信的方式之一

语法：cmd1 | cmd2

要求：管道右侧的命令必须能接受标准输入才行，比如grep命令，ls、mv等不能直接使用，可以使用xargs预处理

注意：管道命令仅仅处理 stdout，对于 stderr 会予以忽略，可以使用 set -o pipefail设置 shell 遇到的管道错误退出

cat platform.access.log | grep ERROR

netstart -an | grep ESTABLISHED | wc -l

find . -maxdepth 1 -name "*.sh" | xargs ls -l

3.drawio.png

输出重定向符号

> : 覆盖写入文件

>> : 追加写入文件

2> : 错误输出写入文件

&> : 正确和错误输出统一写入到文件中

输入重定向符号

2.1.6 判断命令

shell 中提供了 test、[、[[三种判断符号，可用于：

整数测试
字符串测试
文件测试

语法：

test condition
[ condition ]
[[ condition ]]

注意：

中括号前后要有空格
[ 和 test 是命令，只能用自己支持的标志位，、、只能用来比较字符串
中括号内的变量，最好都是用引号括起来
[[ 更丰富，在整型比较中支持、、，在字符串比较中支持 =~ 正则

根据程序是否正常执行（程序退出的状态）进行判断

exit：手动退出 shell 的命令
exit 10 返回 10 给 shell，返回值非 0 为不正常退出
$? 用于判读昂当前 shell 前一个进程是否正常退出（非 0 为不正常退出）

2.1.7 分支语句

语法1：

if condition ; then
    程序段
elif conidion ; then
    程序段
else
    程序段
fi

语法2：

case $变量 in:
    "第一个变量内容")
    程序段
    ;;
    "第一个变量内容")
    程序段
    ;;
    *)
    程序段
    ;;
esac

2.1.8 循环

while 循环

while condition ; do 程序段; done
until 循环

until condition ; do 程序段; done
for 循环

for var in [words...]; do 程序段; done

2.1.9 函数

语法1：

funcName(){ echo "abc"; }

语法2：

function funcName(){ echo "abc"; }

注意：

shell 自上而下执行，函数必须在使用前定义
函数获取变量和 shell script 类似， $0代表函数名，后续参数通过$ 1、$2...获取
函数内 return 仅仅表示函数执行状态，不代表函数执行结果
返回结果一般使用 echo，printf，在外面使用$()、``获取结果
如果没有 return，函数状态是上一条命令的执行状态，存储在$?中

2.1.10 模块化

模块化的原理是在当前 shell 内执行函数文件，方式：

# add函数
# @return platForm
function add() {
    declare -i res=$1+$2
    
    echo $res
}

source './math.sh'

total=$(add 1 2)

echo $total

2.1.11 常用指令

命令	使用
grep	查找错误日志：grep -n "ERROR" -A3 -B3 cloudfun.log 统计次数：grep -n "ERROR" -c cloudfun.log
sort	指定分隔符后以第三列进行排序：sort -t " " -k 3
wc	统计出现的行数、单词数、字符数：wc -lwm
head	查看前十行：head -n 10 cloudfun.log
tail	等待追加内容：tail -f -n 10 cloudfun.log
cut	对数据行的内容进行处理：cut -d " " -f 3
find	文件和目录查找
xargs	参数处理
which	查找命令路径

3. 执行过程和原理

3.1 执行

shell 脚本一般以 .sh 结尾，也可以没有；第一行需要指定用什么命令解释器执行
```
#! /bin/bash

#! /usr/bin/env bash
```

启动方式

# 文件名运行
./filename.sh

# 解释器运行
bash ./filename.sh

# source 运行
source ./filename.sh

执行过程：

字符解析
- 识别换行符、分号(;)做行的分割
- 识别命令连接符(|| && 管道)做命令的分割
- 识别空格、tab 符，做命令和参数的分割
shell 展开，例如 {1..3} 解析为 1 2 3
重定向，将stdin、stdout、stderr的文件描述符进行指向变更
执行命令
- builtin 直接执行
- 非 builtin 使用 $PATH 查找，然后启动子进程执行
收集状态并返回

3.2 shell 展开

3.2.1 大括号展开 (Brace Expansion) {...}

一般由三部分构成：前缀、一对大括号、后缀，大括号内可以是括号分割的字符串序列，也可以是序列表达式 {x..y[..incr]}

# 字符串序列
a{b,c,d}e => abe ace ade

# 表达式序列，（数字可以使用 incr 调整增量，字母不行）
{1..5} => 1 2 3 4 5

{1..5..2} => 1 3 5

{a..e} => a b c d e

3.2.2 波浪号展开 (Tilde Expansion) ~

# 当前用户主目录
~ => $HOME

~/foo => $HOME/foo

# 指定用户的主目录
~fred/foo => 用户fred的 $HOME/foo

# 当前工作目录
~+/foo => $PWD/foo

# 上一个工作目录
~-/foo => ${$OLDPWD-'~-'}/foo

3.2.3 参数展开 (Shell Parameter Expansion)

间接参数扩展 ${!parameter}，其中引用的参数并不是parameter而是parameter的实际的值
参数长度 ${#parameter}
空参数处理

${parameter:-word} # 为空替换

${parameter:=word} # 为空替换，并将值赋给$parameter变量

${parameter:?word} # 为空报错

${parameter:+word} # 不为空替换
参数切片

${parameter : offset}

${parameter : offset : length}
参数部分删除

${parameter%word} # 最小限度从后面截取word

${parameter%%word} # 最大限度从后面截取word

${parameter#word} # 最小限度从前面截取word

${parameter##word} # 最大限度从前面截取word

3.2.4 命令替换 (Command Substitution)

在子进程中执行命令，并用得到的结果替换包裹的内容，形式上有两种：$(...)或...

echo $(whoimi)

foo() {
    echo "asdasd"
}

a='foo'

3.2.5 数学计算 (Arithmetic Expansion) $((..))

使用 $(()) 包裹数学运算表达式，得到结果并替换

echo $((1+2)) # 3

3.2.6 文件名展开 * ? [..] 外壳文件名模式匹配

当有单词没有引号包裹，且其中出现了'*'，'?'，和'['，字符，则 shell 会去按照正则匹配的方式查找文件名进行替换，如果没找到则保持不变

$ echo D*
# 输出当前目录下所有以D字母开头的命令、文件

4. 调试和前端集成

4.1 调试

普通log，使用 echo、printf
使用 set 命令
vscode debug插件

set 配置	作用	补充
-u	遇到不存在的变量就会报错，并停止执行	-o nounset
-x	运行结果之前，先输出执行的那一行命令	-o xtrace
-e	只要发生错误，就终止执行	-o errexit
-o pipefail	管道符链接的，只要一个子命令失败，整个管道命令就失败，脚本就会终止执行

4.2 VsCode 配置

shellman：代码提示和自动补全
shellcheck：代码语法校验
shell-format：代码格式化
Bash Debug：支持单步调试
- 安装 vscode 插件
- 编写 launch.json文件
- 升级 bash 到4.x 以上版本

4.3 前端集成

node 中通过 exec、spawn 调用 shell 命令
shell 脚本中调用 node 命令
借助 zx 等库进行 javascript、shell script 的融合
- 借助 shell 完成系统操作，文件io、内存、磁盘系统状态查看
- 借助 nodejs 完成应用层能力，网络io、计算等

exec 启动一个子 shell 进程执行传入的命令，并且将执行结果保存在缓冲区中，其中缓冲区有大小限制，执行完通过回调函数返回。spawn 默认不使用 shell，而是直接启动子进程执行命令，且会直接返回一个流对象，支持写入或者读取流数据，这个比较适合大数据量交互的场景。

Shell 脚本和编程｜ 青训营笔记