Shell 脚本和编程

课程介绍

学习 shell 的价值

• Linux 服务器的基本操作和管理
• 前端 Node.js 服务的进程管理、问题排查、资源监控等运维操作
• 使用 shell 编写 TCE、SCM、Docker 脚本，完成服务编译和部署

课前准备

• 一台安装了 Linux 系统的物理机或者云主机，可运行 shell 脚本
• 本地的 vscode 安装 Bash Dedug 插件，并升级 bash 到 4.x 以上
• npm 全局安装 zx 依赖

Shell 基础概念

概念

• 终端：获取用户输入、展示运算结果的硬件设备
• tty：teletypeWriter 的简称，和终端等价，早期指电传打印机，在 Linux 中是输入/输出环境
• 终端模拟器：Mac Terminal、iTerm2 等，关联虚拟 tty 的输入输出软件
• Shell：command interpreter，处理来自终端模拟器的输入，解释执行之后输出结果给终端
• Bash：shell 的一种具体实现

iTerm2 的界面：

发展

• Ken Thompson（来自贝尔实验室）在 1971 年为 UNIX 开发了第一个 shell，称为 V6 shell
• Stephen Bourne 在贝尔实验室为 V7 UNIX 所开发的 Bourne shell，即sh
• 开源组织 GNU 为了取代 Bourne shell 开发的 Bourne-Again shell，即 Bash

除了替代 v6 shell，sh 还有几个优点，把控制流程、循环、变量引入了脚本，提供了一种更具功能性的语言。

主流 Linux 系统使用的 shell，许多都以它为锚点。

Bash 是 sh 的超集，可以直接执行大部分 sh 脚本。Bash 在兼容 Bourne shell 脚本编程的同时，集成了 Korn shell 和 C shell 的功能，包括命令历史，命令行编辑，目录堆栈（pushd 和 popd），一些实用环境变量，命令自动补全等。

构成

shell 不仅提供了与内核和设备交互的方法，还集成了一些今天软件开发中通用的设计模式（比如管道和过滤器），具备控制流程、循环、变量、命令查找的机制。

既是命令解释器，也是一门编程语言，作为命令解释器，它提供给用户接口，使用丰富的 GNU 工具集，第三方的或者内置的，比如 cd、pwd、exec、test、netstat等等。

语法和命令

变量

类型	作用域	声明方式	规范
自定义变量	当前 shell	=	字符串、整型、浮点型、日期型
环境变量	当前 shell 及其子 shell	export、declare -x
系统环境变量	所有shell	启动加载

自定义变量

declare [+/-] 选项 变量

选项	含义
-	给变量设定类型属性
+	取消变量的类型属性
-a	将变量声明为数组类型
-i	将变量声明为整数型
-x	将变量声明为环境变量
-r	将变量声明为只读变量
-p	显示指定变量的被声明的类型

#!/bin/bash

# 变量名=变量值（等号左右不能有空格）
page_size=1
page_num=2

# 将命令赋值给变量
_ls=ls

# 将命令结果赋值给变量
file_list=$(ls -a)

# 默认字符串，不会进行+运算
total=page_size*page_num   （错误写法）

# 声明变量为整型
let total=page_size*page_num

declare -i total=page_size*page_num

# 导出环境变量
export total

declare -x total

系统环境变量

变量名	含义	常见操作
$0	当前 shell 名称/脚本名称	$1、$2等可以获取到传入参数
$#	传入脚本的参数数量	if[ $# -gt 1 ]
$*	传入脚本的所有参数
$?	上条命令执行的状态码	if[ $? -eq 0 ];
$PS1	命令提示符	export PS1="\u@\h \w> "
$HOME	用户主文件夹	cd ~
$PATH	全局命令的搜索路径	PATH=$PATH:[新增路径]

配置文件加载

• login shell：如果取得 bash 需要完整的登录流程，比如 ssh 远程登录一台主机
• non-login bash：不需要登录的 bash，比如在原来的 bash 中执行 bash 开启子进程、执行一些外部命令
• 如果修改了配置文件，不会立即生效，需要我们重启终端或者执行 source 命令

# 生效修改的配置文件
source ~/.bashrc

运算符和引用

管道

管道与管道符 | ，作用是将前一个命令的结果传递给后面的命令。

语法：cmd1 | cmd2

要求：管道右侧的命令必须能接受标准输入才行，比如 grep 命令，ls、mv 等不能直接使用，可以使用 xargs 预处理。

注意：管道命令仅仅处理 stdout，对于 stderr 会予以忽略，可以使用 set -o pipefail 设置 shell 遇到管道错误退出。

#!/bin/bash

cat platform.access.log | grep ERROR

netstat -an | grep ESTABLISHED | wc -l

find . -maxdepth 1 -name "*.sh" | xargs ls -l

重定向

每个 shell 命令在执行时都会打开三个文件描述符，文件描述符0、1、2分别对应 stdin、stdout、stderr，这三个文件描述符默认指向终端输入、终端输出，那么当命令需要获取输入的时候，它会去读取 fd0，当要输出的时候它会像fd1、fd2 写入，改变这些描述符指向的行为叫做重定向。

• 输出重定向符号
  • >：覆盖写入文件
  • >>：追加写入文件
  • 2>：错误输出写入文件
  • &>：正确和错误输出统一写入到文件中
• 输入重定向符号
  • <
  • <<

判断命令

shell 中提供了 test、[、[[ 三种判断符号，可用于：

• 整数测试
• 字符串测试
• 文件测试

#!/bin/bash

# 整数测试
test $n1 -eq $n2
test $n1 -lt $n2
test $n1 -gt $n2

# 字符串测试
test -z $str_a
test -n $str_a
test $str_a = $str_b

# 文件测试
test -e /dmt && echo "exist"
test -f /usr/bin/npm && echo "file exist"

语法：

• test condition
• [ condition ]
• [[ condition ]]

注意：

• 中括号前后要有空格符
• [ 和 test 是命令，只能使用自己支持的标志位，<、>、= 只能用来比较字符串
• 中括号内的变量，最好都是用引号括起来
• [[ 更丰富，在整型比较中支持 <、>、= ，在字符串比较中支持 =~ 正则

#!/bin/bash

name="hello world"

[ $name == "hello" ]    => [ hello world == "hello" ]

script.sh: line 5: [: too many arguments

Exited with error status 2

[ "$name" == "hello" ]    => [ hello world == "hello" ]

🔖 根据程序是否正常执行（程序退出的状态）进行判断

• exit：手动退出 shell 的命令
• exit 10：返回10给 shell，返回值非0为不正常退出
• $?：用于判断当前 shell 前一个进程是否正常退出（非0为不正常退出）

分支语句

语法

# 语法1
if condition; then
  程序段
elif condition; then
  程序段
else
  程序段
fi

# 语法2
case $变量 in:
  "第一变量内容")
    程序段
    ;;
  "第一变量内容")
    程序段
    ;;
    *)
    程序段
    ;;
esac

示例

#!/bin/bash

# 示例1
level=0

if [ -n "$level" ]; then
  if [ "$level" == 0 ]; then
    prefix=ERROR
  elif [ "$level" == 1 ]; then
    prefix=INFO
  else
    echo "log level not supported"
  fi
fi

echo "[${prefix}] $message"

# 示例2 - 连续判断
read -p "please input (Y/N) : " yn

if [ "$yn" == "y" -o "$yn" == "Y" ]; then
  echo "ok continue"
fi

if [ "$yn" == "y" ] || [ "$yn" == "Y" ]; then
  echo "ok continue too"
fi

# 示例3
name=john

case $name in
  "nick")
    echo "hi nick"
  ;;
  "john")
    echo "my name is john"
  ;;
  *)
    echo "404"
  ;;
esac

循环

语法

# while循环
while condition; do 程序段; done

# until循环
until condition; do 程序段; done

# for循环
for var in [words...]; do 程序段; done

示例

#!/bin/bash

# 对列表进行循环
for foo in a b c
do
  echo $foo
done

# 数值方式循环
for((i=0;i<10;i++))
do
  echo $i
done

# until循环
let num=0

until [ $num -gt 10 ];
do
  echo "current idx: $num"
  ((num++))
done

函数

语法

# 语法1
funcName() {
  echo "abc";
}

# 语法2
function funcName() {
  echo "abc";
}

注意

• shell 自上而下执行，函数必须在使用前定义
• 函数获取变量和 shell script 类似，$0 代表函数名，后续参数通过 $1、$2 ...获取
• 函数内 return 仅仅表示函数执行状态，不代表函数执行结果
• 返回结果一般使用 echo、printf ，在外面使用 $()、`` 获取结果
• 如果没有 return，函数状态是上一条命令的执行状态，存储在 $! 中

示例

#!/bin/bash

# 示例1
printName() {
  if [ $# -lt 2 ]; then
    echo "illegal parameter."
    exit 1
   fi
   echo "firstname is :$1"
   echo "lastname is :$2"
}

printName jacky chen

# 示例2
function test() {
  local word="hello world"
  echo $word
  return 10
  
  unset word
}

content=`test`
echo "状态码：$?"
echo "执行结果：$content"

为了函数内定义的变量不污染全局，我们最好使用 local 去定义，或者在函数退出之前使用 unset 去处理下。

模块化

模块化的原理是在当前 shell 内执行函数文件，方式：source [函数库的路径]

#!/bin/bash

# add 函数
# @return platForm
function add() {
  declare -i res=$1+$2
  echo $res
}

# 另一个文件
source './math.sh'
total=$(add 1 2)
echo $total

常用命令

命令	使用
grep	查看错误日志：grep -n "ERROR" -A3 -B3 cloudfun.log 统计次数：grep -n "ERROR" -c cloudfun.log
sort	指定分隔符后以第三列进行排序：sort -t "" -k 3
wc	统计出现的行数、单词数、字符数：wc -lwn
head	查看前十行：head -n 10 cloudfun.log
tail	等待追加内容：tail -f -n 10 cloudfun.log
cut	对数据行的内容进行处理：cut -d "" -f 3
find	文件和目录查找
xargs	参数处理
which	查看命令路径

执行过程和原理

执行

1、shell 脚本一般以 .sh 结尾，也可以没有，这是一个约定；第一行需要指定用什么命令解释器执行。

#! /bin/bash

#! /usr/bin/env bash

📑 #! 是内核识别并选择合适的解释器之后，将文本文件再交给解释器执行。

2、启动方式

# 文件名运行
./filename.sh

# 解释器运行
bash ./filename.sh

# source运行
source ./filename.sh

执行过程

1、字符解析

• 识别换行符、分号（;）做行的分割
• 识别命令连接符（|| && 管道）做命令的分割
• 识别空格、tab符做命令和参数的分割

2、shell 展开，例如 {1..3} 解析为 1 2 3

3、重定向，将 stdin、stdout、stderr 的文件描述符进行指向变更

4、执行命令

• builtin 直接执行
• 非 builtin 使用 $PATH 查找，然后启动子进程执行

5、收集状态并返回

shell 展开

大括号展开（Brace Expansion）{...}

一般由三部分构成，前缀、一对大括号、后缀，大括号内可以是逗号分割的字符串序列，也可以是序列表达式 {x..y[..incr]}

# 字符串序列
a{b,c,d}e  =>  abe ace ade

# 表达式序列，数字可以使用incr调整增量，字母不行
{1..5}  =>  1 2 3 4 5

{1..5..2}  =>  1 3 5

{a..e}  =>  a b c d e

波浪号展开（Tilde Expansion）~

# 当前用户主目录
~  =>  $HOME
~/foo  =>  $HOME/foo

# 指定用户的主目录
~fred/foo  =>  用户fred的$HOME/foo

# 当前工作目录
~+/foo  =>  $PWD/foo

# 上一个工作目录
~-/foo  => ${$OLDPWD-'~-'}/foo

参数展开（Shell Parameter Expansion）${}

# 1、间接参数扩展
${!parameter}
其中引用的参数并不是parameter而是parameter的实际的值

# 2、参数长度
${#parameter}

# 3、空参数处理
${parameter:-word}  # 为空替换
${parameter:=word}  # 为空替换，并将值赋给$parameter变量
${parameter:?word}  # 为空报错
${parameter:+word}  # 不为空替换

# 4、参数切片
${parameter:offset}
${parameter:offset:length}

# 5、参数部分删除
${parameter%word}  # 最小限度从后面截取word
${parameter%%word}  # 最大限度从后面截取word
${parameter#word}  # 最小限度从前面截取word
${parameter##word}  # 最大限度从前面截取word

示例

# 示例1
parameter="var"
var="hello"
echo ${!parameter}  => ${var}  # 输出hello

# 示例2
par=cd
echo ${#par}  # 输出2

# 示例3
a=1

echo ${a:-word}  # 1
echo ${b:-word}  # word

echo ${par:=word}  # word
echo ${par:-hello}  # word

echo ${par:+foo}  # foo

# 示例4
str=abcdefg

sp1=${str##*d}
sp2=${str%%*d*}

echo $sp1  # 输出efg
echo $sp2  # 输出abc

命令替换（Command Substitution）

在子进程中执行命令，并用得到的结果替换包裹的内容，形式上有两种：$(...) 或 `...`

#! /bin/bash

echo $(whoimi)

  echo "asdasd"
}

a=`foo`

数字计算（Arithmetic Expansion）$((...))

使用 $((...)) 包裹数学运算表达式，得到结果并替换

#! /bin/bash

echo $((1+2))  # 3

文件名展开（Filename Expansion）*?[..]

当有单词没有被引号包裹，且其中出现了 ‘*’，‘?’，‘[’ 字符，则 shell 会去按照正则匹配的方式查找文件名进行替换，如果没找到则保持不变。

#! /bin/bash

# 输出当前目录下所有以D字母开头的目录、文件
$ echo D*

调试和前端集成

调试

1、普通 log，使用 echo、printf

2、使用 set 命令

3、vscode debug 插件

#! /bin/sh

a=1
d=(1 2 3 4 5)

echo $a  # 1
echo ${d[3]}  # 4
echo ${d[@]}  # 1 2 3 4 5

set 配置	作用	补充
-u	遇到不存在的变量就会报错，并停止执行。	-o nounset
-x	运行结果之前，先输出执行的那一行命令。	-x xtrace
-e	只要发生错误，就终止执行。	-o errexit
-o pipefail	管道符链接的，只要一个子命令失败，整个管道命令就失败，脚本就会终止执行。

#! /bin/sh

set -uxe -o pipefail

echo "hello world"

vscode 配置

• shellman：代码提示和自动补全
• shellcheck：代码语法校验
• shell-format：代码格式化
• Bash Dedug：支持单步调试
  • 安装 vscode 插件
  • 编写 launch.json 文件
  • 升级 bash 到 4.x 以上版本

1、安装最新版本bash
brew install bash

2、查看安装路径
which -a bash

3、将新版本bash路径加入PATH
PATH="/usr/local/bin/bash:$PATH"

4、配置 vscode launch.json 启动文件
{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "bashdb",
      "request": "launch",
      "name": "Bash-Debug(simplest configuration)",
      "cwd": "${workspaceFolder}",
      "program": "debug.sh",
    }
  ]
}

前端集成

1、node 中通过 exec、spawn 调用 shell 命令

2、shell 脚本中调用 node 命令

3、借助 zx 等库进行 javaScript、shell script 的融合

• 借助 shell 完成系统操作，文件 io、内存、磁盘系统状态查询等
• 借助 nodejs 完成应用层能力，网格 io、计算等

const { exec } = require('child_process');

exec('ls', ['-l'], (err, stdout, strerr) => {
  if (err) {
    console.error(err);
  }
  stdout && console.log(stdout)
})

#! /bin/bash

set -e

node ./exec.js

echo 'success'