Shell脚本和编程 | 青训营笔记

小苡
117 阅读7分钟

shell 脚本与编程

学习 shell 的价值

  • Linux 服务器的基本操作和管理
  • 前端 Node.js 服务的进程管理、问题排查、资源监控等运维操作
  • 使用 shell 编写 TCE、SCM、Docker 脚本，完成脚本的编译与部署

1.Shell 基础概念

1.1 概念

物理终端 => 软件终端 tty => 终端模拟器 => shell tty 或者说终端最开始指的是获取用户输入并输出的物理设备，比如电传打字机在 linux 中是接收用户输入、输出结果的终端仿真软件，比如我们用的 mac erminal、item2 等，更强输入辅助功能、画面绘制输出的模拟终端器而 ty 变成一个虚拟概念，是 linux 的一个程序，每个终端模拟器关联一个 虚拟 tty，和内核打交道。我们可以在终端模拟器中输入 tty 查看关联到的虚拟 tty。bash 是 shell 的一种具体实现，可以理解成 实例和类的关系

1.2 发展

  • Ken Thompson (来自贝尔实验室) 在 1971 年为 UNIX 开发了第一个 shell，称为 V6 shell
  • Stephen Bourne 在贝尔实验室 为 V7 UNIX 所开发的 Bourne shell，即 sh
  • 开源组织 GNU 为了取代 Bourne shell 开发的 Bourne-Again shell，即 Bash

Linux发展.png

1.3 构成

Unix shell 既是命令解释器，也是程序设计语言。作为一个命令解释器，Shell 提供了丰富的 GNU 实用程序集的用户界面。

shell 不仅提供了与内核和设备交互的方法，还集成了一些今天软件开发中通用的设计模式比如管道和过滤器)，具备控制流程，循环，变量，命今查找的机制。 既是命今解释器，也是一门编程语言，作为命今解释器，它提供给用户接口，使用丰的 GNU 工具集，第三方的或者内置的，比如 cd、pwd、exec、test、netstat 等等。

shell构成.png

2.命令与语法

2.1 变量

类型作用域声明方式规范
自定义变量当前 shell-字符串、整形、浮点型、日期型
环境变量当前 shell 及其子 shellexport、declare-x\
系统环境变量所有 shell启动加载\

父子shell.png

自定义变量只能在父进程中用到，环境变量与系统环境变量可以在所有进程中使用。

2.2 自定义变量

#!/bin/bash

# 变量名=变量值（等号左有不能有空格）
page_size=1
page_num=2

# 将命令复制给变量
_ls=ls

# 将命令结果赋值给变量
file_list=$(ls-a)

# 类型默认字符串, 不会进行+运算, 以下写法为错误写法
total=page_size*page_num

# 声明变量为整形
let total=page_size*page_num
declare -i total=page_size*page_num

# 导出环境变量
export total

declare -x total
  • declare 命令基本选项
    选项含义
    -给变量设定类型属性
    +取消变量的类型属性
    -a将变量声明为数组类型
    -i将变量声明为整数型
    -x将变量声明为环境变量
    -r将变量声明为只读变量
    -p显示指定变量的被声明的类型

2.3 系统环境变量

变量名含义常见操作
$0当前 shell 名称/脚本名称1、1、2 等可以获取到传入参数
$#传入脚本的参数数量if [ $# -gt 1]
$*传入脚本的所有参数1、1、2 等可以获取到传入参数
$?当前 shell 名称/脚本名称1、1、2 等可以获取到传入参数
$PS1当前 shell 名称/脚本名称1、1、2 等可以获取到传入参数
$HOME当前 shell 名称/脚本名称1、1、2 等可以获取到传入参数
$PATH当前 shell 名称/脚本名称1、1、2 等可以获取到传入参数
  • 执行结果展示

命令执行结果.png

2.4 配置文件加载

  • shell 种类

    shell 分为两种状态，一种是登录式 shell，通过用户名密码登录来的 shell，另一种是非登录式的 shell，例如在 linux 命令行中直接输入 sh/bash 打开的就是非登录式。

shell模式.png

登录式 shell 会从/etc/profile 这个文件开始加载然后加载 first of 中的三个文件，之后加载./bashrc，非登录式则直接加载./bashrc 这个文件。

2.5 运算符和引用

类型符号作用用法
算数运算符+ - * / % | & 常规运算符
逻辑运算符|| && !
比较运算符== != < >
引号双引号 "" 部分引用，仅仅 $ ` \ 保留作用foo="${a}123"
单引号 ''完全引用，原样输出 foo=‘foo$a’
反引号 ``执行命令 foo=`ls -a`
圆括号(()) 算数运算foo=$((1+2))
()执行命令$(ls -a)
命令连接|| cmd1 执行完且返回码非0 ，则继续执行cmd2 cmd1 || cmd2
&& cmd1 执行完且返回码为0 ，则继续执行cmd2 cmd1 && cmd2
； cmd1、cmd2 串行执行 cmd1 ; cmd2
后台运行& 让命令在后台运行，可与nohup一起使用 cmd &

2.6 管道

管道与管道符| ，作用是将前一个命令的结果传递给后一个命令， 语法：cmd1 | cmd2

  • 要求： 管道右侧的命令必须能接受标准输入才行， 比如 grep 命令， ls、mv 等不能直接使用，可以使用 xargs 预处理
  • 注意： 管道命令仅仅处理 stdout， 对于 stderr 会予以忽略， 可以使用 set -o pipefail 设置 shell 遇到管道错误退出
cat platform.access.logo | grep ERROR
netstat -an | grep ESTABLISHED | wc -l
find. -maxdepth l -name "*.sh" | xargs ls -1

2.7 重定向

输出重定向符号 >：覆盖写入文件 >>：追加写入文件 2>：错误输出写入文件 &>：正确和错误输出统一写入到文件中 输入重定向符号 < <<

重定向.png

每个 shell 命令在执行时都会打开三个文件描述符，文件描述符 0、1、2，分别对应 stdin、stdout、stderr, 这三个文件描述符默认默认指向 终端输入、终端输出，那么当命令需要获取输入的时候，它会去读取 fd0，当要输出的时候它会像 fd1、fd2 写入，改李这此描述符指向的行为叫做重完向 2>&1 必须写在>之后 << 比较特殊，表示继续沿用当前的标准输入，只是当识别到指定的标识符后停止，将接收到的内容作为 stdin 实例: 用户在命今行输入内容，当输入 EOE 的时候信止 所输入的内容写入 foot.txt

2.8 判断命令

shell 中提供了 test、[、[[三种判断符号，可用于：

  • 整数测试

  • 字符串测试

  • 文件测试

    语法：

  • test condition

  • [ condition ]

  • [[condition]]

    注意：

  • 中括号前后要有空格符；

  • [ 和 test 是命令, 只能使用自己支持的标志位， <、>、= 只能用来比较字符串

  • 中括号内的变量，最好都是用引号括起来

  • [[ 更丰富， 在整型比较中支持 <、>、= ， 在字符串比较中支持 =~ 正则

test测试.png

  • 错误示范

test错误.png

原因是这样解析里面 hello word 被解析成了两个变量。把里面的代码改成["$name"=="hello"] => ["hello world" == "hello"]，这样就可以了。

2.9 分支语句

  • 语法一：
if condition ; then
    程序段
elif condition ; then
    程序段
else
    程序段
fi

shell-if.png

  • 语法二：
case $变量 in:
    "第一个变量内容")
        程序段
    ;;
    "第二个变量内容")
        程序段
    ;;
    *)
    程序段
    ;;
esac

shell-case.png

2.10 循环语句

  • while 循环

    while condition ; do 程序段; done

while循环.png

  • until 循环

    until condition ; do 程序段; done

until循环.png

  • for 循环 
    for var in [words...]; do 程序段； done

for循环.png

2.11 函数

  • 语法一：
funcName(){ echo "abc"; }

function2.png

  • 语法二：
function funcName() { echo "abc"; }

function1.png

注意： • shell 自上而下执行，函数必须在使用前定义 • 函数获取变量和 shell script 类似，$0 代表函数名， 后续参数通过 $1、$2 ...获取 • 函数内 return 仅仅表示函数执行状态， 不代表函数执行结果 • 返回结果一般使用 echo、printf，在外面使用 $() 、 `` 获取结果 • 如果没有 return ，函数状态是上一条命令的执行状态，存储在 $? 中

模块化的原理是在当前 shell 内执行函数文件, 方式:source [函数库的路径]

  • 定义脚本

脚本1.png

  • 引用脚本

引用脚本.png

2.13 常用命令

命令使用
grep查找错误日志：grep -n "ERROR" -A3 -B3 cloudfun.log
grep统计次数： grep -n "ERROR" -c cloudfun.log
sort指定分隔符后以第三列进行排序： sort -t " " -k 3
wc统计出现的行数、单词数、字符数 wc -lwm
head查看前十行: head -n 10 cloudfun.log
tail等待追加内容: tail -f -n 10 cloudfun.log
cut对数据行的内容进行处理 cut -d " " -f 3
find文件和目录查找
xargs参数处理
which查找命令路径

3.执行过程与原理

3.1 执行

1、shell 脚本一般以 .sh 结尾， 也可以没有， 这是一个约定； 第一行需要指定用什么命令解释器来执行

    #! /bin/bash

    #! /usr/bin/env bash

2、启动方式

    # 文件名运行
    ./filename.sh

    # 解释器运行
    bash ./filename.sh

    # source运行
    source ./filename.sh

3.1 执行过程

  1. 字符解析
  • 识别换行符、 分号(;) 做行的分割
  • 识别命令连接符(|| && 管道) 做命令的分割
  • 识别空格、tab 符，做命令和参数的分割
  1. shell 展开， 例如 {1..3} 解析为 1 2 3
  2. 重定向， 将 stdin、stdout、stderr 的文件描述符进行指向变更
  3. 执行命令
  • builtin 直接执行
  • 非 builtin 使用 $PATH 查找，然后启动子进程执行
  1. 收集状态并返回

执行过程.png

3.2 shell 展开

  1. 大括号展开（Brace Expansion）{...} 一般由三部分构成， 前缀、一对大括号、后缀， 大括号内可以是逗号分割的字符串序列，也可以是序列表达式 {x..y[..incr]}

大括号展开.png

  1. 波浪号展开（Tilde Expansion） ~

波浪号展开.png

  1. 参数展开（Shell Parameter Expansion）

    3.1 间接参数扩展 ${!parameter} ， 其中引用的参数并不是 parameter 而是 parameter 的实际的值 3.2 参数长度 ${#parameter} 3.3 空参数处理

    ${parameter:-word} # 为空替换
${parameter:=word} # 为空替换，并将值赋给$parameter变量
${parameter:?word} # 为空报错
${parameter:+word} # 不为空替换

    3.4 参数切片

    ${parameter:offset}
${parameter:offset:length}

    3.5 参数部分删除

     ${parameter%word}# 最小限度从后面截取word
 ${parameter%%word}# 最大限度从后面截取 word
 ${parameter#word}# 最小限度从前面截取word
 ${parameter##word}# 最大限度从前面截取 word

  2. 命令替换（Command Substitution） 在子进程中执行命令，并用得到的结果替换包裹的内容， 形式上有两种： $(...) 或 `...`

命令替换.png

  1. 数学计算（Arithmetic Expansion） $((..))

    使用 $(()) 包裹数学运算表达式， 得到结果并替换

数学计算.png

  1. 文件名展开（Filename Expansion）* ? [..] 外壳文件名模式匹配 当有单词没有被引号包裹， 且其中出现了 *, ?, and [ 字符， 则 shell 会去按照正则匹配的方式查找文件名进行替换， 如果没找到则保持不变。

文件名展开.png

4.调试和前端集成

4.1 调试

  1. 普通 log， 使用 echo、printf
  2. 使用 set 命令
  3. vscode debug 插件
    set 配置作用补充
    -u遇到不存在的变量就会报错，并停止执行。-o nounset
    -x运行结果之前，先输出执行的那一行命令。-o xtrace
    -e只要发生错误，就终止执行-o errexit
    -o pipefail管道符链接的，只要一个子命令失败，整个管道命令就失败，脚本就会终止执行。|

4.3 VSCode 配置

  1. shellman： 代码提示和自动补全
  2. shellcheck： 代码语法校验
  3. shell-format： 代码格式化
  4. Bash Debug: 支持单步调试
    • 安装 vscode 插件
    • 编写 launch.json 文件
    • 升级 bash 到 4.x 以上版本

4.4 前端集成

  1. node 中通过 exec、spawn 调用 shell 命令
  2. shell 脚本中调用 node 命令
  3. 借助 zx 等库进行 javascript、 shell script 的融合
    • 借助 shell 完成系统操作， 文件 io、内存、磁盘系统状态查询等
    • 借助 nodejs 完成应用层能力， 网络 io、计算等

总结图

shell脚本总结.png

个人感悟

今天的课感觉有点难，不是很听的懂，大概的逻辑听懂了，但是语法这部分不是很清晰，先用笔记的形式记录下来吧，后面如果有需要也方便看看，加油。

avatar
文章
阅读
粉丝