Shell脚本和编程|青训营笔记
Shell基本概念
概念
Shell（也称为命令行界面或终端）是一种通过文本输入和输出进行交互的计算机用户界面。它允许用户用过输入命令来执行操作、运行程序和管理系统。
复制代码
1.命令（Command）：Shell通过输入命令来执行不同的操作或任务，例如创建文件、复制文件、移动文件、运行程序等。命令通常由命令名和参数组成，命令名指定要执行的操作，参数用于指定命令的具体操作方式或作用对象。
2. 提示符（Prompt）：Shell在等待用户输入命令时会显示一个提示符，通常是一个特殊的字符或字符串，表示Shell已经准备好接受命令输入。
3. 文件系统（File System）：Shell可以用于管理计算机上的文件和目录，包括创建、复制、移动、删除、重命名、查看等操作。Shell使用文件系统的路径来定位文件和目录，例如绝对路径（从根目录开始的完整路径）和相对路径（从当前目录开始的相对路径）。
4. 环境变量（Environment Variable）：Shell使用环境变量来存储系统级别的配置信息、用户配置和运行时参数。环境变量可以在命令中使用，并且可以通过设置和修改来影响Shell的行为和操作。
5. 脚本（Script）：Shell允许用户编写一系列命令的脚本文件，以便将一组命令作为一个单独的程序运行。脚本可以包含条件语句、循环、函数等控制结构，从而实现更加复杂的自动化任务。
6. 快捷键（Shortcut）：Shell提供了许多快捷键和命令行编辑功能，用于提高命令行操作的效率和便捷性。例如，可以使用上下箭头
Bash的历程
1.Ken Thompson（来自贝尔实验室）在1971年UNIX开发了第一个shell，称为 V6 shell
2.Stephen Bourne在贝尔实验室为 V7 UNIX所开发的Bourne shell，即 sh
3.开源组织 GNU 为了取代 Bourne shell 开发的Bourne-Again shell， 即 Bash
复制代码
构成
Unix shell既是一个命令解释器也是一种编程语言。作为命令解释器，shell为丰富的GNU工具集提供了用户接口。
命令和语法
管道
管道与管道符 | ，作用是将前一个命令的结果传递给后面的命令 语法：cmd1 | cmd2
**要求**：管道右侧的命令必须能接受标准输入才行，比如grep命令，ls、mv等不能直接使用，可以使用xargs预处理
**注意**：管道命令仅仅处理stdout,对于stderr会予以忽略，可以使用set -o pipefail设置shell遇到管道错误退出
复制代码
重定向
- `>`：将命令的输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
- `>>`：将命令的输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则在文件末尾追加。
- `2>`：将命令的错误输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
- `&>`：将命令的输出和错误输出重定向到一个文件中，如果文件不存在则创建，如果文件已经存在则覆盖。
- `<`：将一个文件的内容作为命令的输入。
- `<<`：将一段字符串作为命令的输入。
复制代码
判断命令
shell中提供了test、[、[[三种判断符号，可用于：
- 整数测试
- 字符串测试
- 文件测试
复制代码
语法：
- test condition
- [ condition ]
- [[ condition ]]
复制代码
注意：
- 中括号前后要有空格符
- [ 和test是命令，只能使用自己支持的标志位，<、>、=只能用来比较字符串
- 中括号内的变量，最好都是用引号括起来
- [[更丰富，在整型比较中支持<、>、=,在字符串比较中支持=~正则
复制代码
shell中的分支语句
在shell中，分支语句主要有if语句和case语句。
1. if语句
- if语句用于判断条件是否成立，如果成立则执行相应的命令或者代码块。if语句的基本语法如下：
- if语句可以带有else和elif语句，用于在条件不成立时执行相应的命令或者代码块
2. case语句
case语句用于根据不同的条件执行相应的命令或者代码块
复制代码
[在shell中，很多语句都有相应的结束标志，比如if语句有fi，for语句有done，while语句有done等等。这些结束标志的作用是用于标识语句的结束位置，避免语法错误]
三种循环
while循环
while`循环用于在条件成立的情况下重复执行一段代码块
复制代码
unitil循环
until`循环与`while`循环类似，不同之处在于`until`循环在条件不成立的情况下重复执行一段代码块
复制代码
or循环
for`循环用于遍历一组数据，并对每个数据执行相同的命令或者代码块
复制代码
函数
在shell中，函数是一段可以重复使用的代码块，可以在脚本中定义并调用
案例演示：
定义了一个名为`hello`的函数，函数的代码块中只有一条命令，用于输出“Hello, World!”。在定义完函数后，我们在脚本中通过函数名`hello`来调用函数，从而输出“Hello, World!”
复制代码
#!/bin/bash hello() {#除了这个语法之外，还有视频中的语法2：function hello(){} echo "Hello, World!" } hello
注意点
- shell自上而下执行，函数必须在使用前定义
- 函数获取变量和shell script类似，0代表函数名，后续参数通过0代表函数名，后续参数通过0代表函数名，后续参数通过1、$2..获取
- 函数内return仅仅表示函数执行状态，不代表函数执行结果
- 返回结果一般使用echo、printf，在外面使用$()、``获取结果
- 如果没有return,函数状态是上一条命令的执行状态，存储在$？中
复制代码
模块化
模块化的原理是在当前shell内执行函数文件，方式：
- source[函数库的路径]
复制代码
- 视频中查看日志的后10条内容：
tail -n 10 cloundfun.log
- 下图中这是一个Linux命令，用于查看文件的最后10行内容，其中：
- `tail`是命令本身，表示显示文件尾部内容。
- `-n`是一个选项，用于指定显示的行数。这里指定为10，即显示文件的最后10行。
- `cloundfun.log`是要显示内容的文件名，可以替换为其他文件的名称。
- 与之前的命令类似，用于查看文件的最后10行内容，但是它还有一个 `-f` 选项，表示持续监视该文件的变化并实时输出新添加的内容，直到手动中断为止
- `-f`选项：用于持续监视该文件的变化并实时输出新添加的内容。在排查问题的时候经常用到
复制代码
执行过程和原理
1. shell脚本一般以.sh结尾，也可以没有，这是一个约定；第一行需要指定用什么命令解释器来执行
复制代码
#! /bin/bash
#! /user/bin/env bash
2. 启动shell的三种方式
复制代码
#文件名运行(子进程执行) ./filename.sh #解释器运行(子进程执行) bash ./filename.sh # source运行(当前进程中执行)source./filename.sh
执行过程
-
字符解析
- 识别换行符、分号(；)做行的分割
- 识别命令连接符(||&&管道)做命令的分割
-
- 识别空格、tab符，做命令和参数的分割
-
shell展开，例如{1...3}解析为1 2 3
-
重定向，将stdin、stdout、stderr的文件描述符进行指向变更
- 执行命令
- builtin直接执行
- 非builtin使用$PATH查找，然后启动子进程执行
- 收集状态并返回给脚本
shell展开
Shell 展开是指在执行命令之前，Shell 预处理命令行中的各种特殊字符，将它们替换为实际的值或执行相应的操作
大括号展开
- 一般由三部分构成，前缀、一对大括号、后缀，大括号内可以是逗号分割的字符串序列，也可以是序列表达式{x..y[..incr]}
复制代码
#字符串序列 a(b,c,d)e => abe ace ade
#表达式序列，（数字可以使用incr调整增量，字母不行） {1..5} => 1 2 3 4 5 {1..5..2} => 1 3 5 {a..e} => a b c d e
波浪号展开~
#当前用户主目录 ~ => ���� /��=>HOME /fo=>HOME/foo #指定用户的主目录 -fred/foo=>用户fred的SHOEM/foo #当前工作目录
+/foo => PWD/foo #上一个工作目录 ~-/foo => {$OLDPWD-'-')/foo
参数展开
1. 间接参数扩展${!parameter},其中引用的参数并不是parameter而是parameter的实际的值
2. 参数长度${#parameter}
3. 空参数处理
S{parameter:-word}#为空替换 {parameter:=word#为空替换，并将值赋给parameter变量 parameter:?word)#为空报错 {parameter:+word}#不为空替换
4. 参数切片
{parameter:offset) {parameter:offset:length}
5. 参数部分删除
{parameter%word} #最小限度从后面截取word {parameter%%word}#最大限度从后面截取word S{parameter#word}#最小限度从前面截取word ${parameter##word#最大限度从前面截取word
复制代码
命令替换
在子进程中执行命令，并用得到的结果替换包裹的内容，形式上有两种：$(...)或
...
数学计算
使用$( ( ) ) 包裹数学运算表达式，得到结果并替换
文件名展开
当有单词没有被引号包裹，且其中出现了‘*’,‘?’,and ‘[’ 字符，则shell会去按照正则匹配的方式查找文件名进行替换，如果没找到则保持不变
调试和前端集成
调试的方法
1. 普通log,使用echo、printf
2. 使用set命令
3. vscode debug插件
复制代码
Vscode插件配置
1. shellman：代码提示和自动补全
2. shellcheck：代码语法校验
3. shell-format：代码格式化
4. Bash Debug:支持单步调试
- 安装vscode插件
- 编写launch.json文件
- 升级bash到4.x以上版本
复制代码
前端集成
1. **node中通过exec、spawn调用shell命令**
2. **shell脚本中调用node命令**
3. **借助zx等库进行javascript、shell script的融合**
- 借助shell完成系统操作，文件io、内存、磁盘系统状态查看
- 借助nodejs完成应用层能力，网络io、计算等
复制代码
