shell脚本和编程

学习的价值

Linux服务器的基本操作和管理
前端Node.js服务的进程管理、问题排查、资源监控等运维操作
使用shell编写TCE、SCM、Docker脚本，完成服务编译和部署

基础概念

终端：获取用户输入、展示运算结果的硬件设备
tty：teletypeWriter，和终端等价，早期指电传印机，在Linux中是输入/输出环境
终端模拟器：关联虚拟tty的输入输出软件
Shell：command interpreter，处理来自终端模拟器的输入，解释执行之后输出结果始终端
Bash：shell的一种具体实现（Shell与Bash的关系类似于类和实例）

命令和语法

变量

自定义变量：

page_size=1
page_num=2 //变量名=变量值（等号左右不能有空格）

_ls=ls //将命令复制给变量

file_list=$(ls -a) //将命令结果赋给变量

total=page_size*page_num //默认字符串，不会进行 + 运算

let total=page_size*page_num
declare -i total=page_size*page_num //声明变量为整形

export total
declare -x total //导出环境变量

系统环境变量：

$0 ：当前shell名称/脚本名称。常见操作： $1、$ 2等可以获取到传入参数
$# ：传入脚本的参数变量。常见操作：if[$# -gt 1]
$* ：传入脚本的所有参数。
$? ：上传命令执行的所有参数。常见操作：if[$? -eq 0];
$PS1 ：命令提示符。常见操作：export PS1="\u@\h \w>"
$HOME ：用户主文件夹。常见操作：cd~
$PATH ：全局命令的搜索路径。常见操作：PATH=$PATH:[新增路径]

运算符与引用： 引号：

双引号：部分引用，仅仅$，\,反引号保持作用。用法：foo="${a}123"
单引号：完全引用，原样输出。用法：foo='foo$a'
反引号：执行命令。用法：$(ls -a)

后台运行： &：让命令在后台运行，可与nohup一起使用。用法：cmd &

管道： 管道与管道符|，作用是将前一个命令的结果传递给后面的命令语法：cmd1 | cmd2 要求：管道右侧的命令必须能接受标准输入才行，比如grep命令，ls、mv等不能直接使用，可以使用xargs预处理注意：管道命令仅仅处理stout，对于stderr会予以忽略，可以使用set -o pipefail设置shell遇到管道错误退出 重定向：

重定向可以用来修改默认的引用关系，比如让fd0指向某一个文件，将fd1和fd2指向一个文件 输出重定向符号：

>：覆盖写入文件
>>：追加写入文件
2>：错误输出写入文件
&>：正确和错误输出统一写入到文件中

输入重定向符号：

<
<<

判断命令： shell中提供了test、[、[[三中判断符号，可用于：

整数测试
字符串测试
文件测试

语法：

test condition
[condition]
[[condition]]

注意：

中括号前后要有空格符
[和test是命令，只能使用自己支持的标志位，<、>、=只能用来比较字符串
中括号内的变量，最好都是用引号括起来
[[更丰富，在整型比较中支持<、>、=，在字符串比较中支持=~正则

分支语句：

level=0

if [ -n "$level" ]; then
    if [ "$level" == 0 ]; then
        prefix=ERROR
    elif [ "$level" == 1 ]; then
        prefix=INFO
    else
        echo "log level not supported"
    fi
fi

echo "[${prefix}] $message"

name=john

case $name in
    "nick")
        echo "hi nick"
    ;;
    "john")
        echo "my name is john"
    ;;
    *)
        echo "404"
    ;;
esac

循环：

while循环

let num=0

while [ $num -lt 10 ];
do
    echo "current idx: $sum"
    ((num++))
done

util循环

let num=0

util [ $num -gt 10 ];
do
    echo "current idx: $num"
    ((num++))
done

for循环

for foo in a b c
do
    echo $foo
done

for((i=0;i<10;i++))
do
    echo $1
done

函数：

printName(){
    if [ $# -lt 2 ]; then
     echo "illegal parameter."
     exit 1
    fi
    
    echo "firstname is :$1"
    echo "lastname is: $2"
}

printName jacky chen

注意：

shell自上而下执行，函数必须在使用前定义
函数获取变量和shell script类似， $0代表函数名，后续参数通过$ 1、$2...获取
函数内return仅仅表示函数执行状态，不代表函数执行结果
返回结果一般用echo、printf，在外面使用$()、`` 获取结果
如果没有return，函数状态是上一条命令的执行状态，储存在 $? 中

模块化： 模块化的原理是在当前shell内执行函数文件，方式： source [函数库的路径]

source './math.sh'
total=$(add 1 2)
echo $total

执行过程和原理

执行

shell脚本一般以.sh结尾，也可以没有，这是一个约定；第一行需要指定用说明命令解释器来执行 #! /bin/bash, #! /usr/bin/env bash
启动方式：

# 文件名运行
./filename.sh

# 解释器运行
bash ./filename.sh

# source 运行
source ./filename.sh

执行过程：

字符解析

识别换行符、分号做行的分割
识别命令连接符（||``&& 管道）做命令的分割
识别空格、tab符，做命令和参数的分割

shell展开，例如{1..3}解析为 1 2 3
重定向，将stdin、stout、stderr的文件描述符进行指向变更
执行命令

builtin直接执行
非builtin使用$PATH查找，然后启动子进程执行

收集状态并返回

shell展开： 大括号展开：一般由三部分构成，前缀、一对大括号、后缀，大括号内可以是分割的字符串序列，也可以是序列表达式

a{b,c,d}e => abe ace ade
{1..5} => 1 2 3 4 5
{1..5..2} => 1 3 5
{a..e} => a b c d e

波浪号展开：

#当前用户主目录
- => $HOME
~/foo => $HOME/foo

#指定用户的主目录
-fred/foo => 用户fred的 $HOME/foo

#当前工作目录
-+/foo => ${$OLDPWD-'~-'}/foo

参数展开：

1.间接参数拓展${!parameter}，其中引用的参数并不是parameter而是parameter的实际的值
2.参数长度${#parameter}
3.空参数处理
${parameter:-word} # 为空替换
${parameter:=word} # 为空替换，并将值赋给$parameter变量
${parameter:?word} # 为空报错
${parameter:+word} # 不为空替换
4.参数切片
${parameter:offset}
${parameter:offset:length}
5.参数部分删除
${parameter%word}#最小限度从后面截取word
${parameter%%word}#最大限度从后面截取word
${parameter#word}#最小限度从前面截取word
${parameter##word}#最大限度从前面截取word

命令替换：在子进程中执行命令，并用得到的结果替换包裹的内容，形式上有两种：$(...)或...

#! /bin/bash

echo $(whoimi)

foo(){
 echo "asdasd"
}
a=`foo`

文件名展开：当有单词没有被引号包裹，且其中出现了*,?,and,[字符，则shell会去按照正则匹配的方式查找文件名进行替换，如果没找到则保持不变

调试和前端集成

调试

普通log，使用echo、printf
使用set命令
vscode debug插件

前端集成

node中通过exec、spawn调用shell命令
shell脚本中调用node命令
借助zx等库进行javascript、shell script的融合

-借助shell完成系统操作，文件io、内存、磁盘系统状态查询等

-借助node.js完成应用层能力，网络io、计算等

shell脚本和编程 | 青训营笔记