1. Shell概述

Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。

Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

# Linux提供的Shell解析器有
[root@localhost ~]# cat /etc/shells
/bin/sh
/bin/bash
/usr/bin/sh
/usr/bin/bash
/bin/tcsh
/bin/csh

# bash和sh的关系
[root@localhost ~]# cd /bin/
[root@localhost bin]# ll | grep bash
-rwxr-xr-x. 1 root root     964536 Mar 31  2020 bash
lrwxrwxrwx. 1 root root         10 Jul 19 03:03 bashbug -> bashbug-64
-rwxr-xr-x. 1 root root       6964 Mar 31  2020 bashbug-64
lrwxrwxrwx. 1 root root          4 Jul 19 03:03 sh -> bash

# CentOS默认的解析器是bash
[root@localhost bin]# echo $SHELL
/bin/bash

2. Shell脚本入门

2.1 脚本格式

脚本以 #!/bin/bash 开头 ->（指定解析器）

# 这里创建一个脚本 作用为输出helloworld
[root@localhost ~]# cat helloworld.sh
#!/bin/bash
echo "helloworld"

2.2 脚本执行方式

2.2.1 打开子shell执行脚本

在当前shell中打开一个子shell来执行脚本内容，当脚本内容结束，则子shell关闭，回到父shell中。

2.2.1.1 由bash解析器执行

采用 bash 或 sh +脚本的相对路径或绝对路径（不用赋予脚本+x 权限）

# sh或bash + 脚本的相对或绝对路径
[root@localhost ~]# sh helloworld.sh
[root@localhost ~]# bash helloworld.sh
[root@localhost ~]# sh /root/helloworld.sh
[root@localhost ~]# bash /root/helloworld.sh
helloworld

2.2.1.2 脚本自己执行

采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限 + x）

# 绝对/相对路径下执行
[root@localhost ~]# ./helloworld.sh
-bash: ./helloworld.sh: Permission denied
[root@localhost ~]# chmod +x helloworld.sh
[root@localhost ~]# ./helloworld.sh
helloworld
[root@localhost ~]# /root/helloworld.sh
helloworld

2.2.3 在当前shell里执行脚本

在脚本的路径前加上 . 或者 source 的方式，可以使脚本内容在当前shell里执行，而无需打开子shell。

这也是为什么我们每次修改完/etc/profile文件以后，需要source一下的原因。

开子shell和不开子shell的区别就在于，环境变量的继承关系，如在子shell中设置的当前变量，父shell是不可见的。

# 脚本内容
[atguigu@hadoop101 shells]$ cat test.sh
#!/bin/bash
A=5
echo $A

# 脚本测试
[atguigu@hadoop101 shells]$ bash test.sh

[atguigu@hadoop101 shells]$ echo $A

[atguigu@hadoop101 shells]$ sh test.sh

[atguigu@hadoop101 shells]$ echo $A

[atguigu@hadoop101 shells]$ ./test.sh

[atguigu@hadoop101 shells]$ echo $A

[atguigu@hadoop101 shells]$ . test.sh

[atguigu@hadoop101 shells]$ echo $A

5

结论：只有通过 . 或 source 的方式执行脚本的时候，使用的是当前的shell而不是子shell，那么脚本里设置的变量A才可以通过外面的 echo $A命令打印出来。

3. 变量

3.1 系统预定义变量

常用系统变量 $HOME $PWD $SHELL $USER 等。

# 查看系统变量的值
[root@localhost ~]# echo $HOME
/root
[root@localhost ~]# echo $SHELL
/bin/bash
[root@localhost ~]# echo $PWD
/root
[root@localhost ~]# echo $USER
root

# 显示当前shell中所有变量 set
[root@localhost ~]# set
A=5
ABRT_DEBUG_LOG=/dev/null
BASH=/bin/bash
...

3.2 自定义变量

语法	功能
变量名 = 变量值	定义变量，注意，=前后不能有空格
unset 变量名	撤销变量
readonly 变量	声明静态变量，注意，不能unset

变量定义规则

变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。
等号两侧不能有空格
在 bash 中，变量默认类型都是字符串类型，无法直接进行数值运算。
变量的值如果有空格，需要使用双引号或单引号括起来。
可以通过export将变量提升为全局环境变量，可供其他shell程序使用（export 变量名）

# 定义变量A 不允许有空格 否则报错
[root@localhost ~]# A= 5
bash: 5: command not found...

# 定义变量A
[root@localhost ~]# A=5

# 给变量A重新赋值
[root@localhost ~]# A=8

# 撤销变量A
[root@localhost ~]# unset A
[root@localhost ~]# echo $A

# 声明静态变量B
[root@localhost ~]# readonly B=2
[root@localhost ~]# echo $B
2
# 静态变量不允许重新赋值
[root@localhost ~]# B=9 
-bash: B: readonly variable 

# 在bash中，变量默认类型都是字符串类型，无法直接进行数值运算
[root@localhost ~]# C=1+2
[root@localhost ~]# echo $C
1+2

# 变量的值如果有空格，需要使用双引号或单引号括起来
[root@localhost ~]# D=I love U
bash: love: command not found...
[root@localhost ~]# D="I love U"
[root@localhost ~]# echo $D
I love U

# 可以通过export将变量提升为全局环境变量，可供其他shell程序使用
[root@localhost ~]# export D

3.3 特殊变量

3.3.1 $n

$n -> 功能描述：n 为数字，$0 代表该脚本名称，$1-$9 代表第一到第九个参数。十以上的参数需要用大括号包含，如${10}

可以看到输入的第一个参数对应的是$1

[root@localhost ~]# cat parameter.sh
#!/bin/bash
echo $0
echo $1
echo $2
[root@localhost ~]# chmod 777 parameter.sh
[root@localhost ~]# ./parameter.sh
./parameter.sh


[root@localhost ~]# ./parameter.sh aa bb
./parameter.sh
aa
bb
[root@localhost ~]# ./parameter.sh aa bb cc
./parameter.sh
aa
bb

3.3.2 $#

$# -> 功能描述：获取所有输入参数个数，常用于循环,判断参数的个数是否正确以及加强脚本的健壮性。

[root@localhost ~]# ./parameter.sh aa
aa
1
[root@localhost ~]# ./parameter.sh aa bb
aa
2

3.3.3 $*

$* -> 功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体

[root@localhost ~]# cat ./parameter.sh
#!/bin/bash
echo $*
[root@localhost ~]# ./parameter.sh aa bb cc
aa bb cc

3.3.4 $@

$@ -> 功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待

[root@localhost ~]# cat parameter.sh
#!/bin/bash
echo $@
[root@localhost ~]# ./parameter.sh aa bb cc
aa bb cc

3.3.5

$? -> 功能描述：最后一次执行的命令的返回状态。
      如果这个变量的值为 0，证明上一个命令正确执行；
      如果这个变量的值为非 0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。

[root@localhost ~]# ./parameter.sh aa bb
aa bb
[root@localhost ~]# echo $?
0

4. 运算符

4.1 $((运算式))

语法 ： $((运算式))

[root@localhost ~]# S=$((1+2))
[root@localhost ~]# echo $S
3

4.2 $[运算式]

语法 ： $[运算式]

[root@localhost ~]# K=$[(1+2)*3]
[root@localhost ~]# echo $K
9

5. 条件判断

语法：

test condition
[ condition ] （注意condition前后要有空格）

注意：条件非空即为true，如 [ xx ] 返回true，[ ] 返回false

常用判断条件

5.1 两个整数之间比较

语法	功能	语法	功能
-eq	等于(equal)	-le	小于等于(less equal)
-ne	不等于(not equal)	-gt	大于(greater than)
-lt	小于(less than)	-ge	大于等于(greater equal)

注意：如果是字符串之间的比较，用 '=' 判断相等用 '!=' 判断不等

[root@localhost ~]# [ 1 -ge 2 ]
[root@localhost ~]# echo $?
1
[root@localhost ~]# [ 2 -ge 1 ]
[root@localhost ~]# echo $?
0
[root@localhost ~]# [ 'test' = 'test' ]
[root@localhost ~]# echo $?
0

5.2 按照文件权限进行判断

语法	功能
-r	有读的权限(read)
-w	有写的权限(write)
-x	有执行的权限(execute)

# helloworld.sh脚本是否具有写权限
[root@localhost ~]# [ -w helloworld.sh ]
[root@localhost ~]# echo $?
0

5.3 按照文件类型进行判断

语法	功能
-e	文件存在(existence)
-f	文件存在并且是一个常规的文件(file)
-d	文件存在并且是一个目录(directory)

# 判断目录下的文件是否存在
[root@localhost ~]# [ -e /home/a.txt ]
[root@localhost ~]# echo $?
1

5.4 && 和 ||

多条件判断 -> && 表示前一条命令执行成功时，才执行后一条命令，|| 表示上一条命令执行失败后，才执行下一条命令。

[root@localhost ~]# [ test ] && echo OK || echo notOK
OK
[root@localhost ~]# [  ] && echo OK || echo notOK
notOK

6. 流程控制*

6.1 if 判断

单分支

if [ 条件判断式 ];then
    程序
fi

if [ 条件判断式 ]
then
    程序
fi

多分支

if [ 条件判断式 ]
then
    程序
elif [ 条件判断式 ]
then
    程序
else
    程序
fi

注意：

if后要有空格
条件判断式两边必须要有空格

[root@localhost ~]# cat test.sh
#!/bin/bash

if [ $1 -eq 1 ]
then
        echo "等于1"
elif [ $1 -eq 2 ]
then
        echo "等于2"
else
        echo "其他值"
fi

[root@localhost ~]# ./test.sh 1
等于1
[root@localhost ~]# ./test.sh 2
等于2
[root@localhost ~]# ./test.sh 3
其他值

6.2 case 语句

# 语法 ： 

case $变量名 in
"值 1"）
    如果变量的值等于值 1，则执行程序 1
;;
"值 2"）
    如果变量的值等于值 2，则执行程序 2
;;
    …省略其他分支…
*）
    如果变量的值都不是以上的值，则执行此程序
;;
esac

注意：

case 行尾必须为单词"in"，每一个模式匹配必须以右括号")"结束。
双分号";;"表示命令序列结束，相当于 java 中的 break。
最后的"*)"表示默认模式，相当于 java 中的 default。

[root@localhost ~]# cat caseTest.sh
#!/bin/bash
case $1 in
"1")
        echo "输入为1"
;;
"2")
        echo "输入为2"
;;
*)
        echo "输入非1和2"
esac

[root@localhost ~]# chmod +x caseTest.sh
[root@localhost ~]# ./caseTest.sh 1
输入为1
[root@localhost ~]# ./caseTest.sh 2
输入为2
[root@localhost ~]# ./caseTest.sh 3
输入非1和2

6.3 for 循环

# 语法1
for (( 初始值;循环控制条件;变量变化 ))
do
    程序
done

# 语法2
for 变量 in 值1 值2 值3...
do
    程序
done

# 从1加到100
[root@localhost ~]# cat forTest1.sh
#!/bin/bash
sum=0
for((i=0;i<=100;i++))
do
        sum=$[$sum+$i]
done
echo $sum

[root@localhost ~]# chmod +x forTest1.sh
[root@localhost ~]# ./forTest1.sh
5050

# 打印 cls mly wls
[root@localhost ~]# cat forTest2.sh
#!/bin/bash
for i in cls mly wls
do
        echo "打印 $i"
done
[root@localhost ~]# ./forTest2.sh
打印 cls
打印 mly
打印 wls

$* 和 $@都表示传递给函数或脚本的所有参数，不被双引号""包含时，都以$1 $2 …$n的形式输出所有参数

[root@localhost ~]# cat forTest3.sh
#!/bin/bash
echo '=============$*============='
for i in $*
do
echo "打印 $i"
done
echo '=============$@============='
for j in $@
do
echo "打印 $j"
done

[root@localhost ~]# ./forTest3.sh 1 2 3
=============$*=============
打印 1
打印 2
打印 3
=============$@=============
打印 1
打印 2
打印 3

当它们被双引号""包含时，$*会将所有的参数作为一个整体，以“$1 $2 …$n”的形式输出所有参数；$@会将各个参数分开，以“$1” “$2”…“$n”的形式输出所有参数

[root@localhost ~]# cat forTest4.sh
#!/bin/bash
echo '=============$*============='
for i in "$*"
#$*中的所有参数看成是一个整体，所以这个 for 循环只会循环一次
do
echo "打印参数 $i"
done
echo '=============$@============='
for j in "$@"
#$@中的每个参数都看成是独立的，所以“$@”中有几个参数，就会循环几次
do
echo "打印参数 $j"
done

[root@localhost ~]# ./forTest4.sh 1 2 3 4
=============$*=============
打印参数 1 2 3 4
=============$@=============
打印参数 1
打印参数 2
打印参数 3
打印参数 4

6.4 while循环

语法 ： 

while [ 条件判断式 ]
do
    程序
done

[root@localhost ~]# cat whileTest.sh
#!/bin/bash
sum=0
i=1
while [ $i -le 100 ]
do
sum=$[$sum+$i]
i=$[$i+1]
done
echo $sum
[root@localhost ~]# ./whileTest.sh
5050

7. read 读取控制台输入

语法： read 选项参数

选项：

选项	功能
-p	指定读取值时的提示符
-t	指定读取值时等待的时间（秒）如果-t 不加表示一直等待

参数：

参数	功能
变量	指定读取值的变量名

# 提示7s内，读取控制台输入的名称
[root@localhost ~]# cat read.sh
#!/bin/bash
read -t 7 -p "Enter your name in 7 seconds :" NN
echo $NN

[root@localhost ~]# ./read.sh
Enter your name in 7 seconds :张三
张三

8. 函数

8.1 系统函数

8.1.1 basename

语法：basename [string / pathname] [suffix]

描述：basename 命令会删掉所有的前缀包括最后一个（'/'）字符，然后将字符串显示出来

basename 可以理解为取路径里的文件名称

选项：suffix 为后缀，如果 suffix 被指定了，basename 会将 pathname 或 string 中的 suffix 去掉。

# 截取该/home/test/a.txt 路径的文件名称
[root@localhost ~]# basename /home/test/a.txt
a.txt
[root@localhost ~]# basename /home/test/a.txt .txt
a

8.1.2 dirname

语法： dirname 文件绝对路径

功能：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分）

dirname 可以理解为取文件路径的绝对路径名称

# 获取 a.txt 文件的路径。
[root@localhost ~]# dirname /home/test/a.txt
/home/test

8.2 自定义函数

# 语法
[ function ] funname[()]
{
    Action;
    [return int;]
}

必须在调用函数地方之前，先声明函数，shell 脚本是逐行运行。不会像其它语言一样先编译。
函数返回值，只能通过$?系统变量获得，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。return 后跟数值 n(0-255)

# 计算两个输入参数的和

[root@localhost ~]# cat funTest.sh
#!/bin/bash
function sum()
{
        s=0
        s=$[$1+$2]
        echo "$s"
}
read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;

[root@localhost ~]# ./funTest.sh
Please input the number1: 1
Please input the number2: 2
3

9. 正则表达式入门

正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。在 Linux 中，grep，sed，awk 等文本处理工具都支持通过正则表达式进行模式匹配。

9.1 常规匹配

一串不包含特殊字符的正则表达式匹配它自己

# 匹配所有包含tm的行
[root@localhost ~]# cat passwd | grep tm
tm:x:1000:1000:base-learn:/home/tm:/bin/bash

9.2 常用特殊字符

[root@localhost ~]# cat passwd
root:x:0:0:root:/root:/bin/bash
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tm:x:1000:1000:base-learn:/home/tm:/bin/bash

9.2.1 特殊字符(^)

^ 匹配一行的开头

# 匹配出所有以r开头的行
[root@localhost ~]# cat passwd | grep ^r
root:x:0:0:root:/root:/bin/bash
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

9.2.2 特殊字符($)

$ 匹配一行的结束

# 匹配所有以h结尾的行
[root@localhost ~]# cat passwd | grep h$
root:x:0:0:root:/root:/bin/bash
tm:x:1000:1000:base-learn:/home/tm:/bin/bash

9.2.3 特殊字符(.)

会匹配 '一个' 任意的字符

# 
[root@localhost ~]# cat passwd | grep r..t
root:x:0:0:root:/root:/bin/bash
[root@localhost ~]# cat passwd | grep r...t
[root@localhost ~]#

9.2.4 特殊字符(*)

不单独使用，他和上一个字符连用，表示匹配上一个字符0次或多次。

[root@localhost ~]# cat passwd | grep ro*t
root:x:0:0:root:/root:/bin/bash
比如会匹配rt rot root rooot rooooot等

9.2.5 字符区间(中括号 [] )

[ ] 表示匹配某个范围内的一个字符

[6,8]------>匹配 6 或者 8
[0-9]------>匹配一个 0-9 的数字
[0-9]*------>匹配任意长度的数字字符串
[a-z]------>匹配一个 a-z 之间的字符
[a-z]* ------>匹配任意长度的字母字符串
[a-c, e-f]->匹配 a-c 或者 e-f 之间的任意字符

[root@localhost ~]# cat passwd | grep r[a,b,c]*t
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
比如会匹配rt rat rbt rabt rbat等等

9.2.6 特殊字符(\)

\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式，当我们想匹配某一特殊字符本身时（例如，我想找出所有包含 '$' 的行），就会碰到困难。此时我们就要将转义字符和特殊字符连用，来表示特殊字符本身。

# 匹配所有包含a$b的行。注意需要使用单引号将表达式引起来
[root@localhost ~]# cat passwd | grep 'a\$b'

10. 文本处理工具

10.1 cut

cut 的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

语法：

cut [选项参数] filename -> 说明：默认分隔符是制表符

选项参数	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分割列，默认是制表符"\t"
-c	按字符进行切割后加加 n 表示取第几列比如 -c 1

# 数据准备
[root@localhost ~]# touch cut.txt
[root@localhost ~]# vim cut.txt
dong shen
guan zhen
wo wo
lai lai
le le

# 切割 cut.txt 第一列
[root@localhost ~]# cut -d " " -f 1 cut.txt
dong
guan
wo
lai
le

# 切割 cut.txt 第二、三列
shen
zhen
  wo
  lai
  le

# 在 cut.txt 文件中切割出 guan
[root@localhost ~]# cat cut.txt |grep guan | cut -d " " -f 1
guan

# 选取系统 PATH 变量值，第 2 个“：”开始后的所有路径
[root@localhost ~]# echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/test/.local/bin:/
home/test/bin
[root@localhost ~]# echo $PATH | cut -d ":" -f 3-
/usr/local/sbin:/usr/sbin:/home/test/.local/bin:/home/test/bin

# 切割 ifconfig 后打印的 IP 地址
[root@localhost ~]# ifconfig ens33 | grep netmask | cut -d " " -f 10
192.168.111.101

10.2 awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

awk [选项参数] ‘/pattern1/{action1} /pattern2/{action2}...’ filename

pattern：表示 awk 在数据中查找的内容，就是匹配模式

action：在找到匹配内容时所执行的一系列命令

选项参数	功能
-F	指定输入文件分隔符
-v	赋值一个用户定义变量

# 数据准备
passwd 数据的含义
用户名:密码(加密过后的):用户 id:组 id:注释:用户家目录:shell 解析器

[root@localhost ~]# cat passwd
root:x:0:0:root:/root:/bin/bash
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tm:x:1000:1000:base-learn:/home/tm:/bin/bash

# 搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第 7 列
[root@localhost ~]# awk -F : '/^root/{print $7}' passwd
/bin/bash

# 搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第 1 列和第 7 列，中间以“，”号分割
# 注意：只有匹配了 pattern 的行才会执行 action
[root@localhost ~]# awk -F : '/^root/{print $1","$7}' passwd
root,/bin/bash

# 只显示文件的第一列和第七列，以逗号分割，且在所有行前面添加列名 user，shell 在最后一行添加test,/bin/bash
# 注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行
[root@localhost ~]# awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "test,/bin/bash"}' passwd
user,shell
root,/bin/bash
rpc,/sbin/nologin
sshd,/sbin/nologin
tm,/bin/bash
test,/bin/bash

# 将 passwd 文件中的用户 id 增加数值 1 并输出
[root@localhost ~]# awk -v i=1 -F : '{print $3+i}' passwd
1
33
75
1001

awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数(行号)
NF	浏览记录的域的个数(切割后,列的个数)

# 数据准备
[root@localhost ~]# cat passwd
root:x:0:0:root:/root:/bin/bash
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tm:x:1000:1000:base-learn:/home/tm:/bin/bash

# 统计 passwd 文件名，每行的行号，每行的列数
[root@localhost ~]# awk -F : '{print "filename:" FILENAME ",linenum:" NR ",col:"NF}' passwd
filename:passwd,linenum:1,col:7
filename:passwd,linenum:2,col:7
filename:passwd,linenum:3,col:7
filename:passwd,linenum:4,col:7

# 查询 ifconfig 命令输出结果中的空行所在的行号
[root@localhost ~]# ifconfig | awk '/^$/{print NR}'
9
18

# 切割IP
[root@localhost ~]# ifconfig ens33 | awk '/netmask/ {print $2}'
192.168.198.100

linux（二、shell脚本总结）