文本三剑客（grep awk sed）

1.grep 过滤

格式：grep [选项]… 表达式 [文件]

表达式格式：

• 要查找的字符串以双引号括起来单引号也可以
• “^……”表示以……开头，“……$”表示以……结尾
• “^$”表示空行

举例：

[root@test1 opt]# grep "^b" 123.txt    
#过滤已b开头
[root@test1 opt]#grep '/$'  123.txt   
#过滤已/结尾
[root@test1 opt]# grep -v "^$" 123.txt 
#过滤非空行

常用选项

选项	作用
-i	查找时忽略大小写
-v	反向查找，输出与查找条件不相符的行
-o	只显示匹配项
-f	对比两个文件的相同行
-c	匹配的行数(列如：grep -c ‘root’ passwd在passwd文件中匹配有root的行数,输出结果
-r	递归目录，但不处理软链接
-R	递归目录，但处理软链接

grep一般与正则表达式和扩展正则表达式配合使用（关于正则表达式和扩展正则表达式可以看我上一篇博客第七条）

2.awk

2.1 awk基本介绍

0. AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
1. AWK 是一种处理文本文件的语言，是一个强大的文本分析工具
2. 可以在无交互的模式下实现复杂的文本操作
3. 相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。

PS：awk默认使用正则表达式 所以不需要``转义

2.2 工作原理

• 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中， 并按模式或者条件执行编辑命令。
• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
• 在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、““表示"或”、”!“表示"非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

2.3 基本格式

awk  [options]  'program' var=value file..
​
awk  选项  模式  处理动作
          指定   '{print  }'
​
-F  指定分隔符
-v  自定义变量
-f  脚本
​
awk [options]  -f programfile  var=value file..
​
program通常是被放在单引号中，并可以由三种部分组成
BEGIN语句块
模式匹配的通用语句块
END语句块
​
pattern{action statements;..}
pattern：决定动作语句何时触发及触发事件，比如：BEGIN,END,正则表达式等
action statements：对数据进行处理，放在{}内指明，常见：print, printf

2.4 常用变量：

• FS∶ 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
• NF∶ 当前处理的行的字段个数 
• NR∶ 当前处理的行的行号（序数） 
• $0∶当前处理的行的整行内容
• $n∶ 当前处理行的第n个字段（第n列）
• FILENAME∶ 被处理的文件名
• RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

简单来说RS就是数据记录分隔，默认为\n，即每行为一条记录

• $NF：最后一段
• $(NF-1)：倒数第二段

2.4 awk相关示例

[root@localhost opt]#awk -v FS=':' '{print $1FS$3}' /etc/passwd
root:0
bin:1
daemon:2
adm:3
lp:4
sync:5
shutdown:6
halt:7
mail:8
....
//以:为分隔符，再以:为分隔符输出
awk -F: '{print $1":"$3}' /etc/passwd
fs=":";awk -v FS=$fs '{print $1FS$3}' /etc/passwd
//支持定义变量传给FS
​
fs=":";awk -v FS=$fs -v OFS="+" '{print $1,$3}' /etc/passwd
//OFS指定输出时的分隔符
​
[root@localhost opt]#awk -v RS=':' '{print $0}' /etc/passwd
root
x
0
0
root
/root
/bin/bash
......
//默认以/n（换行符）为一条记录的分隔符，这里指定:为记录分隔符，所以分行输出
​
[root@localhost opt]#awk -F: '{print NF}' /etc/passwd
7
7
7
7
7
7
//代表每行有7个字段
​
[root@localhost opt]#awk -F: '{print $NF}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
/sbin/nologin
/sbin/nologin
//$NF代表最后一个字段
​
[root@localhost opt]#df|awk -F "[ %]+" '{print $(NF-1)}'
已用
11
0
0
1
0
4
1
0
​
[root@localhost opt]#awk '{print $1,NR}' /etc/passwd
root:x:0:0:root:/root:/bin/bash 1
bin:x:1:1:bin:/bin:/sbin/nologin 2
daemon:x:2:2:daemon:/sbin:/sbin/nologin 3
adm:x:3:4:adm:/var/adm:/sbin/nologin 4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 5
sync:x:5:0:sync:/sbin:/bin/sync 6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 7
halt:x:7:0:halt:/sbin:/sbin/halt 8
//显示行号
​
[root@localhost opt]#awk 'NR==2{print $1}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
//指定第几行
awk 'NR==1,NR==3{print}' /etc/passwd
//打印出1到3 行
awk 'NR==1||NR==3{print}' /etc/passwd
//打印出1和3行
awk '(NR%2)==0{print NR}' /etc/passwd
//打印出偶数行
awk '(NR%2)==1{print NR}' /etc/passwd
//打印出奇数行
awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd
//打印出3到6行
awk 'NR>3 && NR<6{print NR,$0}' /etc/passwd
//打印出3到6行（不包括3，6行）
awk '$3>1000{print}' /etc/passwd
//打印出普通用户 第三列 大于1000 的行
​
[root@localhost opt]#awk '{print FNR}' /etc/issue /etc/os-release 
1
2
3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
//与NR不同，FNR在读入一个新文件时会重新从第一行开始计数
​
[root@localhost opt]#awk -F: 'NR==2{print FILENAME}' /etc/passwd
/etc/passwd
//显示文件名
​
​

2.5 自定义变量

[root@localhost ~]#awk -v test='hello' 'BEGIN{print test}'
hello
[root@localhost ~]#awk -v test1=test2="hello" 'BEGIN{test1=test2="hello";print test1,test2}'
hello hello

2.6 模式

awk ‘模式{处理动作}’
不支持使用行号，但可以使用变量NR间接指定行号

gender
///正则表达式
/pat1/   
// 匹配pat1 的行
​
/pat1/,/pat2/ 
//正则表达式1   到正则表达式2  之间的行       如果匹配不到2的表达式  会一直匹配到文末
​
pat1   正则表达式1
pat2   正则表达式2
​
//模糊匹配，用~表示包含，!~表示不包含
​
比较操作符：
==, !=, >, >=, <, <=
​
逻辑
与：&&，并且关系
或：||，或者关系
非：!，取反
​
[root@localhost ~]#seq 10 |awk 'NR>=3 && NR<=6'
3
4
5
6
[root@localhost ~]#awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
[root@localhost ~]#awk -F:  '$3>=100 && $3<=1000{print $1}' /etc/passwd
systemd-network
polkitd
abrt
libstoragemgmt
colord
saslauth
setroubleshoot
rtkit
pulse
qemu
chrony
usbmuxd
geoclue
sssd
gnome-initial-setup
test
dhcpd
​
[root@localhost ~]#seq 10 | awk 'NR%2==0'
2
4
6
8
10
//取偶数行
[root@localhost ~]#seq 10 | awk 'NR%2==1'
1
3
5
7
9
//取奇数行或者awk 'NR%2!=0'
​

2.7 条件判断

if语句：awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}
​
[root@localhost ~]#awk -F: '{if($3<1000)print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
operator 11
games 12
ftp 14
.......
​
[root@localhost ~]#awk -F: '{if($3>1000){print $1,$3}else if($3<=1000){print $3}}' /etc/passwd
0
1
2
3
4
5
6
7
8
11
.....
test1 1001
test2 1002
test3 1003
test4 1004
test5test6 1005
//如果第三列数字大于1000，输出1.3列，如果小于等于1000，输出第三列
​

2.8 循环

[root@localhost ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++){sum+=i};print sum}'
5050
//注意要在循环体前面加BEGIN，否则无输出
​

2.9 数组

[root@localhost ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["mon"]}'
Monday
​

[root@localhost ~]#ss -nta|awk 'NR!=1{state[$1]++}END{for(i in state){print i,state[i]}}'
LISTEN 11
ESTAB 1
​

2.10 awk脚本

awk程序，可以写成脚本，直接调用或执行

[root@centos7 ~]#cat test.awk
#!/bin/awk -f
#this is a awk script
{if($3>=1000)print $1,$3}
[root@centos8 ~]#chmod +x test.awk
[root@centos8 ~]#./test.awk -F: /etc/passwd
nobody 65534
wang 1000
mage 1001
​

3.sed

3.1 sed基本介绍

• sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
• sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要存储在一个命令文本文件中。

Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行。

3.2 sed的工作流程

sed 的工作流程主要包括读取、执行和显示三个过程:

• 读取: sed从输入流（文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。
• 执行：默认情况下，所有的sed 命令都在模式空间中顺序地执行， 除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
• 显示:发送修改后的内容到输出流(屏幕)。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上.述过程将重复执行，直至所有内容被处理完在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出或者sed -i。

3.3 sed的命令格式

sed [option]... 'script;script;...' [input  file...]
     选项         自身脚本语法         支持标准输入管道
​
​
第一种：
sed -e '操作' 文件1 文件2
 
第二种：
sed -n -e '操作' 文件1 文件2 
 
第三种：
sed -f 脚本文件 文件1 文件2 
 
第四种：
sed -i -e '操作' 文件1 文件2
​

3.4 常用选项

-n 不输出模式空间内容到屏幕，即不自动打印
-e 多点编辑[root@localhos data]#sed -n -e ‘/^r/p’ -e’/^b/p’ /etc/passwd
-f FILE 从指定文件中读取编辑脚本
-r, -E 使用扩展正则表达式
-i.bak 备份文件并原处编辑
-s 将多个文件视为独立文件，而不是单个连续的长文件流
​

3.5 常用操作

s 替换指定字符
d 删除选定的行
a 增加，在下一行添加
i 插入，在上一行添加
c 替换，将选定行替换为指定内容
y 字符转换，转换字符前后
p 打印内容　　
= 打印行号
l 表示打印数据流的文本和不可打印的ascll
r 扩展表达式

3.6 脚本格式

'地址+命令'组成
​
​
1. 不给地址：对全文进行处理（比如行号）
2. 单地址：
   #：指定的行，$：最后一行
   /pattern/：被此处模式所能够匹配到的每一行，正则表达式
3. 地址范围：
   #,#     #从#行到第#行，3，6 从第3行到第6行
   #,+#   #从#行到+#行，3,+4 表示从3行到第7行
   /pat1/,/pat2/    第一个正则表达式和第二个正则表达式之间的行
   #,/pat/  从#号行为开始找到 pat为止 
   /pat/,#  找到#号个pat为止
4. 步进：~
     1~2 奇数行
     2~2 偶数行
​
命令
p 打印当前模式空间内容，追加到默认输出之后
Ip 忽略大小写输出
d 删除模式空间匹配的行，并立即启用下一轮循环
a []text 在指定行后面追加文本，支持使用\n实现多行追加
i []text 在行前面插入文本
c []text 替换行为单行或多行文本
w file 保存模式匹配的行至指定文件
r file 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
q           结束或退出sed
​

3.7 打印

[root@localhos ~]#seq 10 | sed 'p'
//带有自动打印功能，p又再打印一遍
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
[root@localhos ~]#seq 10 | sed -n 'p'
1
2
3
4
5
6
7
8
9
10
//-n 选项关闭自动打印功能
​
[root@localhos ~]#seq 10 | sed -n '3p'
3
//带上地址只显示第三行
支持正则表达式
[root@localhos ~]#sed -n '/root/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
//将包含root的行打印出来  /root(需要匹配的内容)/p(打印)  文件名 
与 grep root /etc/passwd 功能相同
​
[root@localhos ~]#seq 10|sed -n '3,6p'
3
4
5
6
//显示3到6行
[root@localhos ~]#seq 10|sed -n '3,+4p'
3
4
5
6
7
//3 往后加4行
​
[root@localhos ~]#sed -n '/^b/,/^f/p' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
//可以匹配 两个正则表达式之间的行
先开始找b开头一直找到f开头
然后再重新找b开头，一找到f开头，没有f开头就全显示
重复循环
此方法可以在日志中以时间段查找
例如sed -n '/2018:08:09/,/2018:09:42:37/p' access_log
​
[root@localhos tmp]#seq 10 |sed -n '1~2p'
1
3
5
7
9
​
​
[root@localhos tmp]#sed -n '/nologin/!p' /tmp/passwd
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
test:x:1000:1000:test:/home/test:/bin/bash
test1:x:1001:1001::/home/test1:/bin/bash
test2:x:1002:1002::/home/test2:/bin/bash
test3:x:1003:1003::/home/test3:/bin/bash
test4:x:1004:1004::/home/test4:/bin/bash
test5test6:x:1005:1005::/home/test5test6:/bin/bash
//取反处理
​
[root@localhos tmp]#sed -n '/root/='  /tmp/passwd
1
10
//显示root所在行的行号
​
[root@localhos tmp]#sed -n '/root/=;/root/p'  /tmp/passwd
1
root:x:0:0:root:/root:/bin/bash
10
operator:x:11:0:operator:/root:/sbin/nologin
//多个模式匹配要使用分号或者-e
​
sed -n '$=' zz.txt  相当于统计文件有几行
​

sed默认不支持扩展正则，如果要支持，需要加-r选项

[root@localhos ~]# sed -n '/^root|^shutdown/p' /etc/passwd
[root@localhos ~]#
​

[root@localhos ~]# sed -nr '/^root|^shutdown/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
​

3.8 增加

[root@localhos tmp]#sed '3ihello\nworld' /tmp/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
hello
world
daemon:x:2:2:daemon:/sbin:/sbin/nologin
//在第三行之前增加hello换行增加world
i变为a则为在此行之后
可以3,5指定范围为3-5行
​
[root@localhos tmp]#sed '/test5test6/a hello world' /tmp/passwd
test5test6:x:1005:1005::/home/test5test6:/bin/bash
hello world
//可以匹配到行再增加
​

3.9 删除

[root@localhost ~]# sed '1d' /tmp/passwd
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
//删除第一行
​
[root@localhost ~]# sed '1,4d' /tmp/passwd
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
//删除1-4行
​
[root@localhost ~]# sed '/nologin/d' /tmp/passwd
     1  root:x:0:0:root:/root:/bin/bash
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
    44  shengjie:x:1000:1000:shengjie:/home/shengjie:/bin/bash
    47  user1:x:1001:1003::/home/user1:/bin/bash
//删除有nologin的行
​
sed '/^#/d;/^$/d' file
//删除#号开头的行，和空行
​

3.10 替换

[root@localhost tmp]#sed '/root/cxxx' /etc/passwd
xxx
//将root行替换为xxx
​

需注意：这里没有真的改变文件内容，只是输出到屏幕，如果想要真的替换，需要用-i选项，建议用-i之前对原文件进行备份，或者sed -i.bak ‘p’ file

3.11 搜索替换

c指令使得整行内容全部替换，d指令删除整行，如果要只替换某个关键词的话需要使用s指令

格式：sed 选项 ‘s/搜索的内容/替换的内容/动作’

s/pattern/string/修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###

替换修饰符：

g	行内全局替换
p	显示替换成功的行
w	/PATH/FILE 将替换成功的行保存至文件中
I,i	忽略大小写

[root@localhos ~]#sed 's/root/ROOT/' /tmp/passwd
ROOT:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/ROOT:/sbin/nologin
//搜索root所在行把第一个出现的root换成ROOT
[root@localhos ~]#sed -n 's/root/ROOT/gp' /tmp/passwd
ROOT:x:0:0:ROOT:/ROOT:/bin/bash
operator:x:11:0:operator:/ROOT:/sbin/nologin
//搜索root所在行，把所有出现的root都替换成ROOT
​
[root@localhos ~]#sed -n 's/o/O/2p' /tmp/passwd
roOt:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nolOgin
daemon:x:2:2:daemOn:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nolOgin
lp:x:4:7:lp:/var/spoOl/lpd:/sbin/nologin
shutdown:x:6:0:shutdOwn:/sbin:/sbin/shutdown
mail:x:8:12:mail:/var/spoOl/mail:/sbin/nologin
operatOr:x:11:0:operator:/root:/sbin/nologin
//搜索字母o，仅替换每行第 二 个o为大写O
​
[root@localhos ~]#sed -n 's/root//gp' /tmp/passwd
:x:0:0::/:/bin/bash
operator:x:11:0:operator:/:/sbin/nologin
//将所有root替换为空
​
[root@localhos ~]#sed  -n '1,5s/^/#/gp' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
//把1-5行的开头都插入#号
​
[root@localhos ~]#sed -n 's//sbin/nologin/yyds/gp' /tmp/passwd
bin:x:1:1:bin:/bin:yyds
daemon:x:2:2:daemon:/sbin:yyds
adm:x:3:4:adm:/var/adm:yyds
lp:x:4:7:lp:/var/spool/lpd:yyds
........
//把所有/sbin/nologin换成yyds，/需要转义
其实替换用法与vim类似，“s///”中的/只是用来分隔的，换成###也行，这样不容易混乱
​
[root@localhos ~]#sed -n 's/^sync/#&/gp' /etc/passwd
#sync:x:5:0:sync:/sbin:/bin/sync
[root@localhos ~]#sed -n 's/^sync/#/gp' /etc/passwd
#:x:5:0:sync:/sbin:/bin/sync
//如果不加&，那么直接将sync替换掉，不保留
​
[root@localhos ~]# sed -n 's/network/ooooo/igp' /tmp/passwd
systemd-ooooo:x:192:192:systemd ooooo Management:/:/sbin/nologin
[root@localhos ~]# sed -n 's/network/ooooo/gp' /tmp/passwd
systemd-ooooo:x:192:192:systemd Network Management:/:/sbin/nologin
//i忽略大小写
​

3.12 插入文件

[root@localhos ~]#sed '3r /etc/hosts' /tmp/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
.......
//r可以将其他文件内容插入指定行号之后
​
[root@localhos tmp]#sed '/3/r /etc/hosts' /tmp/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
//寻找到有3的行，在之后行插入
​

3.13 另存为到文件

使用w指令将当前编辑的文件内容另存到其他文件中，如果目标文件已存在，则会将目标文件的内容覆盖

[root@localhost tmp]#sed 'w /tmp/aaaaaa' /tmp/passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
....
​
[root@localhost tmp]#sed '2w /tmp/passwd' /etc/passwd
[root@localhost tmp]#cat passwd 
bin:x:1:1:bin:/bin:/sbin/nologin
//只存第二行
​

3.14 分组操作

当我们需要对一行数据进行多次操作的时候我们可以使用()进行分组

#分组使用（）（），调用第一段使用\1
echo 11aaxx |sed -r 's/(11)(aa)(xx)/\1/'
 
#调用第2个分组
echo 11aaxx |sed -r 's/(11)(aa)(xx)/\2/'
 
#调用所有分组
echo 11aaxx |sed -r 's/(11)(aa)(xx)/\1\2\3/'
​

提取IP地址

ifconfig ens33 |sed -rn '2s/.*(inet) ([0-9.]+)  (netmask) ([0-9.]+)  (broadcast) ([0-9.]+).*/\2/p'

3.15 读取完退出

正常情况下sed会在读取完所有数据行之后退出，但是我们可以随时使用q指令来提前退出sed

[root@localhost tmp]#sed '3q' /tmp/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
//读取完3行不会继续默认打印，直接退出
​

q不要和-i一起使用，以免覆盖源文件

我们可以先将所有的sed指令写入一个文本文件中（写一个sed脚本）然后通过sed的-f选项读取该指令文件即可实现多指令操作

[root@localhost tmp]#vim test.sh
#!/bin/sed -f
1c hello world
2{
        p
        s/b/B/
}
/root/{
        s/x/H/
        s/root/ROOT/
}
​
​
[root@localhost tmp]#sed -f test.sh /tmp/passwd
hello world
bin:x:1:1:bin:/bin:/sbin/nologin
Bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
........
​

注意：

• sed脚本文件第一行要声明#!/bin/sed -f
• 不要加单引号
• 每行的最后不能有空格等多余字符
• #号开头为注释
• 一行有多个命令时用分号隔开

需注意：sed的返回值一般情况为0，不管是不是修改成功了，除非是语法错误，所以sed的返回值$？一般不作为sed成功的判断条件

3.16 sed的高级应用

-r匹配正则

[root@localhost ~]# sed -r s/^[\t]*/#/ /tmp/hosts
#       127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
​

结合变量

[root@localhos tmp]#sed '1a$word'  /tmp/hosts 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
$word
//单引号表示强引用，不识别变量
[root@localhos tmp]#sed '1a'"$word"  /tmp/hosts 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
1122
[root@localhos tmp]#sed 1a$word  /tmp/hosts 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
1122
[root@localhos tmp]#sed ''1a$word''  /tmp/hosts 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
1122
​
​
[root@localhos tmp]#sed '$a'"$word" passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
........
test4:x:1004:1004::/home/test4:/bin/bash
test5test6:x:1005:1005::/home/test5test6:/bin/bash
1122
[root@localhos tmp]#sed "$a$word" passwd 
sed：-e 表达式 #1，字符 4：遗漏命令
//只用双引号不行
[root@localhos tmp]#sed "$a$word" passwd 
//或者使用转义符来表示$为最后一行而不是变量
​