1. 工作原理
逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理。
awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。
在使用awk命令的过程中,可以使用逻辑操作符
“&&"表示“与”、“||”表示“或”、“!”表示“非”;还可以进行简单的数学运算,如+、一、*、/、8、^分别表示加、减、乘、除、取余和乘方。
2. 命令格式
awk [选项] '模式或条件 {操作}' 文件1 文件2 ...awk -f 脚本文件 文件1 文件2
3. awk常见的内建变量(可直接用)
FS:列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用 相同NF:当前处理的行的字段个数。NR:当前处理的行的行号(序数)。$0:当前处理的行的整行内容。
注:$0
在shell主代码中代表的是脚本名在函数体中代码的是函数名在awk的命令的代表的是当前整行内容
$n:当前处理行的第n个字段(第n列)。FILENAME:被处理的文件名。RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是'\n'
4. 按行输出文本
- 输出所有内容
[root@localhost ~]# awk '{print}' testfile2 //输出所有内容
[root@localhost ~]# awk '{print$0}' testfile2 //输出所有内容
- 输出第1~3行内容
[root@localhost ~]# awk 'NR==1,NR==3{print}' testfile2 //输出第1~3行内容
[root@localhost ~]# awk '(NR>=1)&&(NR<=3){print}' testfile2 //输出第1~3行内容
- 输出1和3行
[root@localhost ~]# awk 'NR==1||NR==3{print}' testfile2 //输3行
- 输出所有奇数偶数行的内容
[root@localhost ~]# awk '(NR%2)==1{print}' testfile2 //输出所有奇数行的内容
[root@localhost ~]# awk '(NR%2)==0{print}' testfile2 //输出所有偶数行的内容
- 输出以root开头行
[root@localhost ~]# awk '/^root/{print}' /etc/passwd //输出以root开头行
- 输出以nologin 结尾的行
[root@localhost ~]# awk '/nologin$/{print}' /etc/passwd //输出以nologin 结尾的行
- 截取ens33的IP、MAC、入站流量、出站流量
[root@localhost ~]# ifconfig ens33 | awk 'NR==2{print $2}'
[root@localhost ~]# ifconfig ens33 | awk 'NR==3{print $2}'
[root@localhost ~]# ifconfig ens33 | awk 'NR==5{print $5}'
[root@localhost ~]# ifconfig ens33 | awk 'NR==7{print $5}'
- 统计以/bin/bash结尾的行数
[root@localhost ~]# awk 'BEGIN {x=0};/\/bin\/bash$/{print $0;x++};END {print "共有"x"行"}' /etc/passwd
//统计以/bin/bash结尾的行数,等同于grep -c "/bin/bash$" /etc/passwd
格式:
awk 'BEGIN {操作1}; [条件] {操作2}; END {操作3}' 文件x
模式
BEGIN {操作1} : awk在读取文件之前执行的操作[条件] {操作2} : awk逐行读取文件时执行的操作END {操作3} : awk在处理完文件所有行之后执行的操作
BEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作:awk再处理指定的文本,之后再执行END模式中指定的动作,END{}语句块中, 往往会放入打印结果等语句
5. 按字段输出文本
- 输出每行中的第3个字段
awk -F ":" '{print $3}' /etc/passwd //输出每行中的第3个字段
- 输出每行中的第1、3个字段
[root@localhost ~]# awk -F ":" '{print $1,$3}' /etc/ passwd //输出每行中的第1、3个字段
- 输出第3个字段的值小于5的第1、3个字段内容
root@localhost ~]# awk -F ":" '$3<5{print $1,$3}' /etc/passwd
//输出第3个字段的值小于5的第1、3个字段内容
- 输出第3个字段的值不小于200的行
[root@localhost ~]# awk -F ":" '!($3<200) {print}' /etc/passwd
//输出第3个字段的值不小于200的行
- 先处理完BEGIN的内容, 再打印文本里面的内容
[root@localhost ~]# awk 'BEGIN {FS=":"}; {if ($3>=1000) {print}}' /etc/passwd
//先处理完BEGIN的内容, 再打印文本里面的内容
- 三元运算符
[root@localhost ~]# awk -F ":" '{max=($3>=$4)?"uid:"$3:"gid:"$4; {print $1,"\t"max}}' /etc/passwd
//($3>$4)?$3:S4;三元运算符,如果第3个字段的值大于等于第4个字段的值,则把第3个字段的值赋给max,否则第4个字段的值赋给max
- 输出每行内容和行号
[root@localhost ~]# awk -F ":" '{print NR, $0}' /etc/passwd
//输出每行内容和行号,每处理完一条记录,NR值+1
- 输出以冒号分隔
[root@localhost ~]# awk -F ":" '$7~ "/bash"{print $1}' /etc/ passwd
//输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
[root@localhost ~]# awk -F ":" '($1~ "root")&& (NF=7) {print $1,$2}' /etc/passwd
//输出第1个字段中包含root且有7个字段的行的第1、2个字段
- 取反
[root@localhost ~]# awk -F ":" ' ($7!="/bin/bash") && ($7!="/sbin/nologin") {print}' /etc/passwd
//输出第7个字段既不为/bin/bash,也不为/ sbin/nologin的所有行
6. 通过管道、双引号调用shell命令
- 统计以冒号分隔的文本段落数
[root@localhost ~]# echo $PATH | awk 'BEGIN{RS=":"} ;END{print NR}'
//统计以冒号分隔的文本段落数,END{}语句块中,往往会放入打印结果等语句
- 调用wc -l命令统计使用bash 的用户个数
[root@localhost ~]# awk -F: '/bash$/ {print | "wc -l"}' /etc/passwd
//调用wc -l命令统计使用bash 的用户个数,等同于grep -c "bash$" /etc/passwd
- 查看当前内存使用百分比
[root@localhost ~]# free -m | awk '/Mem:/ {print int ($3/($3+$4)*100) "%"}'
//查看当前内存使用百分比
- 查看当前CPU空闲率
[root@localhost ~]# top -b -n 1 | grep Cpu|awk -F ',' '{print$4}' | awk '{print$1}'
//查看当前CPU空闲率,(-b -n 1表示只需要1次的输出结果)
- 显示上次系统重启时间
[root@localhost ~]# date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
#显示上次系统重启时间,等同于uptime; second ago为显示多少秒前的时间,+"%F %H:%M:%S"等 同于+"%Y-%m-%d %H:%M:%S"的时间格式
- 统计在线用户数
[root@localhost ~]# awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'
//调用w命令,并用来统计在线用户数
- 调用hostname输出当前的主机名
[root@localhost ~]# awk 'BEGIN {"hostname" | getline ; {print $0}}'
//调用hostname, 并输出当前的主机名
- 获取偶数行
[root@localhost ~]# seq 10 | awk '{getline; print $0}'
//获取偶数行
- 获取奇数行
[root@localhost ~]# seq 10 | awk '{print $0; getline}'
//获取奇数行