Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk。它诞生于 20 世纪 70 年代末期,这也许是它影响了众多 Linux 用户的原因之一。
曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。
awk 使用数据字段变量
awk 的主要特性之一是其处理文本文件中数据的能力,它会自动给一行中的每个数据元素分配一个变量。
默认情况下,awk 会将如下变量分配给它在文本行中发现的数据字段:
-
$0 代表整个文本行;
-
$1 代表文本行中的第 1 个数据字段;
-
$2 代表文本行中的第 2 个数据字段;
-
$n 代表文本行中的第 n 个数据字段。
前面说过,在 awk 中,默认的字段分隔符是任意的空白字符(例如空格或制表符)。 在文本行中,每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。
示例
我们准备一个文件,log.txt,内容如下:
vagrant@homestead:~/test$ cat log.txt
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo
我们先打印前面两列的数据:
vagrant@homestead:~/test$ awk '{print $1,$2}' log.txt
1 this
2 Are
3 this's
4 There
打印全部数据:
vagrant@homestead:~/test$ awk '{print $0}' log.txt
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo
注意:行匹配语句 awk '' 只能用单引号
使用“,”进行分隔,用-F:
vagrant@homestead:~/test$ awk -F ',' '{print $1,$3}' log.txt
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange mongo
使用"you"分隔:
vagrant@homestead:~/test$ awk -F 'you' '{print $1,$2}' log.txt
1 this is a test
2 Are like awk
3 this's a test
4 There are orange,apple,mongo
使用','分割的时候,以行为单位,前面3行都没有','号,所以直接全部原模原样输出,第四行有逗号,那就以逗号分隔成3部分(第一部分:4 There are orange 第二部分:apple 第三部分:mongo),命令是打印第一和第三列所以打印了4 There are orange mongo
使用'you'分割的时候,以行为单位,主要看第二行就行,以'you'为界线,他的前面是“$1”,也就是:2 Are 【注意Are后面有空格的】,后面就是“$2”, 也就是 like awk【like前面有空格的】
简单说:以"XXX"为分间隔。在“XXX”之前的数据为
"$1","XXX"之后的数据为“$2”,"$3"等等
过滤第一列大于2的数据:
vagrant@homestead:~/test$ awk '$1>2' log.txt
3 this's a test
4 There are orange,apple,mongo
过滤第一列大于2并且第三列是are的数据,打印1,2,3列:
vagrant@homestead:~/test$ awk '$1>2 && $3=="are" {print $1,$2,$3}' log.txt
4 There are
awk BEGIN关键字
awk 中还可以指定脚本命令的运行时机。默认情况下,awk 会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用 BEGIN 关键字。
BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令:
vagrant@homestead:~/test$ awk 'BEGIN{print "Hello awk!"} {print $0}' log.txt
Hello awk!
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo
可以看到,这里的脚本命令中分为 2 部分,BEGIN 部分的脚本指令会在 awk 命令处理数据前运行,而真正用来处理数据的是第二段脚本命令。上面写成:awk '{print $0} BEGIN{print "Hello awk!"}' log.txt效果一样与顺序无关
awk END关键字
和 BEGIN 关键字相对应,END 关键字允许我们指定一些脚本命令,awk 会在读完数据后执行它们,例如:
vagrant@homestead:~/test$ awk 'END{print "Hello awk!"} {print $0}' log.txt
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo
Hello awk!
上面写成:awk '{print $0} END{print "Hello awk!"}' log.txt 效果一样与顺序无关