Linux的awk命令(一)

194 阅读2分钟

Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk。它诞生于 20 世纪 70 年代末期,这也许是它影响了众多 Linux 用户的原因之一。

曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。

awk 使用数据字段变量

awk 的主要特性之一是其处理文本文件中数据的能力,它会自动给一行中的每个数据元素分配一个变量。

默认情况下,awk 会将如下变量分配给它在文本行中发现的数据字段:

  • $0 代表整个文本行;

  • $1 代表文本行中的第 1 个数据字段;

  • $2 代表文本行中的第 2 个数据字段;

  • $n 代表文本行中的第 n 个数据字段。

前面说过,在 awk 中,默认的字段分隔符是任意的空白字符(例如空格或制表符)。 在文本行中,每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。

示例

我们准备一个文件,log.txt,内容如下:

vagrant@homestead:~/test$ cat log.txt 
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo 

我们先打印前面两列的数据:

vagrant@homestead:~/test$ awk '{print $1,$2}' log.txt 
1 this
2 Are
3 this's
4 There 

打印全部数据:

vagrant@homestead:~/test$ awk '{print $0}' log.txt 
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo 

注意:行匹配语句 awk '' 只能用单引号

使用“,”进行分隔,用-F:

vagrant@homestead:~/test$ awk -F ',' '{print $1,$3}' log.txt 
1 this is a test 
2 Are you like awk 
3 this's a test 
4 There are orange mongo 

使用"you"分隔:

vagrant@homestead:~/test$ awk -F 'you' '{print $1,$2}' log.txt 
1 this is a test 
2 Are   like awk
3 this's a test 
4 There are orange,apple,mongo  

使用','分割的时候,以行为单位,前面3行都没有','号,所以直接全部原模原样输出,第四行有逗号,那就以逗号分隔成3部分(第一部分:4 There are orange  第二部分:apple  第三部分:mongo),命令是打印第一和第三列所以打印了4 There are orange mongo

使用'you'分割的时候,以行为单位,主要看第二行就行,以'you'为界线,他的前面是“$1”,也就是:2 Are 【注意Are后面有空格的】,后面就是“$2”,  也就是 like awk【like前面有空格的】

简单说:以"XXX"为分间隔。在“XXX”之前的数据为"$1","XXX"之后的数据为“$2”"$3"等等

过滤第一列大于2的数据:

vagrant@homestead:~/test$ awk '$1>2' log.txt 
3 this's a test
4 There are orange,apple,mongo 

过滤第一列大于2并且第三列是are的数据,打印1,2,3列:

vagrant@homestead:~/test$ awk '$1>2 && $3=="are" {print $1,$2,$3}' log.txt 
4 There are 

awk BEGIN关键字

awk 中还可以指定脚本命令的运行时机。默认情况下,awk 会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用 BEGIN 关键字。

BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令:

vagrant@homestead:~/test$ awk 'BEGIN{print "Hello awk!"} {print $0}' log.txt 
Hello awk!
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo 

可以看到,这里的脚本命令中分为 2 部分,BEGIN 部分的脚本指令会在 awk 命令处理数据前运行,而真正用来处理数据的是第二段脚本命令。上面写成:awk '{print $0} BEGIN{print "Hello awk!"}' log.txt效果一样与顺序无关

awk END关键字

和 BEGIN 关键字相对应,END 关键字允许我们指定一些脚本命令,awk 会在读完数据后执行它们,例如:

vagrant@homestead:~/test$ awk 'END{print "Hello awk!"} {print $0}' log.txt 
1 this is a test
2 Are you like awk
3 this's a test
4 There are orange,apple,mongo
Hello awk! 

上面写成:awk '{print $0} END{print "Hello awk!"}' log.txt 效果一样与顺序无关