Linux文本三剑客之AWK-详细介绍（上）

awk介绍

• Awk是一种便于使用且表达能力强的程序设计语言，可应用于各种计算和数据处理任务。

1.awk基本用法

• 基本用法：

awk [options]  'program'  var=value   file… 
awk [options]  -f programfile    var=value  file… 
awk [options]  'BEGIN{action;… }pattern{action;… }END{action;… }'  file ... 

• awk 程序可由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成
• program 通常是被放在单引号中
• 选项：

-F “分隔符” 指明输入时用到的字段分隔符 
-v  var=value 变量赋值 

• 基本格式：awk [options] 'program' file…

• Program：pattern{action statements;..}

  • pattern部分决定动作语句何时触发及触发事件
  • action statements对数据进行处理，放在{}内指明

• 分割符、域和记录

  • awk执行时，由分隔符分隔的字段（域）标记$1、$2...$n称为域标识。$0为所有域 注意：此时和shell中变量$符含义不同
  • 文件的每一行称为记录
  • 省略action，则默认执行 print $0 的操作

• 工作原理

第一步：执行BEGIN{action;… }语句块中的语句 
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，
它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。  
第三步：当读至输入流末尾时，执行END{action;…}语句块 
BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，
比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中 
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的
分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块  
pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供
pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每
一行都会执行该语句块 

• print格式：print item1, item2, ...
• 要点：

(1) 逗号分隔符 
(2) 输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式 
(3) 如省略item，相当于print $0 

• 示例：

awk  '{print "hello,awk"}' 
awk –F:   '{print}'   /etc/passwd 
awk –F:  ‘{print “wang”}’   /etc/passwd 
awk –F:  ‘{print $1}’   /etc/passwd 
awk –F:  ‘{print $0}’  /etc/passwd 
awk –F:  ‘{print $1”\t”$3}’  /etc/passwd 
grep “ÛUID”/etc/fstab  |  awk ‘{print $2,$4}’ 

awk变量

• 可以使用内置变量也可以自定义变量

FS:Field Separator
    输入字段分隔符，默认为空白字符 
    awk -v FS=':'  '{print $1,FS,$3}' /etc/passwd 
    awk  –F:   '{print $1,$3,$7}'   /etc/passwd 
OFS:Output Field Separator
    输出字段分隔符，默认为空白字符 
    awk  -v FS=':'  -v OFS=':'  '{print $1,$3,$7}'   /etc/passwd 
RS:Record Seperator
    输入记录分隔符，指定输入时的换行符 
    awk -v RS=' ' ‘{print }’ /etc/passwd 
ORS:Output Record Seperator
    输出记录分隔符，输出时用指定符号代替换行符 
    awk -v RS=' ' -v ORS='###'  '{print $0}' /etc/passwd 
NF:Number Field
    字段数量 
    awk  -F：'{print NF}'  /etc/fstab 引用变量时，变量前不需加$ 
    awk  -F：'{print $(NF-1)}'  /etc/passwd 
NR:Number Record
    记录号 
    awk '{print NR}'  /etc/fstab ; awk END '{print NR}'  /etc/fstab 
FNR：各文件分别计数,记录号 
    awk '{print FNR}'  /etc/fstab /etc/inittab 
FILENAME：当前文件名 
    awk '{print FILENAME}'  /etc/fstab 
ARGC：命令行参数的个数 
    awk '{print ARGC}'  /etc/fstab /etc/inittab 
    awk 'BEGIN {print ARGC}'  /etc/fstab /etc/inittab 
ARGV：数组，保存的是命令行所给定的各参数 
    awk 'BEGIN {print ARGV[0]}'  /etc/fstab /etc/inittab 
    awk 'BEGIN {print ARGV[1]}'  /etc/fstab /etc/inittab 

• 自定义变量(区分字符大小写)

(1) -v var=value 
(2) 在program中直接定义 

• 示例：

awk  -v test='hello gawk' '{print test}' /etc/fstab  
awk  -v test='hello gawk' 'BEGIN{print test}'  
awk  'BEGIN{test="hello,gawk";print test}'  
awk  -F: '{sex=“male”;print $1,sex,age;age=18}' /etc/passwd 

cat awkscript 
{print script,$1,$2} 
awk  -F: -f awkscript script="awk" /etc/passwd