awk概述

awk的工作原理：

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
awk倾向于将一行分成多个"字段"然后再进行处理。
awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
使用awk命令的过程中，可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk的命令格式：

 awk 选项 '模式或条件 {操作}'  文件1  文件2...
 
 awk -f 脚本文件 文件1 文件2

注意：

注意一定是单引号：'模式或条件 {操作}'
{ }外指定条件，{ }内指定操作。
用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。
内建变量，不能用双引号括起来，不然系统会把它当成字符串。

awk常见的内置变量（可直接使用）：

内置变量	含义
$0	当前处理的行的整行内容
$n	当前处理行的第n个字段（第n列）
NR	当前处理的行的行号（序数）
NF	当前处理的行的字段个数。$NF代表最后一个字段
FS	列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS	输出内容的列分隔符
FILENAME	被处理的文件名
RS	行分隔符。awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是"\n"

awk的基础用法

按行输出内容

示例1：$0表示当前行的整行内容

1、输出所有内容。逐行读取，$0表示当前行的整行内容。

2、打印行号和整行内容。

示例2：使用NR指定行号

NR表示当前处理的行的行号（序数）。

1、打印1到3行。逗号表示连续的行内容。&&表示”且“。

2、注意符号"||"（表示“或“）

3、打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）

示例3：$n 表示当前处理行的第n个字段

示例4：通过文本模式（匹配字符串）过滤出行

和正则表达式结合，通过匹配字符串过滤出想要的行。

1、输出包含root的行。

2、输出以root开头的行；输出以bash结尾的行。

BEGIN模式

格式：

 awk 'BEGIN{...};{...};END{...}' 文件
 
 #处理过程：
 1、在awk处理指定的文本之前，需要先执行BEGIN{...}模式里的命令操作;
 2、中间的{...} 是真正用于处理文件的命令操作；
 3、在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句

示例：

统计以bash结尾的行。

BEGIN是处理文件之前进行的操作，END是处理文件之后进行的操作。
/bash$/ 是需要满足的条件。
BEGIN语块中先指定一个变量x=0；之后处理文件、每检索出一次以bash结尾的行，就执行x=x+1；最后执行END语块中的命令，打印x的值。

小贴士：

grep -c 也可以统计匹配行的行数。

按字段（列）输出内容

指定列分隔符的两种方式：使用-F 或使用内建变量FS。

示例1：使用 -F 指定分隔符。

示例2：将内建变量FS 重新赋值。

内建变量FS表示列分隔符，默认为空格或制表位。重新赋值可重新指定分隔符。

示例3：打印UID大于500的用户、打印UID小于等于500的用户（!取反）

要求打印用户名和UID。

! 表示取反，不大于500，即小于等于500。

示例4：使用if语句

使用if语句时，内部条件要加( )，外面要加{ }。

将{ }整条语句当作一个操作命令，相当于嵌套。

三元运算符

Java和Shell中的三元运算符：

 java中： (条件表达式)?(A表达式或者值):(B表达式或者值)
 - 条件表达式成立（为真）时，会取冒号前面的值A。
 - 条件表达式不成立（为假）时，会取冒号后面的值B。
 
 Shell中： [ 条件表达式 ] && A || B
 - 条件表达式成立（为真）时，会取||前面的值A。
 - 条件表达式不成立（为假）时，会取||后面的值B。

awk也支持三元运算符，继承java的格式：

$NF、$ n~、 $n!~、$ n==、$n!=

含义说明：

 $NF         //代表最后一个字段
 
 ~ 表示包含，!~ 表示不包含，== 表示等于，!= 表示不等于
 
 $n> < ==      //用于对比数值
 $n~"字符串"    //代表第n个字段 包含 某个字符串的作用
 $n!~"字符串"   //代表第n个字段 不包含 某个字符串的作用
 $n=="字符串"   //代表第n个字段 为 某个字符串的作用
 $n!="字符串"   //代表第n个字段 不为 某个字符串的作用