文本三剑客

钟情
143 阅读4分钟

对于接触过Linux操作系统的人来说，应该都听过说Linux中的文本三剑客，即awk、grep、sed，也是必须要掌握的Linux命令之一，三者都是用来处理文本的，但侧重点各不相同。

grep

grep能使用正则表达式搜索文本，并把匹配的行打印出来，grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
grep可以用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2，可以利用这些返回值，进行一些自动化的文本处理工作
格式：
grep [选项]… 查找条件 目标文件

  • -i：查找时忽略大小写
  • -v：反向查找，输出与查找条件不相符的行
  • -o 只显示匹配项
  • -f 对比两个文件的相同行
  • -c 匹配的行数

选项拓展
-color=auto 对匹配到的文本着色显示
-m  # 匹配#次后停止
grep -m 1 root /etc/passwd #多个匹配只取第一个
-v 显示不被pattern匹配到的行,即取反
grep -Ev '^[[:space:]]*#|^$' /etc/fstab
-i 忽略字符大小写
-n 显示匹配的行号
-c 统计匹配的行数
grep -c root /etc/passwd #统计匹配到的行数
-o 仅显示匹配到的字符串
-q 静默模式，不输出任何信息
-A # after, 后#行
grep -A3 root /etc/passwd #匹配到的行后3行业显示出来
-B # before, 前#行
-C # context, 前后各#行
-e 实现多个选项间的逻辑or关系,如：grep –e ‘cat ' -e ‘dog' file
grep -e root -e bash /etc/passwd #包含root或者包含bash 的行
grep -E root|bash /etc/passwd
-w 匹配整个单词
grep -w root /etc/passwd
useradd rooter
-E 使用ERE，相当于egrep
-F 不支持正则表达式，相当于fgrep
-f file 根据模式文件，处理两个文件相同内容 把第一个文件作为匹配条件
-r   递归目录，但不处理软链接
-R   递归目录，但处理软链接

实例：
cat 123.txt |grep -v '^$' >test.txt ，将非空行写入到test.txt文件
image.png
过滤以3开头的行打印出来 image.png

过滤以/结尾的行打印出来 image.png
过滤出网卡配置文件里的数字段，且只显示数字 image.png

awk

awk是一种编程语言，用于在Linux/Unix下对文本和数据进行处理，数据可以来自标准输入、一个或多个文件，或其他命令的输出，它支持用户自定义函数和动态正则表达式等先进功能，是Linux/Unix下的一个强大编程工具逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。而awk比较倾向于将一行分成多个字段然后进行处理。AWK信息的读入也是逐行指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。
工作原理：
awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。
格式
awk 选项 模式 处理的动作
-F 指定分隔符
-v 自定义变量
-f 脚本
awk 常见的内置变量

  • FS :指定每行文本的字段分隔符，缺省为空格或制表符（tab）。与 “-F”作用相同 -v "FS=:"
  • OFS：输出时的分隔符
  • NF：当前处理的行的字段个数
  • NR：当前处理的行的行号（序数）
  • $0：当前处理的行的整行内容
  • $n：当前处理行的第n个字段（第n列）
  • FILENAME:被处理的文件名
  • RS：行分隔符。awk从文件上读取资料时，将根据RS的定义就把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是\n 实例：
    打印root 多少行=passwd里的行数 image.png
    分区利用率 image.png

UID大于1000的用户
image.png

sed

sed 即 Stream EDitor，和 vi 不同，sed是一种流编辑器，一次处理一行内容，把当前处理的行存储在临时缓冲区中，称为模式空间，接着用sed命令来处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
接着处理下一行，这样不断重复，直到文件末尾。一次处理一行的设计模式使得sed性能很高，sed在读取大文件时不会出现卡顿的现象。如果使用vi命令打开几十M上百M的文件，明显会出现有卡顿的现象，这是因为vi命令打开文件是一次性将文件加载到内存，然后再打开。Sed就避免了这种情况，一行一行的处理，打开速度非常快，执行速度也很快
格式：
sed [option]... 'script;script;...' [input file...]
常用选项：
-n 不输出模式空间内容到屏幕，即不自动打印
-e 多点编辑[root@www data]#sed -n -e '/^r/p' -e'/^b/p' /etc/passwd
-f FILE 从指定文件中读取编辑脚本
-r, -E 使用扩展正则表达式
-i.bak 备份文件并原处编辑
-s  将多个文件视为独立文件，而不是单个连续的长文件流
s/pattern/string/修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
替换修饰符：
g 行内全局替换
p 显示替换成功的行
w   /PATH/FILE 将替换成功的行保存至文件中
I,i   忽略大小写
实例：
直接打印第三行 image.png
直接打印第二行

image.png
将包含root的行打印出来 /root(需要匹配的内容)/p(打印) 文件名 image.png
第二行后追加hehe image.png

avatar
文章
阅读
粉丝