shell的文本处理命令与正则表达式

108 阅读4分钟

文本处理命令

echo

echo 命令主要用来显示字符串信息。

echo [选项] 字符串

  • echo -n 表示不换行输出

  • echo -e 表示输出转义符(字符串必须加引号,转义符才生效)

选项作用
\n插入换行符,输出换行
\r光标移至行首,并且不换行
\s当前shell的名称,如bash
\t插入Tab键(即制表符)
\f换行,但光标仍停留在原处
\ \表示插入\本身
\b插入退格键,表示退格,不显示前一个字符
\c抑制更多的输出或不换行

image.png

sort

sort将文件的每一行作为一个单位相互比较,比较原则是从首字符向后依次按ASCII码进行比较,最后将它们按升序输出。(以行为单位来排序输出)

  • sort [选项] 参数
  • cat file | sort 选项
常用选项作用
-n按照数字进行排序(默认升序)
-r反向排序(倒序)
-u等同于uniq,表示相同的数据仅显示一行
-t指定字段分隔符,默认使用Tab键分隔
-k指定排序字段(不指定则默认第一个字段)
-f忽略大小写,会将小写字母都转换为大写字母来进行比较
-b忽略每行前面的空格
-o <输出文件>将排序后的结果转存到指定文件中

image.png

image.png

uniq

uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用。

  • uniq [选项] 参数
  • cat file | uniq 选项
常用选项作用
-c统计连续重复的行的次数,并且合并重复的行
-u显示仅出现一次的行(包括不连续的重复行)
-d仅显示重复出现的行(必须是连续的重复行)

image.png

tr

tr命令常用来对来自标准输入的字符进行替换、压缩和删除。

cat file | tr [选项] 参数

选项作用
-c保留字符集1的字符,其他字符包括换行符\n用字符集2替换
-d删除所有属于字符集1的字符
-s将连续重复的字符串压缩成一个
-t字符集2 替换 字符集1,不加选项效果相同

image.png

cut

用于显示行中的指定部分,删除文件中指定字段。

  • cut [选项] 参数
  • cat file | cut [选项] 参数
选项作用
-d指定分隔符(默认分隔符为Tab)
-f n按字段进行截取。指定第n个字段;1-3表示从第1个字段到第3个字段;1,4,7表示第1、第4、第7个字段
-b以字节为单位进行截取
-c以字符为单位进行截取
–complement排除所指定的字段
–output-delimiter更改输出内容的分隔符

正则表达式

REGEXP: Regular Expressions,由一类特殊字符及文本字符所编写的模式,其中有些字符(元字符)不表示字符字面意义,而表示控制或通配的功能,类似于增强版的通配符功能。 正则表达式被很多程序和开发语言所广泛支持:vim、less、grep、sed、awk、nginx、mysql 等,主要用来匹配字符串(命令结果,文本内容)。

正则表达式—通常用于判断语句中,用来检查某一字符串是否满足某一格式。

正则表达式是由普通字符与元字符组成:

  • 普通字符 包括大小写字母、数字、标点符号及一些其他符号。
  • 元字符 是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符或表达式)在目标对象中的出现模式。

基础元字符

元字符含义
\转义字符,用于取消特殊符号的含义
匹配字符串开始的位置
$匹配字符串结束的位置
.匹配除\n之外的任意的一个字符,有且仅有一个
*匹配前面子表达式0次或者多次
[list]匹配list列表中的一个字符
[^list]匹配任意非list列表中的一个字符
[[:alpha:]]代表任意一个大小写英文字母
[:[:digit:]]代表任意一个十进制数字
[[:alnum:]]代表任意一个大小写英文字母及数字
\ {n\ }匹配前面的子表达式n次
\ {n,\ }匹配前面的子表达式不少于n次
\ {n,m\ }匹配前面的子表达式n到m次

转义字符\

\ 可以把一些特殊的符号转换成普通的符号字符,还可以把一些普通字符转换成特殊功能。

表达式含义
\ &单个&代表后台运行
|单个 l 代表“或”
!单个 ! 代表取反
=单个=代表复制或者字符判断
$单个$代表引用变量
\n转换后是换行符
\t转换后是制表符
\r转换后是回车符
\w匹配包括下划线的任何单词字符
\W匹配任何非单词字符
\d匹配一个数字字符
\D匹配一个非数字字符
\s空白符
\S非空白符

image.png

扩展正则表达式元字符

元字符含义
+匹配前面子表达式1次及以上,例: go+d,将匹配至少一个o,如god、good、 goood等
?匹配前面子表达式0次或者1次,例: go?d,将匹配gd或god
()将括号中的字符串作为一个整体,例1: g(0o)+d,将匹配oo整体1次以上,如good、gooood等
以"或"的方式匹配字符串

image.png