linux文本处理命令-sort;uniq;tr;cut;echo;split;eval;正则

370 阅读4分钟

sort

sort--排序
sort将文件的每一行作为一个单位相互比较,比较原则是从首字符向后依次按ASCII码进行比较,最后将它们按升序输出。(以行为单位来排序输出)

sort [选项] 参数
cat file | sort 选项

常用选项

选项含义
-n按照数字进行排序(默认升序)
-r反向排序(倒序)
-u等同于uniq,表示相同的数据仅显示一行
-t指定字段分隔符,默认使用Tab键分隔
-k指定排序字段(不指定则默认第一个字段)
-f忽略大小写,会将小写字母都转换为大写字母来进行比较
-b忽略每行前面的空格
-o<输出文件>将排序后的结果转存到指定文件中

示例: Snipaste_2022-09-12_14-31-51.png

-r倒叙;-n升序 Snipaste_2022-09-12_14-34-55.png

-u去重 Snipaste_2022-09-12_14-36-59.png

-t指定分隔符;-k指定对第几个字段进行排序 Snipaste_2022-09-12_14-39-28.png

uniq

uniq--去重
uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用。

nuiq [选项] 参数
cat file | uniq 选项

常用选项

选项含义
-c统计连续重复的行的次数,并且合并重复的行
-u显示仅出现一次的行(包括不连续的重复行)
-d仅显示重复出现的行(必须是连续的重复行)

示例:

Snipaste_2022-09-12_15-28-04.png

tr

tr--删除,替换,压缩
tr命令常用来对来自标准输入的字符进行替换、压缩和删除。

cat file | tr [选项] 参数

常用选项

选项含义
-c保留字符集1的字符,其他字符包括换行符\n用字符集2替换
-d删除所有属于字符集1的字符
-s将连续重复的字符串压缩成一个
-t字符集2 替换 字符集1,不加选项效果相同
参数含义
字符集1指定要转换或删除的原字符集。当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时,不需要参数“字符集2”
字符集2指定要转换成的目标字符集

示例:

Snipaste_2022-09-12_15-32-18.png

Snipaste_2022-09-12_15-35-25.png

Snipaste_2022-09-12_15-45-01.png

实例:

生成8位随机码

Snipaste_2022-09-12_15-48-32.png

分行输出环境变量PATH中包含的所有目录

Snipaste_2022-09-12_15-49-51.png

过滤出文件中的非空行

Snipaste_2022-09-12_15-51-47.png

cut

cut--截取字段或字符串
用于显示行中的指定部分,删除文件中指定字段。

cut [选项] 参数

常用选项

标题
-d指定分隔符(默认分隔符为Tab)
-f n按字段进行截取。指定第n个字段;1-3表示从第1个字段到第3个字段;1,3,5表示第1、第3、第5个字段
-b以字节为单位进行截取
-c以字符为单位进行截取
-complement排除所指定的字段
-output-delimiter更改输出内容的分隔符

Snipaste_2022-09-12_19-55-10.png

截取字符串的方法

${a:起始下标值:截取长度}
echo $a | cut -c 1-3
expr substr $a 1 3

Snipaste_2022-09-12_20-01-01.png

echo

echo--输出
echo 命令主要用来显示字符串信息。

echo [选项] 字符串

常用选项

选项含义
-n表示不换行输出
-e表示输出转义符(字符串需加引号,转义符才生效)

常见转义符(需结合-e使用,字符串需加引号)

标题含义
\n插入换行符,输出换行
\r光标移至行首,并且不换行
\s当前shell的名称,如bash
\t插入Tab键(即制表符)
\f换行,但光标仍停留在原处
\\表示插入\本身
\b插入退格键,表示退格,不显示前一个字符
\c抑制更多的输出或不换行

示例:

Snipaste_2022-09-12_15-17-19.png

split

aplit--拆分文件
split命令用于在Linux下将大文件拆分为若干小文件。

split 选项 参数 原始文件 拆分后的文件名前缀

常用选项

选项含义
-l指定行数
-b指定大小

Snipaste_2022-09-12_19-45-01.png

eval

eval--扫描命令两次
命令字前加上eval,shell会在执行命令之前扫描它两次,eval命令首先会先扫描命令行进行所有的置换,然后再执行命令,该命令适用于那些一次扫描无法实现功能的变量,该命令会对变量进行两次扫描。

Snipaste_2022-09-12_20-08-39.png

正则表达式

所谓正则表达式,实际上就是用来描述某些字符串匹配规则的工具。在进行程序设计的过程中,用户会不可避免地遇到处理某些文本的情况。有的时候,用户还需要查找符合某些比较复杂规则的字符串。对于这些情况,如果单纯依靠程序设计语言本身,则往往会使得用户通过复杂的代码来来实现。但是,如果使用正则表达式,则会以非常简短的代码来完成。
正则表达式是用来匹配文化部中字符串的方法,他先将整个文本分成一行一行的字符串 ,接着从字符串里搜索是否有符合正则表达式的字符串,如果有则匹配成功。
一般来说grepawksed 、vim等都支持正则表达式;ls 、find 、cp等不支持。

正则表达式是由普通字符元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号;
元字符是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符或表达式)在目标对象中的出现模式。

常见元字符

字符含义
\转义字符,用于取消特殊符号的含义
^匹配字符串开始的位置
$匹配字符串结束的位置
.匹配除\n之外的任意一个字符
*匹配前面的表达式0次或多次
[list]匹配list列表中的一个字符
[^list]匹配任意非list列表中的一个字符
\{n\}匹配前面的子表达式n次
\{n,\}匹配前面的子表达式不少于n次
\{n,m\}匹配前面的子表达式n到m次
\w匹配包括下划线的任何单词字符
\W匹配任何非单词字符
\d匹配一个数字字符
\D匹配一个非数字字符
\s空白符
\S非空白符
\n换行符
\t制表符
\r回车符

几个常用的转义字符

符号含义(转换为普通字符)
!取反
&后台运行
$引用变量
|

Snipaste_2022-09-12_21-18-07.png egrep,awk在使用{n}、{n,}、{n,m}时,括号{}前不需要加反斜杠\。如果加了\,反而失去效果。grep -E等同于egrep。

扩展元字符(支持egrep、 awk、 grep-E、 sed -r)

符号含义
+匹配前面的字符一次或多次mo+n,匹配至少一个o,mon,moon,mooon
?匹配前面的一个字符零次或一次mo?n,匹配mon或mn
|表示或的意思m{o|a}n,将匹配mon或man
( )会将括号里的字符串看成一个整体m(oo)n,将匹配oo整体一次以上,moon,moooon

Snipaste_2022-09-12_21-24-13.png

实例:

匹配电话号码

Snipaste_2022-09-12_21-42-28.png

匹配电子邮箱

Snipaste_2022-09-12_21-54-53.png