linux中常用的文本处理命令(sort,uniq,tr,cut,spilt,paste,eval )

331 阅读3分钟

sort命令--排序

sort将文件的每一行作为一个单位相互比较,比较原则是从首字符向后依次按ASCII码进行比较,最后将它们按升序输出

语法格式

sort + 选项 + 参数

常用选项

  • -n :按照数字进行排序
  • -r:反向排序
  • -u:等于uniq,表示相同的数据仅显示一行
  • -t:指定字段分隔符,默认使用[Tab]键分隔
  • -k:指定排序字段
  • -o:<输出文件>:将排序后的结果转存至指定文件
  • -f:忽略大小写,会将小写字母都转换为大写字母来进行比较
  • -b:忽略每行前面的空格

例:

  1. 不加任何选项,默认首字母排序

image.png

2.-n,按照数字排序,默认升序

image.png

3.-r,首字倒序排列,-nr,按数字倒序排列

image.png 4.-u,合并重复行,相同数据只显示一行

image.png

5.-t指定分隔符,-k,指定对第几个地段进行排序

image.png

6.-o:<输出文件>:将排序后的结果转存至指定文件

image.png

uniq命令--去重

uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用

语法格式 uniq + 选项 + 参数

常用选项

  • -c 统计连续重复的行的次数,并且合并重复的行

  • -u 显示仅出现一次的行(包括不连续的重复行)

  • -d 仅显示重复出现的行(必须是连续的重复行)

例 1.uniq不加选项,只会对连续的重复行去重

image.png

2.uniq -c,显示连续重复行出现的次数,并合并重复行

image.png

3.uniq -c,与sort命令结合,统计相同行重复出现的次数,合并重复行,包括不连续的重复行

image.png

4.uniq -u,显示仅出现过一次的行(但包括不连续的重复行)

image.png 5.uniq -u,与sort命令结合,显示真正仅出现过一次的行。

image.png

tr命令--删除,压缩,替换

tr命令常用来对来自标准输入的字符进行替换、压缩和删除

常用选项

  • -c 保留字符集1的字符,其他字符包括换行符\n用字符集2替换
  • -d 删除所有属于字符集1的字符
  • -s 将连续重复的字符串压缩成一个
  • -t 字符集2 替换 字符集1,不加选项效果相同

例1.

image.png

2.- -c 保留字符集1的字符,其他字符包括换行符\n用字符集2替换

image.png 3.-d 删除所有属于字符集1的字符

image.png 4. -s 将连续重复的字符串压缩成一个

image.png

过滤非空行

  1. 使用tr命令删除文件中的空行(即压缩换行符)

image.png 2.使用grep命令过滤非空行

image.png

cut命令--截取字符串或命令

用于显示行中的指定部分,删除文件中指定字段

常用选项

  • -d指定分隔符(默认分隔符为Tab)
  • -f n按字段进行截取。指定第n个字段;1-3表示从第1个字段到第3个字段;1,4,7表示第1、第4、第7个字段
  • -b以字节为单位进行截取
  • -c以字符为单位进行截取
  • –complement排除所指定的字段
  • –output-delimiter更改输出内容的分隔符

例: 1.-d 指定分隔符,-f 按字段进行截取

image.png

2.–output-delimiter,更改输出内容的分隔符

image.png 3.–complement排除所指定的字段 image.png

截取字符串的方法

image.png

split命令--拆分文件

常用选项

  • -l 指定行数
  • -d 指定大小

image.png

paste命令

合并文件的列

image.png

eval命令--扫描命令2次

命令字前加上eval,shell会在执行命令之前扫描它两次,eval命令首先会先扫描命令行进行所有的置换,然后再执行命令,该命令适用于那些一次扫描无法实现功能的变量,该命令会对变量进行两次扫描

例:

image.png