sort命令--排序
sort将文件的每一行作为一个单位相互比较,比较原则是从首字符向后依次按ASCII码进行比较,最后将它们按升序输出
语法格式
sort + 选项 + 参数
常用选项
- -n :按照数字进行排序
- -r:反向排序
- -u:等于uniq,表示相同的数据仅显示一行
- -t:指定字段分隔符,默认使用[Tab]键分隔
- -k:指定排序字段
- -o:<输出文件>:将排序后的结果转存至指定文件
- -f:忽略大小写,会将小写字母都转换为大写字母来进行比较
- -b:忽略每行前面的空格
例:
- 不加任何选项,默认首字母排序
2.-n,按照数字排序,默认升序
3.-r,首字倒序排列,-nr,按数字倒序排列
4.-u,合并重复行,相同数据只显示一行
5.-t指定分隔符,-k,指定对第几个地段进行排序
6.-o:<输出文件>:将排序后的结果转存至指定文件
uniq命令--去重
uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用
语法格式 uniq + 选项 + 参数
常用选项
-
-c 统计连续重复的行的次数,并且合并重复的行
-
-u 显示仅出现一次的行(包括不连续的重复行)
-
-d 仅显示重复出现的行(必须是连续的重复行)
例 1.uniq不加选项,只会对连续的重复行去重
2.uniq -c,显示连续重复行出现的次数,并合并重复行
3.uniq -c,与sort命令结合,统计相同行重复出现的次数,合并重复行,包括不连续的重复行
4.uniq -u,显示仅出现过一次的行(但包括不连续的重复行)
5.uniq -u,与sort命令结合,显示真正仅出现过一次的行。
tr命令--删除,压缩,替换
tr命令常用来对来自标准输入的字符进行替换、压缩和删除
常用选项
- -c 保留字符集1的字符,其他字符包括换行符\n用字符集2替换
- -d 删除所有属于字符集1的字符
- -s 将连续重复的字符串压缩成一个
- -t 字符集2 替换 字符集1,不加选项效果相同
例1.
2.- -c 保留字符集1的字符,其他字符包括换行符\n用字符集2替换
3.-d 删除所有属于字符集1的字符
4. -s 将连续重复的字符串压缩成一个
过滤非空行
- 使用tr命令删除文件中的空行(即压缩换行符)
2.使用grep命令过滤非空行
cut命令--截取字符串或命令
用于显示行中的指定部分,删除文件中指定字段
常用选项
- -d指定分隔符(默认分隔符为Tab)
- -f n按字段进行截取。指定第n个字段;1-3表示从第1个字段到第3个字段;1,4,7表示第1、第4、第7个字段
- -b以字节为单位进行截取
- -c以字符为单位进行截取
- –complement排除所指定的字段
- –output-delimiter更改输出内容的分隔符
例: 1.-d 指定分隔符,-f 按字段进行截取
2.–output-delimiter,更改输出内容的分隔符
3.–complement排除所指定的字段
截取字符串的方法
split命令--拆分文件
常用选项
- -l 指定行数
- -d 指定大小
paste命令
合并文件的列
eval命令--扫描命令2次
命令字前加上eval,shell会在执行命令之前扫描它两次,eval命令首先会先扫描命令行进行所有的置换,然后再执行命令,该命令适用于那些一次扫描无法实现功能的变量,该命令会对变量进行两次扫描
例: