sort命令
sort命令---以行为单位对文件内容进行排序,也可以根据不同的数据类型来排序比较原则是从首字符向后,依次按AscII码值进行比较,最后将他们按升序输出。
语法格式:
sort[选项]参数
cat file | sort 选项
常用选项:
-n:按照数字进行排序
-r:反向排序
-u:等同于uniq.表示相同的数据仅显示一行
-t:指定字段分隔符,默认使用[Tab]键分隔
-k:指定排序字段
-o<输出文件>:将排序后的结果转存至指定文件
-f:忽略大小写,会将小写字母都转换为大写字母来进行比较
-b:忽略每行前面的空格
首字符排序
加-n
去除连续的行内容
uniq命令
用于报告或者忽略文件中连续的重复行,常与 sort命令结合使用
语法格式:
uniq[选项]参数
cat file | uniq选项
常用选项:
-c:进行计数,并删除文件中重复出现的行
-d:仅显示连续的重复行
-u:仅显示出现一次的行
在log/secure文件,可以过滤所有fail passwd的信息,使用sort -n把ip地址进行过滤,uniq -c 去重并计数,ip地址失败的次数。 提取出攻击的IP地址,写入etc/hosts.deny文件中禁掉。
使用ssh命令
过滤错误信息
tr命令
常用来对来自标准输入的字符进行替换、压缩和删除
语法格式:
tr[选项][参数]
常用选项:
-c:保留字符集1的字符,其他的字符(包括换行符\n)用字符集2替换
-d:删除所有属于字符集1的字符
-s:将重复出现的字符串压缩为一个字符;用字符集2替换字符集1
-t:字符集2替换字符集1,不加选项同结果。
参数:
字符集1:指定要转换或删除的原字符集。当执行转换操作时,必须使用参数"字符集2"指定转换的目标字符集。但执行删除操作时,不需要参数字符集2";
字符集2:指定要转换成的目标字符集。
tr命令可以替换所有匹配的字符
-e用法
-s用法
删除空行
结合数组进行排序
cut命令
显示行中的指定部分,删除文件中指定字段
语法格式:
cut参数
catfile | cut选项
常用选项:
-f :通过指定哪一个字段进行提取。cut命令使用"TAB“作为默认的字段分隔符。
-d : “TAB”是欧认的分隔符,使用此选项可以更改为其他的分隔符。
--complement :此选项用于排除所指定的字段。
--output-delimiter :更改输出内容的分隔符。
截取字符串
split命令
linux下将一个大的文件拆分成若干小文件
语法格式:
split 选项 参数 原始文件 拆分后 文件名 前缀
常用选项:
-l:以行数拆分
-b :以大小拆分
paste命令---用于合并文件的列
paste [-s] [-d<间隔字符>]文件...
-d<间隔字符>:用指定的间隔字符取代制表符
-s :把多行内容合并为一行进行显示
合并文件用法
实现将a文件前两列合并
cut命令指定分隔符空格,指定1,2两列,指定文件名,输入至c文件,用paste命令合并b,c文件
-d指定分隔符
-s多列内容合并为一行
eval命令
命令字前加上eval时,shell会在执行命令之前扫描它两次。eval命令将首先会先扫描命令行进行所有的置换,然后再执行该命令。该命令适用乎那些一次扫描无法实现其动能的变量。该命令对变量进行两次扫描。
eval在执行命令前会把命令中$xxxx转换成相对应的值后,再执行命令
实例1:
实例2:
实例3: