Linux中常用的文本处理命令(echo、sort、uniq、tr、cut、split、eval)

121 阅读3分钟

sort命令

sort命令---以行为单位对文件内容进行排序,也可以根据不同的数据类型来排序比较原则是从首字符向后,依次按AscII码值进行比较,最后将他们按升序输出。

语法格式:

sort[选项]参数

cat file | sort 选项

常用选项:

-n:按照数字进行排序

-r:反向排序

-u:等同于uniq.表示相同的数据仅显示一行

-t:指定字段分隔符,默认使用[Tab]键分隔

-k:指定排序字段

-o<输出文件>:将排序后的结果转存至指定文件

-f:忽略大小写,会将小写字母都转换为大写字母来进行比较

-b:忽略每行前面的空格

首字符排序 20220904191920.png

加-n 20220904192044.png

去除连续的行内容 20220904192225.png

20220904193334.png

20220904193138.png

20220904193721.png

uniq命令

用于报告或者忽略文件中连续的重复行,常与 sort命令结合使用

语法格式:

uniq[选项]参数

cat file | uniq选项

常用选项:

-c:进行计数,并删除文件中重复出现的行

-d:仅显示连续的重复行

-u:仅显示出现一次的行

20220904194222.png

在log/secure文件,可以过滤所有fail passwd的信息,使用sort -n把ip地址进行过滤,uniq -c 去重并计数,ip地址失败的次数。 提取出攻击的IP地址,写入etc/hosts.deny文件中禁掉。

20220904194510.png

使用ssh命令 20220904195315.png

20220904195356.png

过滤错误信息 20220904195931.png

20220904200338.png

20220904200338.png

20220904200758.png

20220904200958.png

20220904201649.png

20220904201853.png

20220904202346.png

tr命令

常用来对来自标准输入的字符进行替换、压缩和删除

语法格式:

tr[选项][参数]

常用选项:

-c:保留字符集1的字符,其他的字符(包括换行符\n)用字符集2替换

-d:删除所有属于字符集1的字符

-s:将重复出现的字符串压缩为一个字符;用字符集2替换字符集1

-t:字符集2替换字符集1,不加选项同结果。

参数:

字符集1:指定要转换或删除的原字符集。当执行转换操作时,必须使用参数"字符集2"指定转换的目标字符集。但执行删除操作时,不需要参数字符集2";

字符集2:指定要转换成的目标字符集。

20220904203820.png

tr命令可以替换所有匹配的字符 20220904204047.png

20220904204515.png

-e用法 20220904205145.png

20220904205426.png

20220904205824.png

-s用法 20220904210508.png

删除空行 20220904211433.png

20220904211433.png

20220904211846.png

结合数组进行排序 20220904212634.png

20220904212939.png

cut命令

显示行中的指定部分,删除文件中指定字段

语法格式:

cut参数

catfile | cut选项

常用选项:

-f :通过指定哪一个字段进行提取。cut命令使用"TAB“作为默认的字段分隔符。

-d : “TAB”是欧认的分隔符,使用此选项可以更改为其他的分隔符。

--complement :此选项用于排除所指定的字段。

--output-delimiter :更改输出内容的分隔符。

20220904213749.png

20220904214549.png

截取字符串

20220905091443.png

split命令

linux下将一个大的文件拆分成若干小文件

语法格式:

split 选项 参数 原始文件 拆分后 文件名 前缀

常用选项:

-l:以行数拆分

-b :以大小拆分

paste命令---用于合并文件的列

paste [-s] [-d<间隔字符>]文件...

-d<间隔字符>:用指定的间隔字符取代制表符

-s :把多行内容合并为一行进行显示

20220904220601.png

合并文件用法

20220904221518.png

20220904221613.png

20220904222059.png

20220904222734.png

实现将a文件前两列合并

20220904222750.png

cut命令指定分隔符空格,指定1,2两列,指定文件名,输入至c文件,用paste命令合并b,c文件

20220904222759.png

-d指定分隔符 20220904223805.png

-s多列内容合并为一行 20220904224050.png

eval命令

命令字前加上eval时,shell会在执行命令之前扫描它两次。eval命令将首先会先扫描命令行进行所有的置换,然后再执行该命令。该命令适用乎那些一次扫描无法实现其动能的变量。该命令对变量进行两次扫描。

eval在执行命令前会把命令中$xxxx转换成相对应的值后,再执行命令

实例1:

20220905194512.png

实例2:

20220905195001.png

20220905204410.png

实例3:

20220905204842.png