sort
sort--排序
sort将文件的每一行作为一个单位相互比较,比较原则是从首字符向后依次按ASCII码进行比较,最后将它们按升序输出。(以行为单位来排序输出)
sort [选项] 参数
cat file | sort 选项
常用选项
| 选项 | 含义 |
|---|---|
| -n | 按照数字进行排序(默认升序) |
| -r | 反向排序(倒序) |
| -u | 等同于uniq,表示相同的数据仅显示一行 |
| -t | 指定字段分隔符,默认使用Tab键分隔 |
| -k | 指定排序字段(不指定则默认第一个字段) |
| -f | 忽略大小写,会将小写字母都转换为大写字母来进行比较 |
| -b | 忽略每行前面的空格 |
| -o<输出文件> | 将排序后的结果转存到指定文件中 |
示例:
-r倒叙;-n升序
-u去重
-t指定分隔符;-k指定对第几个字段进行排序
uniq
uniq--去重
uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用。
nuiq [选项] 参数
cat file | uniq 选项
常用选项
| 选项 | 含义 |
|---|---|
| -c | 统计连续重复的行的次数,并且合并重复的行 |
| -u | 显示仅出现一次的行(包括不连续的重复行) |
| -d | 仅显示重复出现的行(必须是连续的重复行) |
示例:
tr
tr--删除,替换,压缩
tr命令常用来对来自标准输入的字符进行替换、压缩和删除。
cat file | tr [选项] 参数
常用选项
| 选项 | 含义 |
|---|---|
| -c | 保留字符集1的字符,其他字符包括换行符\n用字符集2替换 |
| -d | 删除所有属于字符集1的字符 |
| -s | 将连续重复的字符串压缩成一个 |
| -t | 字符集2 替换 字符集1,不加选项效果相同 |
| 参数 | 含义 |
|---|---|
| 字符集1 | 指定要转换或删除的原字符集。当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时,不需要参数“字符集2” |
| 字符集2 | 指定要转换成的目标字符集 |
示例:
实例:
生成8位随机码
分行输出环境变量PATH中包含的所有目录
过滤出文件中的非空行
cut
cut--截取字段或字符串
用于显示行中的指定部分,删除文件中指定字段。
cut [选项] 参数
常用选项
| 标题 | |
|---|---|
| -d | 指定分隔符(默认分隔符为Tab) |
| -f n | 按字段进行截取。指定第n个字段;1-3表示从第1个字段到第3个字段;1,3,5表示第1、第3、第5个字段 |
| -b | 以字节为单位进行截取 |
| -c | 以字符为单位进行截取 |
| -complement | 排除所指定的字段 |
| -output-delimiter | 更改输出内容的分隔符 |
截取字符串的方法
${a:起始下标值:截取长度}
echo $a | cut -c 1-3
expr substr $a 1 3
echo
echo--输出
echo 命令主要用来显示字符串信息。
echo [选项] 字符串
常用选项
| 选项 | 含义 |
|---|---|
| -n | 表示不换行输出 |
| -e | 表示输出转义符(字符串需加引号,转义符才生效) |
常见转义符(需结合-e使用,字符串需加引号)
| 标题 | 含义 |
|---|---|
| \n | 插入换行符,输出换行 |
| \r | 光标移至行首,并且不换行 |
| \s | 当前shell的名称,如bash |
| \t | 插入Tab键(即制表符) |
| \f | 换行,但光标仍停留在原处 |
| \\ | 表示插入\本身 |
| \b | 插入退格键,表示退格,不显示前一个字符 |
| \c | 抑制更多的输出或不换行 |
示例:
split
aplit--拆分文件
split命令用于在Linux下将大文件拆分为若干小文件。
split 选项 参数 原始文件 拆分后的文件名前缀
常用选项
| 选项 | 含义 |
|---|---|
| -l | 指定行数 |
| -b | 指定大小 |
eval
eval--扫描命令两次
命令字前加上eval,shell会在执行命令之前扫描它两次,eval命令首先会先扫描命令行进行所有的置换,然后再执行命令,该命令适用于那些一次扫描无法实现功能的变量,该命令会对变量进行两次扫描。
正则表达式
所谓正则表达式,实际上就是用来描述某些字符串匹配规则的工具。在进行程序设计的过程中,用户会不可避免地遇到处理某些文本的情况。有的时候,用户还需要查找符合某些比较复杂规则的字符串。对于这些情况,如果单纯依靠程序设计语言本身,则往往会使得用户通过复杂的代码来来实现。但是,如果使用正则表达式,则会以非常简短的代码来完成。
正则表达式是用来匹配文化部中字符串的方法,他先将整个文本分成一行一行的字符串 ,接着从字符串里搜索是否有符合正则表达式的字符串,如果有则匹配成功。
一般来说grep、awk 、sed 、vim等都支持正则表达式;ls 、find 、cp等不支持。
正则表达式是由普通字符与元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号;
元字符是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符或表达式)在目标对象中的出现模式。
常见元字符
| 字符 | 含义 |
|---|---|
| \ | 转义字符,用于取消特殊符号的含义 |
| ^ | 匹配字符串开始的位置 |
| $ | 匹配字符串结束的位置 |
| . | 匹配除\n之外的任意一个字符 |
| * | 匹配前面的表达式0次或多次 |
| [list] | 匹配list列表中的一个字符 |
| [^list] | 匹配任意非list列表中的一个字符 |
| \{n\} | 匹配前面的子表达式n次 |
| \{n,\} | 匹配前面的子表达式不少于n次 |
| \{n,m\} | 匹配前面的子表达式n到m次 |
| \w | 匹配包括下划线的任何单词字符 |
| \W | 匹配任何非单词字符 |
| \d | 匹配一个数字字符 |
| \D | 匹配一个非数字字符 |
| \s | 空白符 |
| \S | 非空白符 |
| \n | 换行符 |
| \t | 制表符 |
| \r | 回车符 |
几个常用的转义字符
| 符号 | 含义(转换为普通字符) |
|---|---|
| ! | 取反 |
| & | 后台运行 |
| $ | 引用变量 |
| | | 或 |
egrep,awk在使用{n}、{n,}、{n,m}时,括号{}前不需要加反斜杠\。如果加了\,反而失去效果。grep -E等同于egrep。
扩展元字符(支持egrep、 awk、 grep-E、 sed -r)
| 符号 | 含义 | 例 |
|---|---|---|
| + | 匹配前面的字符一次或多次 | mo+n,匹配至少一个o,mon,moon,mooon |
| ? | 匹配前面的一个字符零次或一次 | mo?n,匹配mon或mn |
| | | 表示或的意思 | m{o|a}n,将匹配mon或man |
| ( ) | 会将括号里的字符串看成一个整体 | m(oo)n,将匹配oo整体一次以上,moon,moooon |
实例:
匹配电话号码
匹配电子邮箱