Bash 集合

筛选类型

grep = grep -G # Basic Regular Expression (BRE)
fgrep = grep -F # fixed text, ignoring meta-charachetrs
egrep = grep -E # Extended Regular Expression (ERE)
pgrep = grep -P # Perl Compatible Regular Expressions (PCRE)
rgrep = grep -r # recursive

筛选并计算空行数

grep -c "^$"

筛选且仅返回整数

grep -o '[0-9]*'
#or
grep -oP '\d'

筛选带一定位数的整数（例如3）

grep ‘[0-9]\{3\}’
# or
grep -E ‘[0-9]{3}’
# or
grep -P ‘\d{3}’

筛选仅IP地址

grep -Eo '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}'
# or
grep -Po '\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}'

筛选整个单词（例如 “target” ）

grep -w 'target'

#or using RE
grep '\btarget\b'

筛选匹配前后返回的行（例如“bbo”）

# return also 3 lines after match
grep -A 3 'bbo'

# return also 3 lines before match
grep -B 3 'bbo'

# return also 3 lines before and after match
grep -C 3 'bbo'

查找开始字符（例如“S”）

grep -o 'S.*'

单词中截取文本（例如 w1，w2 ）

grep -o -P '(?<=w1).*(?=w2)'

查找不包含单词的行（例如 bbo ）

grep -v bbo filename

查找不以某字符串开头的行（例如 # ）

grep -v '^#' file.txt

查找变量（例如 bbo="some strings" ）

grep "$boo" filename
#remember to quote the variable!

查找仅有一个或者第一个匹配（例如 bbo ）

grep -m 1 bbo filename

查找并返回匹配的行数（例如 bb ）

grep -c bbo filename

出现次数（例如一行出现3次则记为3次）

grep -o bbo filename |wc -l

区分大小写查找（例如 bbo/BBO/Bbo ）

grep -i "bbo" filename

匹配颜色标记（例如 bbo )

grep --color bbo filename

查找文件夹内所有文件（例如 bbo ）

grep -R bbo /path/to/directory
# or
grep -r bbo /path/to/directory

查找文件夹内所有文件，不输出文件名（例如 bbo ）

grep -rh bbo /path/to/directory

查找文件夹内所有文件，只输出匹配的文件名（例如 bbo ）

grep -rl bbo /path/to/directory

或查找（例如 A 或 B 或 C 或 D ）

grep 'A\|B\|C\|D'

与查找（例如 A 与 B ）

grep 'A.*B'

正则匹配任意字符（例如 ACB 或 AEB ）

grep 'A.B'

正则匹配一个确定或者不确定的字符（例如 color 或 colour ）

grep ‘colou?r’

在文件B中查找文件A的内容

grep -f fileA fileB

查找制表符

grep $'\t'

在一个变量中查找另一个变量

$echo "$long_str"|grep -q "$short_str"
if [ $? -eq 0 ]; then echo 'found'; fi
#grep -q will output 0 if match found
#remember to add space between []!

查找括号内的内容

grep -oP '\(\K[^\)]+'

数字字符范围查找（例如 AAEL0000-RA ）

grep -o -w "\w\{10\}\-R\w\{1\}"
# \w 文字字符 [0-9a-zA-Z_] \W 非文字字符

跳过文件目录（例如 bbo ）

grep -d skip 'bbo' /path/to/files/*

流编辑器

删除第一行

sed 1d filename

删除前100行（删除第1-100行）

sed 1,100d filename

删除带字符串的行(例如： bbo)

sed "/bbo/d" filename
- case insensitive:
sed "/bbo/Id" filename

删除第n个字符不等于值的行（例如第5个字符不等于2）

sed -E '/^.{5}[^2]/d'
#aaaa2aaa (you can stay)
#aaaa1aaa (delete!)

编辑内嵌（编辑并保存）

sed -i "/bbo/d" filename

使用变量（例如$i）时，请使用双引号" "

# e.g. add >$i to the first line (to make a bioinformatics FASTA file)
sed "1i >$i"
# notice the double quotes! in other examples, you can use a single quote, but here, no way!
# '1i' means insert to first line

同时使用环境变量和尾符号

# 使用反斜杠 $ 符，同时使用双引号来标记变量
sed -e "\$s/\$/\n+--$3-----+/"

删除空行

sed '/^\s*$/d'

# 或

sed '/^$/d'

删除最后一行

sed '$d'

删除文件的最后一个字符

sed -i '$ s/.$//' filename

文件头部添加字符（例如『[』）

sed -i '1s/^/[/' file

指定的行增加字符串（例如添加「 something 」到第1行和第3行）

sed -e '1isomething -e '3isomething'

添加字符串到文件的结尾（例如『]』）

sed '$s/$/]/' filename

添加新行到结尾

sed '$a\'

添加字符串到没一行（例如 bbo）

sed -e 's/^/bbo/' file

添加字符串到没一行的结尾（例如『}』）

sed -e 's/$/\}\]/' filename

每第n个字符添加 \n (例如每四个字符t添加 \n)

sed 's/.\{4\}/&\n/g'

使用分隔符和下一行连接/结合/合并文件。例如(用「,」去分割)

sed -s '$a,' *.json > all.json

替换(例如用 B 去替换 A)

sed 's/A/B/g' filename

使用通配符进行替换(例如 aaa = 开头的行替换成 aaa=/my/new/path)

sed "s/aaa=.*/aaa=\/my\/new\/path/g"

选择以字符串开头的行(例如 bbo)

sed -n '/^@S/p'

删除带有字符串的行

sed '/bbo/d' filename

打印/获取/截取一定范围内的行(例如500-5000之间)

sed -n 500,5000p filename

每 n 行打印一次

sed -n '0~3p' filename

# catch 0: start; 3: step

打印所有奇数行

sed -n '1~2p'

每隔三行打印一次，包括第一行

sed -n '1p;0~3p'

删除前导空格和制表符

sed -e 's/^[ \t]*//'
# Notice a whitespace before '\t'!!

只删除前导空格

sed 's/ *//'

# 注意'*'前的空格!!

删除结尾逗号

sed 's/,$//g'

在结尾添加一列

sed "s/$/\t$i/"
# $i 是你要添加的值

# 将文件名添加到文件的最后一列
for i in $(ls);do sed -i "s/$/\t$i/" $i;done

将文件的扩展名添加到最后一列

for i in T000086_1.02.n T000086_1.02.p;do sed "s/$/\t${i/*./}/" $i;done >T000086_1.02.np

删除换行符

sed ':a;N;$!ba;s/\n//g'

打印某一行(例如: 第 123 行)

sed -n -e '123p'

打印若干行(例如: 第 10 行到第 33 行)

sed -n '10,33p' <filename

改变分隔符

sed 's=/=\\/=g'

使用通配符替换 (例如: `A-1-e` 、 `A-2-e` 或者 `A-3-e` ....)

sed 's/A-.*-e//g' filename

删除文件的最后一个字符

sed '$ s/.$//'

在文件的指定位置插入字符(例如: AAAAAA—> AAA#AAA)

sed -r -e 's/^.{3}/&#/' file

Awk

设置 tab 为分隔符

awk -F $'\t'

设置 tab 为输出字段分隔符

awk -v OFS='\t'

传递变量

a=bbo;b=obb;
awk -v a="$a" -v b="$b" "$1==a && $10=b" filename

输出行号和每行的字符数

awk '{print NR,length($0);}' filename

输出列数

awk '{print NF}'

调整列输出顺序

awk '{print $2, $1}'

检查列中字符是否含有逗号（例如检查第一列）

awk '$1~/,/ {print}'

切割字符，并循环输出

awk '{split($2, a,",");for (i in a) print $1"\t"a[i]}' filename

在某个字符出现次数少于N次时，打印数据 (例如在 bbo 出现7次之后，停止输出数据)

awk -v N=7 '{print}/bbo/&& --N<=0 {exit}'

输出目录下所有为文件名和每个文件的最后一行

ls|xargs -n1 -I file awk '{s=$0};END{print FILENAME,s}' file

在列的前面加字符（例如在第三列前面加“chr”）

awk 'BEGIN{OFS="\t"}$3="chr"$3'

删除含有字符的行 (例如删除含有 bbo 的行)

awk '!/bbo/' file

删除最后一列

awk 'NF{NF-=1};1' file

NR 和 FNR 的用法

# 例如以下2个文件:
# fileA:
# a
# b
# c
# fileB:
# d
# e
awk 'print FILENAME, NR,FNR,$0}' fileA fileB
# fileA    1    1    a
# fileA    2    2    b
# fileA    3    3    c
# fileB    4    1    d
# fileB    5    2    e

逻辑与

# 比如下面这两个文件:
# 文件 A:
# 1    0
# 2    1
# 3    1
# 4    0
# 文件 B:
# 1    0
# 2    1
# 3    0
# 4    1

awk -v OFS='\t' 'NR=FNR{a[$1]=$2;next} NF {print $1,((a[$1]=$2)? $2:"0")}' fileA 文件 B
# 1    0
# 2    1
# 3    0
# 4    0

将文件中所有的数字进行四舍五入操作

awk '{while (match($0, /[0-9]+\[0-9]+/)){
    \printf "%s%.2f", substr($0,0,RSTART-1),substr($0,RSTART,RLENGTH)
    \$0=substr($0, RSTART+RLENGTH)
    \}
    \print
    \}'

给每一行编码/索引

awk '{printf("%s\t%s\n",NR,$0)}'

将列数据分解为行

#例如分开一下内容:
# David    cat,dog
# into
# David    cat
# David    dog

awk '{split($2,a,",");for(i in a)print $1"\t"a[i]}' file

# 详情介绍请点击这里:&emsp;http://stackoverflow.com/questions/33408762/bash-turning-single-comma-separated-column-into-multi-line-string

平均一个文件(每一行只能包含一个数字)

awk '{s+=$1}END{print s/NR}'

以字符串开始打印字段(例如 Linux)

awk '$1 ~ /^Linux/'

排序一行数字 (例如 1 40 35 12 23 --> 1 12 23 35 40)

awk ' {split( $0, a, "\t" ); asort( a ); for( i = 1; i <= length(a); i++ ) printf( "%s\t", a[i] ); printf( "\n" ); }'

减去之前的行值(column6，它等于column4减去最后一列5)

awk '{$6 = $4 - prev5; prev5 = $5; print;}'

Xargs

将选项卡设置为分隔符(默认:空格)

xargs -d\t

每行显示三个项目

echo 1 2 3 4 5 6| xargs -n 3
# 1 2 3
# 4 5 6

提示在执行之前

echo a b c |xargs -p -n 3

打印命令和输出

xargs -t abcd
# bin/echo abcd
# abcd

查找且删除

find . -name "*.html"|xargs rm

# when using a backtick
rm `find . -name "*.html"`

删除文件名中有空格的文件(例如「hello 2001」)

find . -name "*.c" -print0|xargs -0 rm -rf

显示限制

xargs --show-limits

从文件夹中移除文件

find . -name "*.bak" -print 0|xargs -0 -I {} mv {} ~/old

# or
find . -name "*.bak" -print 0|xargs -0 -I file mv file ~/old

将第100个文件移到另一个目录

ls |head -100|xargs -I {} mv {} d1

平行

time echo {1..5} |xargs -n 1 -P 5 sleep

# a lot faster than:
time echo {1..5} |xargs -n1 sleep

将所有文件从 A 复制到 B

find /dir/to/A -type f -name "*.py" -print 0| xargs -0 -r -I file cp -v -p file --target-directory=/path/to/B

# v: verbose|
# p: keep detail (e.g. owner)

sed 相关

ls |xargs -n1 -I file sed -i '/^Pos/d' filename

在文件的第一行增加文件的名称

ls |sed 's/.txt//g'|xargs -n1 -I file sed -i -e '1 i\>file\' file.txt

统计所有的文件

ls |xargs -n1 wc -l

将输出变成一行

ls -l| xargs

对目录中的文件进行统计

echo mso{1..8}|xargs -n1 bash -c 'echo -n "$1:"; ls -la "$1"| grep -w 74 |wc -l' --
# "--" 信号选项结束，并进一步进行选项的处理

计算所有文件中的行数，也统计总行数。

ls|xargs wc -l

Xargs 以及 grep 命令

cat grep_list |xargs -I{} grep {} filename

Xargs 和 sed 命令 (将所有旧的 ip 地址替换成在 etc 文件下面新的 ip 地址)

grep -rl '192.168.1.111' /etc | xargs sed -i 's/192.168.1.111/192.168.2.111/g'

Find（查询）

列出当前目录中的所有子目录/文件

find .

列出当前目录下的所有文件

find . -type f

列出当前文件下的所有目录

find . -type d

编辑当前目录下的所有文件（例如，将“www”替换为“ww”）

find . -name '*.php' -exec sed -i 's/www/w/g' {} \;

# 如果没有子目录
replace "www" "w" -- *
# a space before *

查询文件并打印文件名（例如 “mso”）

find mso*/ -name M* -printf "%f\n"

查找并删除文件大小小于（例如74字节）的文件

find . -name "*.mso" -size -74c -delete

# M 代表 MB, 等等

Condition and loop (条件与循环)

If 语句

# 使用 if 和 else 来进行条件判断 
if [[ "$c" == "read" ]]; then outputdir="seq"; else outputdir="write" ; fi

# 判断myfile是否包含字符串“test”
if grep -q hello myfile; then …

# 判断mydir 是否是一个目录, 修改 mydir 的内容 并且 执行其他操作:
if cd mydir; then
  echo 'some content' >myfile
else
  echo >&2 "Fatal error. This script requires mydir."
fi

# 判断 variable(变量)  是否为空
if [ ! -s "myvariable" ]
#返回指定对象的长度  如果是 "字符串"  返回 0.

# 判断文件是否存在
if [ -e 'filename' ]
then
  echo -e "file exists!"
fi

# 判断 myfile 文件是否存在   或者  myfile 连接是否存在 
if [ -e myfile ] || [ -L myfile ]
then
  echo -e "file exists!"
fi

# 判断 变量 x  是否大于 等于 5
if [ "$x" -ge 5 ]; then …

#  在 bash/ksh/zsh 中 判断 变量 x 是否大于等于 5,:
if ((x >= 5)); then …

# 使用  (( ))(双括号) 进行数学运算  将u+2的计算结果赋值给  j 
if ((j==u+2))

# 使用 [[ ]](双中括号)  进行数值比较   在[[]] 中 会将 特殊符号 自动转换为 比较符号 （例如  = 转换为 == ）  
if [[ $age -gt 21 ]]

More if commands

For 语法

for i in $(ls); do echo file $i;done
#或者
for i in *; do echo file $i; done

# 按任意键继续执行遍历
for i in $(cat tpc_stats_0925.log |grep failed|grep -o '\query\w\{1,2\}');do cat ${i}.log; read -rsp $'Press any key to continue...\n' -n1 key;done

# 当按下一个键会逐行打印文件
oifs="$IFS"; IFS=$'\n'; for line in $(cat myfile); do ...; done
while read -r line; do ...; done <myfile

# If only one word a line, simply （ 遍历文件内容 一行一行的遍历）
for line in $(cat myfile); do echo $line; read -n1; done

#遍历一个数组
for i in "${arrayName[@]}"; do echo $i;done

While 语句,

# 文件的列减法 (例如 a 3 columns file)
while read a b c; do echo $(($c-$b));done < <(head filename)
#在两个 "<" 的中间有个空格 

# 汇总 列 减法
i=0; while read a b c; do ((i+=$c-$b)); echo $i; done < <(head filename)

# 继续检查正在运行的进程（例如perl），并在启动后立即启动另一个新进程（例如python）。 （最好使用wait命令！Ctrl + F " wait"）
while [[ $(pidof perl) ]];do echo f;sleep 10;done && python timetorunpython.py

switch (case in bash)

read type;
case $type in
  '0')
    echo 'how'
    ;;
  '1')
    echo 'are'
    ;;
  '2')
    echo 'you'
    ;;
esac

变量

引号内变量解析

# foo=bar
 echo "'$foo'"
#'bar'
# 单引号/双引号  quotes around single quotes make the inner single quotes expand variables（在单引号内使用变量 变量会被解析）

获取变量长度

var="some string"
echo ${#var}
# 11

获取变量的第一个字节

var=string
echo "${var:0:1}"
#s

# or
echo ${var%%"${var#?}"}

从第一位或最后一位开始删除变量中的 n 个字节

var="some string"
echo ${var:2}
#me string

替换 (例如. 删除第一个位置的 0 )

var="0050"
echo ${var[@]#0}
#050

替换所有 (例如. 将字符"a" 替换为字符",")

{var/a/,}

# 使用 grep 
 test="god the father"
 grep ${test// /\\\|} file.txt
 # turning the space into 'or' (\|) in grep （在grep 的空间中将 替换   or 和 (\|) ）

将变量中的字符串改为小写（参数扩展）

var=HelloWorld
echo ${var,,}
helloworld

Expand and then execute variable/argument （先执行脚本进行赋值再输出变量内容）

cmd="bar=foo"
eval "$cmd"
echo "$bar" # foo

数学

bash中的算术展开 (运算符: +, -, *, /, %, 等等)

#总结： a++ 先运算a，后a的值加1；++a，则相反，先加一，再参与运算。同理a--,与--a
echo $(( 10 + 5 ))  #15
x=1
echo $(( x++ )) #1 , 注意它仍然是1，因为它是后递增的
echo $(( x++ )) #2
echo $(( ++x )) #4 , 注意，它不是3，因为它是预增量
echo $(( x-- )) #4
echo $(( x-- )) #3
echo $(( --x )) #1
x=2
y=3
echo $(( x ** y )) #8

打印出一个数的质因数 (比如： 50)

factor 50

用于产生从某个数到另外一个数之间的所有整数。 (比如： seq 10)

seq 10|paste -sd+|bc

汇总一个文件（文件中每行仅包含一个数字）

awk '{s+=$1} END {print s}' filename

列减法

cat file| awk -F '\t' 'BEGIN {SUM=0}{SUM+=$3-$2}END{print SUM}'

用expr进行简单数学运算

expr 10+20 #30
expr 10\*20 #600
expr 30 \> 20 #1 (true)

更多关于BC的数学运算

# 小数位数/有效数字
echo "scale=2;2/3" | bc
#.66

# 指数运算符
echo "10^2" | bc
#100

# 使用变量
echo "var=5;--var"| bc
#4

Time

返回执行命令所需的时间

time echo hi

等待一段时间（例如10秒）

sleep 10

在一段时间后注销你的帐户（例如10秒）

TMOUT=10
# 一旦你设置了这个变量，注销计时器开始运行！

设置您要运行命令的时长

# 仅仅运行 `sleep 10` 一秒。
timeout 1 sleep 10

设置何时要运行命令（例如，从现在开始 1分钟）

at now + 1min  # 时间单位可以是 minutes, hours, days, 或 weeks
⚠️: 命令将使用 /bin/sh
at> echo hihigithub >~/itworks
at> <EOT>   # 按 Ctrl + D 退出
job 1 at Wed Apr 18 11:16:00 2018

Download

下载此README.md的内容 (你正在看的内容)

curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc -f markdown -t man | man -l -

# 或者 w3m (一种基于文本的浏览器和呼叫器)
curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc | w3m -T text/html

# 或者使用emacs (在emac文本编辑器中)
emacs --eval '(org-mode)' --insert <(curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc -t org)

# 或者使用 emacs (在终端上先按Ctrl+x，再按Ctrl+c退出)
emacs -nw --eval '(org-mode)' --insert <(curl https://raw.githubusercontent.com/onceupon/Bash-Oneliner/master/README.md | pandoc -t org)

从一个页面上下载全部内容

wget -r -l1 -H -t1 -nd -N -np -A mp3 -e robots=off http://example.com

# -r: recursive and download all links on page递归并下载页面上所有链接
# -l1: only one level link仅一级链接
# -H: span host, visit other hosts跨越主机，访问其他主机
# -t1: numbers of retries重试次数
# -nd: don't make new directories, download to here不要创建新目录，下载到这里
# -N: turn on timestamp打开时间戳
# -nd: no parent没有父级
# -A: type (separate by ,)类型（以，豆号分隔）
# -e robots=off: ignore the robots.txt file which stop wget from crashing the site, sorry example.com忽略robots.txt文件，该文件阻止wget使网站崩溃，抱歉example.com

将文件上传到web并下载 (https://transfer.sh/)

#  上传文件 (例如： filename.txt):
curl --upload-file ./filename.txt https://transfer.sh/filename.txt
# 上面的命令将返回一个url，例如：https://transfer.sh/tG8rM/filename.txt

# 接下来您可以通过以下方式下载它:
curl https://transfer.sh/tG8rM/filename.txt -o filename.txt

下载文件（如有需要）

data=file.txt
url=http://www.example.com/$data
if [ ! -s $data ];then
    echo "downloading test data..."
    wget $url
fi

Wget 命令获取文件名 (当文件名很长时)

wget -O filename "http://example.com"

Wget命令将文件保存到文件夹

wget -P /path/to/directory "http://example.com"

指示curl遵循任何重定向，直到到达最终目的地:

curl -L google.com

随机

随机生成密码（例如，生成5个长度为13的密码）

sudo apt install pwgen
pwgen 13 5
#sahcahS9dah4a xieXaiJaey7xa UuMeo0ma7eic9 Ahpah9see3zai acerae7Huigh7

从文件中随机选择100行

shuf -n 100 filename

随机排序

for i in a b c d e; do echo $i; done| shuf

随机选择在一定范围内的数字（例如，从0-100 内随机选择15个数字）

shuf -i 0-100 -n 15

产生一个随机数

echo $RANDOM

产生一个0-9内的随机数

echo $((RANDOM % 10))

产生一个1-10内的随机数

echo $(((RANDOM %10)+1))

Xwindow

X11 GUI 应用程序! 如果你对纯文本的环境感到厌烦，这里有一些适合你的 GUI 工具。

启用 X11 转发，以便在服务器上使用图形应用程序。

ssh -X user_name@ip_address

# 或者通过 xhost 设置
# --> Install the following for Centos:
# xorg-x11-xauth
# xorg-x11-fonts-*
# xorg-x11-utils

小 xwindow 工具

xclock
xeyes
xcowsay

从 ssh 服务器中打开图片/图像

1\. ssh -X user_name@ip_address
2. apt-get install eog
3. eog picture.png

在服务器上观看视频

1\. ssh -X user_name@ip_address
2. sudo apt install mpv
3. mpv myvideo.mp4

在服务器上使用 gedit (GUI 编辑)

1\. ssh -X user_name@ip_address
2. apt-get install gedit
3. gedit filename.txt

从 ssh 服务器上打开 PDF

1\. ssh -X user_name@ip_address
2. apt-get install evince
3. evince filename.pdf

从 ssh 服务器上使用谷歌浏览器

1\. ssh -X user_name@ip_address
2. apt-get install libxss1 libappindicator1 libindicator7
3. wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
4. sudo apt-get install -f
5. dpkg -i google-chrome*.deb
6. google-chrome

系统

跟踪服务的最新日志

journalctl -u <service_name> -f

消除僵尸进程

# 僵尸进程已经死了，所以你不能杀死它。您可以消除通过杀死其父进程。
# 首先，找到僵尸进程的PID
ps aux| grep 'Z'
# 接下来发现僵尸的父进程的PID
pstree -p -s <zombie_PID>
# 然后你可以杀死它的父进程，你会发现僵尸进程已经不见了。
sudo kill 9 <parent_PID>

显示内存使用情况

free -c 10 -mhs 1
# 每隔1秒打印10次

显示设备和分区的CPU和IO统计信息。

#每秒刷新一次
iostat -x -t 1

显示网络接口上的带宽使用情况（例如 enp175s0f0）

iftop -i enp175s0f0

告知系统已运行多长时间以及用户数量

uptime

检查是否是root用户运行

if [ "$EUID" -ne 0 ]; then
        echo "Please run this as root"
        exit 1
fi

更改shell用户(例如： bonnie)

chsh -s /bin/sh bonnie
# /etc/shells: valid login shells

更改root/虚拟root/监狱 (e.g. 更改 root 为 newroot)

chroot /home/newroot /bin/bash

# To exit chroot
exit

显示文件（例如filename.txt）的文件状态（大小；访问、修改和更改时间等）

stat filename.txt

当前进程的快照

ps aux

显示进程树

pstree

找到的最大进程数

cat /proc/sys/kernel/pid_max

打印或控制内核环缓冲区

dmesg

查看ip地址

$ip add show

# or
ifconfig

打印以前和当前的 SysV 运行级别

runlevel

#或者
who -r

改变 SysV 运行级别 (例如修改为 5)

init 5
#或者
telinit 5

在所有运行级别上显示所有可用的服务

chkconfig --list
# 相当于 ubntu 中 chkconfig 的 update-rc.d

查看系统的版本

cat /etc/*-release

Linux 程序员的手册:文件系统的层次结构的说明

man hier

控制系统和服务管理器

#  检查 cron 的状态
systemctl status cron.service

#  停止一个 cron 服务
systemctl stop cron.service

任务列表

jobs -l

运行一个修改优先级的程序 (例如 ./test.sh)

# 较好的值在 -20 （最有利）到 19 之间调整
# 应用程序越好，优先级越低
# 默认值:10 ,默认优先级:80

nice -10 ./test.sh

导出路径

export PATH=$PATH:~/path/you/want

让文件可执行

chmod +x filename
# 现在你可以执行 ./filename

打印系统信息

uname -a

# 检查系统硬件平台 (x86-64)
uname -i

上网

links www.google.com

增加用户，设置密码

useradd username
passwd username

编辑 bash 变量（例如显示整个路径）

1\. joe ~/.bash_profile
2. export PS1='\u@\h:\w\$'
# $PS1 是一个定义命令提示符外观和样式的变量
3\. source ~/.bash_profile

编辑环境设置 (例如 alias)

1\. joe ~/.bash_profile
2. alias pd="pwd" //no more need to type that 'w'!
3\. source ~/.bash_profile

打印所有的别名

alias -p

无别名 (例如别名 ls='ls --color=auto' 之后)

unalias ls

设置和取消设置 shell 选项

# 打印所有的 shell 选项
shopt

# 取消(或者停止)别名
shopt -u expand_aliases

# 设置(或者开始)别名
shopt -s expand_aliases

列出环境变量 (例如 PATH)

echo $PATH
#用冒号分隔的目录列表

当前用户所有环境变量列表

env

Unset 环境变量 (e.g. unset 变量 'MYVAR')

unset MYVAR

显示区分格式

lsblk

通知系统分区表更改

partprobe

软链接到 bin

ln -s /path/to/program /home/usr/bin
# 必须是程序的绝对路径

显示数据的十六进制视图

hexdump -C filename.class

跳转到其他节点

rsh node_name

检查端口（占用的网络端口）

netstat -tulpn

打印已解析的符号链接或着规范文件名

readlink filename

查找命令的类型及链接到的位置 (e.g. python)

type python
# python 是 /usr/bin/python
# 这里有5中不同的类型，使用 'type -f' 标志进行检查
# 1\. alias    (shell alias)
# 2\. function (shell function, 也会打印函数主体)
# 3\. builtin  (shell builtin)
# 4\. file     (disk file)
# 5\. keyword  (shell reserved word)

# 你也可以使用 `which`
which python
# /usr/bin/python

列出所有的函数名

declare -F

列出目录的大小信息

du -hs .

# or
du -sb

复制使用权限目录

cp -rp /path/to/directory

储存当前目录

pushd .

# then pop
popd

#或着使用dirs显示当前所在目录的列表。
dirs -l

显示磁盘使用情况

df -h

# 或者
du -h

#或者
du -sk /var/log/* |sort -rn |head -10

显示当前运行状态

runlevel

切换运行级别

init 3

#或者
telinit 3

永久修改运行级别

1\. edit /etc/init/rc-sysinit.conf
2. env DEFAULT_RUNLEVEL=2

切换 root 用户

su

切换其他用户

su somebody

反馈用户状态信息

repquota -auvs

获取数据库中重要信息

getent database_name

# (e.g.  'passwd' 数据库)
getent passwd
# 列出所有用户帐户（所有本地帐户和LDAP）

# (e.g. 获取用户组列表)
getent group
# 在 'group' 数据库保存

改变文件的权限

chown user_name filename
chown -R user_name /path/to/directory/
# 改变用户组名称

挂载和取消挂载

# 例如 挂载 /dev/sdb 到 /home/test
mount /dev/sdb /home/test

# 例如 取消挂载 /home/test
umount /home/test

列出当前挂载细节

mount
# 或者
df

列出当前用户名和用户编号

cat /etc/passwd

获取所有的用户名

getent passwd| awk '{FS="[:]"; print $1}'

展示所有的用户

compgen -u

展示所有组

compgen -g

展示所有的用户组

group username

显示 uid，gid，用户组

id username

检测当前是否是 root

if [ $(id -u) -ne 0 ];then
    echo "You are not root!"
    exit;
fi
# 'id -u' output 0 if it's not root

找出 CPU 信息

more /proc/cpuinfo

# 或者
lscpu

为用户设置配额 (例如磁盘软大小限制: 120586240; 硬限制: 125829120)

setquota username 120586240 125829120 0 0 /home

显示用户配额

quota -v username

显示缓存中华当前库

ldconfig -p

打印共享库依赖项 (例如 for 'ls')

ldd /bin/ls

检查用户登录

lastlog

编辑所有用户的路径

joe /etc/environment
#编辑这个文件

显示和设置用户限制

ulimit -u

哪些端口正在监听来自网络的 TCP 连接

nmap -sT -O localhost
#notice that some companies might not like you using nmap

打印内核/处理器的数量

nproc --all

检查每一个核心状态

1\. top
2. press '1'

展示任务和 PID

jobs -l

列出所有正在执行服务

service --status-all

计划关闭服务器

shutdown -r +5 "Server will restart in 5 minutes. Please save your work."

取消与预定关闭

shutdown -c

向所有用户广播

wall -n hihi

终止一个用户的所有进程

pkill -U user_name

终止程序的所有进程

kill -9 $(ps aux | grep 'program_name' | awk '{print $2}')

在服务器上设置 gedit 首选项

# 你可能需要去安装以下软件:

apt-get install libglib2.0-bin;
# 或者
yum install dconf dconf-editor;
yum install dbus dbus-x11;

# 检查列表
gsettings list-recursively

# 修改一些设置
gsettings set org.gnome.gedit.preferences.editor highlight-current-line true
gsettings set org.gnome.gedit.preferences.editor scheme 'cobalt'
gsettings set org.gnome.gedit.preferences.editor use-default-font false
gsettings set org.gnome.gedit.preferences.editor editor-font 'Cantarell Regular 12'

把用户增加到一个分组 (例如把用户名为「nice」的永不添加到分组「docker」,这样此用户就可以在不用 sudo 的情况下运行 docker)

sudo gpasswd -a nice docker

安装没有根目录的 python 包

1\. pip 安装 --用户 package_name
2. 你可能需要将  ~/.local/bin/ 导出到  PATH: export PATH=$PATH:~/.local/bin/

删除旧的 Linux内核 (当 /boot 几乎满的时候...)

1\. uname -a  #检查当前内核，哪些是不能移除的
2\. sudo apt-get purge linux-image-X.X.X-X-generic  #替代掉旧的版本

更改主机名

sudo hostname your-new-name

#如果不起作用，也可以:
hostnamectl set-hostname your-new-hostname
# 然后检查:
hostnamectl
# 或者检查 /etc/hostname

# 如果一直不工作....,编辑：
/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-ensxxx
#增加 主机名="你的新主机名称"

安装包列表

apt list --installed

# 或者在 Red Hat:
yum list installed

检查哪个文件使设备繁忙

lsof /mnt/dir

当声音不工作的时候

killall pulseaudio
# 然后按下 Alt-F2 并输入 pulseaudio

当声音不工作的时候

killall pulseaudio

列出关于 SCSI 设备信息列表

lsscsi

使用 telnet 去测试开放的端口，测试是否可以连接到服务器例如服务器(192.168.2.106) 端口(53)

telnet 192.168.2.106 53

改变网络最大可传输单位 (mtu) (例如修改到9000)

ifconfig eth0 mtu 9000

或者正在执行的进程 pid (例如 python)

pidof python

# 或者
ps aux|grep python

NTP

# Start ntp:
ntpd

# 检查 ntp:
ntpq -p

清除你服务器中不必要的文件

sudo apt-get autoremove
sudo apt-get clean
sudo rm -rf ~/.cache/thumbnails/*

# 删除旧的内核
sudo dpkg --list 'linux-image*'
sudo apt-get remove linux-image-OLDER_VERSION

增大调整根分区的大小 (根分区是 LVM 逻辑卷)

pvscan
lvextend -L +130G /dev/rhel/root -r
# 添加 -r 将在调整卷大小后增加到文件系统

创建UEFI可引导USB驱动器 (比如; /dev/sdc1)

sudo dd if=~/path/to/isofile.iso of=/dev/sdc1 oflag=direct bs=1048576

找到并删除包

sudo dpkg -l | grep <package_name>
sudo dpkg --purge <package_name>

创建ssh隧道

ssh -f -L 9000:targetservername:8088 root@192.168.14.72 -N
#-f: 在后台运行; -L: 监听; -N: 什么也不做
# 你计算机的9000端口现在已经连接上了目标服务器名字192.168.14.72的8088端口
# 所以你现在可以去打开浏览器输入localhost:9000去查看你的目标计算机的8088端口了

获取进程的进程ID (比如： sublime_text)

#pidof 获取进程id
pidof sublime_text

#pgrep, 你不必键入整个程序名
pgrep sublim

#pgrep, 如果找到进程，则返回1；如果没有此类进程，则返回0

pgrep -q sublime_text && echo 1 || echo 0

#top, 需要更长的时间

top|grep sublime_text

服务器的一些基准测试工具

aio-stress - AIO benchmark. bandwidth - memory bandwidth benchmark. bonnie++ - hard drive and file system performance benchmark. dbench - generate I/O workloads to either a filesystem or to a networked CIFS or NFS server. dnsperf - authorative and recursing DNS servers. filebench - model based file system workload generator. fio - I/O benchmark. fs_mark - synchronous/async file creation benchmark. httperf - measure web server performance. interbench - linux interactivity benchmark. ioblazer - multi-platform storage stack micro-benchmark. iozone - filesystem benchmark. iperf3 - measure TCP/UDP/SCTP performance. kcbench - kernel compile benchmark, compiles a kernel and measures the time it takes. lmbench - Suite of simple, portable benchmarks. netperf - measure network performance, test unidirectional throughput, and end-to-end latency. netpipe - network protocol independent performance evaluator. nfsometer - NFS performance framework. nuttcp - measure network performance. phoronix-test-suite - comprehensive automated testing and benchmarking platform. seeker - portable disk seek benchmark. siege - http load tester and benchmark. sockperf - network benchmarking utility over socket API. spew - measures I/O performance and/or generates I/O load. stress - workload generator for POSIX systems. sysbench - scriptable database and system performance benchmark. tiobench - threaded IO benchmark. unixbench - the original BYTE UNIX benchmark suite, provide a basic indicator of the performance of a Unix-like system. wrk - HTTP benchmark.

显示上次登录用户的列表。

lastb

显示当前登录用户的列表，打印他们的信息

who

显示谁登录以及他们在做什么

打印当前登录到当前主机的用户的用户名。

users

在终止程序上停止跟踪一个文件

tail -f --pid=<PID> filename.txt
# 用程序的进程 ID 替换 <PID>

列出所有已经启动的服务

systemctl list-unit-files|grep enabled

硬件

收集和总结机器的所有硬件信息

lshw -json >report.json
# 其他的选项: [ -html ]  [ -short ]  [ -xml ]  [ -json ]  [ -businfo ]  [ -sanitize ] ,etc

找出内存设备的细节

sudo dmidecode -t memory

打印 CPU 硬件细节

dmidecode -t 4
#          类型   信息
#          0   BIOS
#          1   系统
#          2   基板
#          3   机壳
#          4   处理器
#          5   内存控制器
#          6   内存模块
#          7   缓存
#          8   端口连接器
#          9   系统槽
#         11   OEM 字符串
#         13   BIOS 语言
#         15   系统事件日志
#         16   物理内存数组
#         17   存储设备
#         18   32位内存错误
#         19   存储映射地址
#         20   存储设备映射地址
#         21   内置定位设备
#         22   便携式电池
#         23   系统重置
#         24   硬件安全性
#         25   系统电源控制
#         26   电压探头
#         27   冷却装置
#         28   温度探测器
#         29   电流探头
#         30   待外远程访问
#         31   引导完整性服务
#         32   系统启动
#         34   管理装置
#         35   管理设备组件
#         36   管理设备阈值数据
#         37   内存通道
#         38   IPMI 设备
#         39   电力供应

计算硬盘数量

lsscsi|grep SEAGATE|wc -l
# 或者
sg_map -i -x|grep SEAGATE|wc -l

或者硬盘的 UUID (例如 sdb)

blkid /dev/sdb

打印所有硬盘的详细信息

lsblk -io KNAME,TYPE,MODEL,VENDOR,SIZE,ROTA
#其中 ROTA 表示旋转设备/旋转硬盘 (1 为真, 0 为假)

列出所有的 PCI (外围设置互连) 设备

lspci
# 列出关于 NIC 信息
lspci | egrep -i --color 'network|ethernet'

列出所有 USB 设备

lsusb

Linux 模块

# 显示 Linux 内核中模块状态
lsmod

# 从 Linux 内核中增加或者移除模块
modprobe

# 或者
# Remove a module
rmmod

# 插入模块
insmod

控制 IPMI-enabled 设备 (e.g. BMC)

# 远程查看服务器的电源状态
ipmitool -U <bmc_username> -P <bmc_password> -I lanplus -H <bmc_ip_address> power status

# 远程开启服务器
ipmitool -U <bmc_username> -P <bmc_password> -I lanplus -H <bmc_ip_address> power on

# 打开面板识别灯(默认 15秒)
ipmitool chassis identify 255

#或者服务器传感器温度
ipmitool sensors |grep -i Temp

# 重置 BMC
ipmitool bmc reset cold

# Prnt BMC 网络
ipmitool lan print 1

# 设置 BMC 网络
ipmitool -I bmc lan set 1 ipaddr 192.168.0.55
ipmitool -I bmc lan set 1 netmask 255.255.255.0
ipmitool -I bmc lan set 1 defgw ipaddr 192.168.0.1

网络

显示 IP 地址

ip a

显示路由表

ip r

显示 ARP 缓存 (ARP 缓存显示你连接到的同一网络设备的 MAC 地址)

ip n

增加临时 IP 地址 (重启后重置) (例如增加 192.168.140.3/24到设备 eno16777736)

ip address add 192.168.140.3/24 dev eno16777736

持久化网络配置的更改

sudo vi /etc/sysconfig/network-scripts/ifcfg-enoxxx
# 然后编辑字段: BOOTPROT, DEVICE, IPADDR, NETMASK, GATEWAY, DNS1 etc

刷新 NetworkManager

sudo nmcli c reload

重新启动所有界面

sudo systemctl restart network.service

同时查看 hostname, OS, kernal, architecture !

hostnamectl

设置主机名 (一次设置所有临时，静态，漂亮的主机名)

hostnamectl set-hostname "mynode"

其他