小知识,大挑战!本文正在参与“程序员必备小知识”创作活动
磁盘性能指标说明
衡量磁盘性能常见的指标有: 使用率、饱和度、IOPS、吞吐量以及响应时间,具体说明如下:
- 使用率,是指磁盘处理 I/O 的时间百分比。过高的使用率(比如超过 80%),通常意味着磁盘 I/O 存在性能瓶颈。
- 饱和度,是指磁盘处理 I/O 的繁忙程度。过高的饱和度,意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时,磁盘无法接受新的 I/O 请求。
- IOPS(Input/Output Per Second),是指每秒的 I/O 请求数。
- 吞吐量,是指每秒的 I/O 请求大小,即每秒磁盘 I/O 的流量,磁盘写入加上读出数据的大小。单位为bps。
- 响应时间,是指 I/O 请求从发出到收到响应的间隔时间。
IOPS 与吞吐量的关系
每秒 I/O 吞吐量= IOPS * 平均 I/O SIZE。从公式可以看出: I/O SIZE 越大,IOPS 越高,那么每秒 I/O 的吞吐量就越高。因此,我们会认为 IOPS 和吞吐量的数值越高越好。实际上,对于一个磁盘来讲,这两个参数均有其最大值,而且这两个参数也存在着一定的关系。
IOPS可细分为如下几个指标:
- Toatal IOPS,混合读写和顺序随机I/O负载情况下的磁盘IOPS,这个与实际I/O情况最为相符,大多数应用关注此指标。
- Random Read IOPS,100%随机读负载情况下的IOPS。
- Random Write IOPS,100%随机写负载情况下的IOPS。
- Sequential Read IOPS,100%顺序读负载情况下的IOPS。
- Sequential Write IOPS,100%顺序写负载情况下的IOPS。
常用的观测IO性能指标命令
iostat
iostat,对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。iostat也有一个弱点,就是它不能对某个进程进行深入分析,仅对系统的整体情况进行分析。
命令参数说明:
- -c: 显示CPU使用情况
- -d: 显示磁盘使用情况
- -N: 显示磁盘阵列(LVM) 信息
- -n: 显示NFS 使用情况
- -k: 以 KB 为单位显示
- -m: 以 M 为单位显示
- -t: 报告每秒向终端读取和写入的字符数和CPU的信息
- -V: 显示版本信息
- -x: 显示IO相关的详细信息
- -p [磁盘] : 显示磁盘和分区的情况
备注:
如果%iowait的值过高,表示硬盘存在I/O瓶颈,%idle值高,表示CPU较空闲。
如果%idle值高但系统响应慢时,有可能是CPU等待分配内存,此时应加大内存容量。
如果%idle值持续低于10,那么系统的CPU处理能力相对较低,表明系统中最需要解决的资源是CPU。
CPU属性值说明:
- %user: CPU处在用户模式下的时间百分比
- %nice: CPU处在带NICE值的用户模式下的时间百分比
- %system: CPU处在系统模式下的时间百分比
- %iowait: CPU等待输入输出完成时间的百分比
- %steal: 管理程序维护另一个虚拟处理器时,虚拟CPU的无意识等待时间百分比
- %idle: CPU空闲时间百分比
磁盘属性值说明:
- device: 磁盘名称
- tps: 每秒钟发送到的I/O请求数
- Blk_read/s: 每秒读取的block数
- Blk_wrtn/s: 每秒写入的block数
- Blk_read: 读入的block总数
- Blk_wrtn: 写入的block总数
磁盘IO相关的详细说明:
- rrqm/s: 每秒进行 merge 的读操作数目。即 rmerge/s
- wrqm/s: 每秒进行 merge 的写操作数目。即 wmerge/s
- r/s: 每秒完成的读 I/O 设备次数。即 rio/s
- w/s: 每秒完成的写 I/O 设备次数。即 wio/s
- rkB/s: 每秒读K字节数。是 rsect/s 的一半,因为每扇区大小为512字节。
- wkB/s: 每秒写K字节数。是 wsect/s 的一半
- avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)
- avgqu-sz: 平均I/O队列长度
- rsec/s: 每秒读扇区数。即 rsect/s
- wsec/s: 每秒写扇区数。即 wsect/s
- r_await: 每个读操作平均所需的时间,不仅包括硬盘设备读操作的时间,还包括了在kernel队列中等待的时间
- w_await: 每个写操作平均所需的时间,不仅包括硬盘设备写操作的时间,还包括了在kernel队列中等待的时间
- await: 平均每次设备I/O操作的等待时间 (毫秒)
- svctm: 平均每次设备I/O操作的服务时间 (毫秒)
- %util: 一秒中有百分之多少的时间用于 I/O 操作,即被io消耗的cpu百分比
备注:
如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘可能存在瓶颈。
如果 svctm 比较接近 await,说明 I/O 几乎没有等待时间;
如果 await 远大于 svctm,说明I/O 队列太长,io响应太慢,则需要进行必要优化。
如果avgqu-sz比较大,也表示有当量io在等待。
示例:查看cpu状态
iostat -c 1 1
示例:查看磁盘使用率和响应时间
# -d 显示磁盘使用情况,-x 显示详细信息
iostat -d -x -k 1 1
其他示例
# 间隔1秒,总共显示5次
iostat 1 5
# 每隔2秒,显示一次设备统计信息
iostat -d 2
# 每隔2秒,显示一次设备统计信息,总共输出3次
iostat -d 2 3
# 每隔2秒显示一次sda, sdb两个设备的扩展统计信息,共输出3次
iostat -x sda sdb 2 3
# 每隔2秒显示一次sda及上面所有分区的统计信息,共输出3次
iostat -p sda 2 3
# 以M为单位显示所有信息
iostat -m
pidstat
pidstat,用于监控全部或指定进程的cpu、内存、线程、设备IO等系统资源的占用情况。pidstat首次运行时显示自系统启动开始的各项统计信息,之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。
命令参数说明:
- -u:默认的参数,显示各个进程的cpu使用统计
- -r:显示各个进程的内存使用统计
- -d:显示各个进程的IO使用情况
- -p:指定进程号
- -w:显示每个进程的上下文切换情况
- -t:显示选择任务的线程的统计信息外的额外信息
- -T { TASK | CHILD | ALL }:TASK表示报告独立的task,CHILD关键字表示报告进程下所有线程统计信息。ALL表示报告独立的task和task下面的所有线程。注意:task和子线程的全局的统计信息和pidstat选项无关。这些统计信息不会对应到当前的统计间隔,这些统计信息只有在子线程kill或者完成的时候才会被收集
- -V:显示版本号
- -h:在一行上显示了所有活动,这样其他程序可以容易解析
- -I:在SMP环境,表示任务的CPU使用率/内核数量
- -l:显示命令名和所有参数
示例:查看所有进程的CPU使用情况
pidstat -u -p ALL
Linux 3.10.0-957.el7.x86_64 (VM-75-65) 04/24/2020 _x86_64_ (4 CPU)
02:10:43 PM UID PID %usr %system %guest %CPU CPU Command
02:10:43 PM 0 1 0.00 0.01 0.00 0.01 0 systemd
02:10:43 PM 0 2 0.00 0.00 0.00 0.00 1 kthreadd
02:10:43 PM 0 3 0.00 0.06 0.00 0.06 0 ksoftirqd/0
02:10:43 PM 0 7 0.00 0.00 0.00 0.00 0 migration/0
02:10:43 PM 0 8 0.00 0.00 0.00 0.00 3 rcu_bh
02:10:43 PM 0 9 0.00 0.16 0.00 0.16 2 rcu_sched
02:10:43 PM 0 10 0.00 0.00 0.00 0.00 0 lru-add-drain
02:10:43 PM 0 11 0.00 0.00 0.00 0.00 0 watchdog/0
属性值说明:
- PID:进程ID
- %usr:进程在用户空间占用cpu的百分比
- %system:进程在内核空间占用cpu的百分比
- %guest:进程在虚拟机占用cpu的百分比
- %CPU:进程占用cpu的百分比
- CPU:处理进程的cpu编号
- Command:当前进程对应的命令
示例:查看指定进程的内存使用情况
指定PID为29468的进程内存使用情况,每秒展示一次,展示四次! 也可以直接pidstat -r,是全部进程的内存使用情况!
pidstat -r -p 29468 1 4
Linux 3.10.0-957.el7.x86_64 (VM-75-65) 04/24/2020 _x86_64_ (4 CPU)
02:16:00 PM UID PID minflt/s majflt/s VSZ RSS %MEM Command
02:16:01 PM 0 29468 0.00 0.00 413040 4104 0.03 docker-containe
02:16:02 PM 0 29468 0.00 0.00 413040 4104 0.03 docker-containe
02:16:03 PM 0 29468 0.00 0.00 413040 4104 0.03 docker-containe
02:16:04 PM 0 29468 0.00 0.00 413040 4104 0.03 docker-containe
Average: 0 29468 0.00 0.00 413040 4104 0.03 docker-containe
属性值说明:
- PID:进程标识符
- Minflt/s:任务每秒发生的次要错误,不需要从磁盘中加载页
- Majflt/s:任务每秒发生的主要错误,需要从磁盘中加载页
- VSZ:虚拟地址大小,虚拟内存的使用KB
- RSS:常驻集合大小,非交换区内存的使用KB
- Command:task命令名
也可以直接pidstat -r,是全部进程的内存使用情况!
示例:显示各个进程IO的使用情况
pidstat -d
Linux 3.10.0-957.el7.x86_64 (VM-75-65) 04/24/2020 _x86_64_ (4 CPU)
02:25:35 PM UID PID kB_rd/s kB_wr/s kB_ccwr/s Command
02:25:35 PM 0 1 6.42 242.84 0.72 systemd
02:25:35 PM 0 2432 0.00 0.00 0.00 xfsaild/sda3
02:25:35 PM 0 2501 0.00 0.00 0.00 systemd-journal
02:25:35 PM 0 2522 0.00 0.00 0.00 lvmetad
02:25:35 PM 0 2539 0.35 0.00 0.00 systemd-udevd
02:25:35 PM 0 4863 0.00 0.17 0.00 auditd
02:25:35 PM 32 4893 0.00 0.00 0.00 rpcbind
02:25:35 PM 0 4894 0.00 0.00 0.00 smartd
02:25:35 PM 0 4896 0.00 0.00 0.00 irqbalance
属性值说明:
- PID:进程ID
- kB_rd/s:每秒从磁盘读取的KB
- kB_wr/s:每秒写入磁盘KB
- kB_ccwr/s:任务取消的写入磁盘的KB。当任务截断脏的pagecache的时候会发生。
- COMMAND:task的命令名
示例:进程的上下文切换情况
pidstat -w
Linux 3.10.0-957.el7.x86_64 (VM-75-65) 04/24/2020 _x86_64_ (4 CPU)
02:26:50 PM UID PID cswch/s nvcswch/s Command
02:26:50 PM 0 1 0.36 0.00 systemd
02:26:50 PM 0 2 0.01 0.00 kthreadd
02:26:50 PM 0 3 10.42 0.00 ksoftirqd/0
02:26:50 PM 0 5 0.00 0.00 kworker/0:0H
02:26:50 PM 0 7 1.77 0.00 migration/0
02:26:50 PM 0 8 0.00 0.00 rcu_bh
02:26:50 PM 0 9 114.23 0.00 rcu_sched
02:26:50 PM 0 10 0.00 0.00 lru-add-drain
02:26:50 PM 0 11 0.25 0.00 watchdog/0
02:26:50 PM 0 12 0.25 0.00 watchdog/1
属性值说明:
- PID:进程ID
- cswch/s:每秒主动任务上下文切换数量
- nvcswch/s:每秒被动任务上下文切换数量
- Command:命令名
示例:显示特定进程的线程统计情况
pidstat -p 12920 -t
Linux 2.6.32-573.el6.x86_64 (VM-75-64) 04/24/2020 _x86_64_ (8 CPU)
02:20:23 PM TGID TID %usr %system %guest %CPU CPU Command
02:20:23 PM 12920 - 0.00 0.00 0.00 0.00 3 java
02:20:23 PM - 12920 0.00 0.00 0.00 0.00 3 |__java
02:20:23 PM - 12922 0.00 0.00 0.00 0.00 6 |__java
02:20:23 PM - 12923 0.00 0.00 0.00 0.00 0 |__java
02:20:23 PM - 12924 0.00 0.00 0.00 0.00 0 |__java
02:20:23 PM - 12925 0.00 0.00 0.00 0.00 2 |__java
02:20:23 PM - 12926 0.00 0.00 0.00 0.00 5 |__java
02:20:23 PM - 12927 0.00 0.00 0.00 0.00 4 |__java
02:20:23 PM - 12928 0.00 0.00 0.00 0.00 1 |__java
02:20:23 PM - 12930 0.00 0.00 0.00 0.00 5 |__java
02:20:23 PM - 12931 0.00 0.00 0.00 0.00 5 |__java
02:20:23 PM - 12932 0.00 0.00 0.00 0.00 3 |__java
02:20:23 PM - 12933 0.00 0.00 0.00 0.00 4 |__java
02:20:23 PM - 12934 0.00 0.00 0.00 0.00 4 |__java
02:20:23 PM - 12935 0.00 0.00 0.00 0.00 5 |__java
02:20:23 PM - 12936 0.00 0.00 0.00 0.00 3 |__java
02:20:23 PM - 12938 0.00 0.00 0.00 0.00 5 |__java
02:20:23 PM - 12939 0.00 0.00 0.00 0.00 1 |__java
02:20:23 PM - 12940 0.00 0.00 0.00 0.00 6 |__java
02:20:23 PM - 12941 0.00 0.00 0.00 0.00 2 |__java
02:20:23 PM - 12943 0.00 0.00 0.00 0.00 6 |__java
属性值说明:
- TGID:主线程的表示
- TID:线程id
- %usr:进程在用户空间占用cpu的百分比
- %system:进程在内核空间占用cpu的百分比
- %guest:进程在虚拟机占用cpu的百分比
- %CPU:进程占用cpu的百分比
- CPU:处理进程的cpu编号
- Command:当前进程对应的命令
iotop
iotop是一个用来监视磁盘I/O使用状况的 top 类工具,可监测到哪一个程序使用的磁盘IO的信息。
命令参数说明:
- -o, --only只显示正在产生I/O的进程或线程。除了传参,可以在运行过程中按o生效。
- -b, --batch非交互模式,一般用来记录日志。
- -n NUM, --iter=NUM设置监测的次数,默认无限。在非交互模式下很有用。
- -d SEC, --delay=SEC设置每次监测的间隔,默认1秒,接受非整形数据例如1.1。
- -p PID, --pid=PID指定监测的进程/线程。
- -u USER, --user=USER指定监测某个用户产生的I/O。
- -P, --processes仅显示进程,默认iotop显示所有线程。
- -a, --accumulated显示累积的I/O,而不是带宽。
- -k, --kilobytes使用kB单位,而不是对人友好的单位。在非交互模式下,脚本编程有用。
- -t, --time 加上时间戳,非交互非模式。
- -q, --quiet 禁止头几行,非交互模式。有三种指定方式,其中,-q表示只在第一次监测时显示列名,-qq表示永远不显示列名,-qqq表示永远不显示I/O汇总。
交互按键:
和top命令类似,iotop也支持以下几个交互按键。
- left和right方向键:改变排序。
- r:反向排序。
- o:切换至选项--only。
- p:切换至--processes选项。
- a:切换至--accumulated选项。
- q:退出。
- i:改变线程的优先级。
只显示正在产生I/O的进程或线程(交互式)
除了传参,可以在运行过程中按o生效。
iotop -o
按时间间隔刷新(交互式)
每间隔2秒,输出5次。
iotop -d 2 -n 5
按时间间隔刷新,输出到屏幕(非交互式)
每间隔2秒,输出5次。也可输出到日志文本,用于监控某时间段的io信息.
iotop -botq -n 5 -d 2
输出PID为8382的进程的磁盘IO信息(非交互式)
iotop -botq -p 8382