阿里云 ecs 卡死5次

用户227127150403
9 阅读16分钟

我买了一台 阿里云的 ecs , 8核32G, 两块存储盘，一个系统盘，一个数据盘，然后!6-16 开始使用，连续挂了4次，ssh 登录不上，服务没响应，需要在控制台重启， 重启需要好几分钟， 6分钟左右， 然后没卡死的情况下 几十秒重启就能完成， 数据盘系统盘如下：， 5个java 服务，一个redis, 一个msql, 排查过程： 没有sql慢日志，没有定时任务，没有突然的并发，只有磁盘爆了没响应的监控，iotop 后台命令记录文件如下：， 指令查询系统盘：sar -d -f /var/log/sa/sa23 -s 10:00:00 -e 23:50:00 | grep nvme0n1， [root@iZrj9 centos]# sar -d -f /var/log/sa/sa23 -s 10:00:00 -e 23:50:00 | grep nvme0n1
10:10:00 AM nvme0n1 1.75 5.45 10.89 0.00 9.34 0.00 0.55 0.01
10:20:00 AM nvme0n1 7.10 657.47 10.53 0.00 94.13 0.01 1.38 0.13
10:30:00 AM nvme0n1 2.15 10.92 9.10 0.00 9.31 0.00 0.84 0.02
10:40:00 AM nvme0n1 1.62 3.69 8.41 0.00 7.47 0.00 0.51 0.02
10:50:00 AM nvme0n1 4.01 79.51 13.11 0.00 23.09 0.00 0.86 0.06
11:00:00 AM nvme0n1 3.25 11.30 13.53 0.00 7.65 0.00 0.55 0.08
11:10:00 AM nvme0n1 3.78 34.99 10.24 0.00 11.95 0.00 0.94 0.07
11:20:00 AM nvme0n1 1.81 4.21 10.54 0.00 8.16 0.00 0.51 0.03
11:30:00 AM nvme0n1 3.25 57.34 11.70 0.00 21.26 0.00 0.70 0.05
11:40:00 AM nvme0n1 2.02 12.63 11.97 0.00 12.21 0.00 0.62 0.01
11:50:00 AM nvme0n1 1.45 1.18 9.87 0.00 7.64 0.00 0.51 0.01
12:00:00 PM nvme0n1 1.81 6.49 13.91 0.00 11.26 0.00 0.52 0.02
12:10:00 PM nvme0n1 1.80 69.85 10.80 0.00 44.89 0.00 0.86 0.02
12:20:00 PM nvme0n1 1.71 15.83 8.52 0.00 14.24 0.00 0.64 0.01
12:30:00 PM nvme0n1 1.27 1.24 8.74 0.00 7.87 0.00 0.50 0.01
12:40:00 PM nvme0n1 1.98 4.17 11.73 0.00 8.04 0.00 0.51 0.03
12:50:00 PM nvme0n1 1.58 3.87 10.58 0.00 9.13 0.00 0.51 0.01
01:00:00 PM nvme0n1 1.46 4.57 11.39 0.00 10.92 0.00 0.52 0.01
01:10:00 PM nvme0n1 3.00 53.54 12.96 0.00 22.19 0.00 0.56 0.06
01:20:00 PM nvme0n1 3.84 107.62 13.21 0.00 31.48 0.00 0.63 0.07
01:30:00 PM nvme0n1 1.65 10.53 9.42 0.00 12.11 0.00 0.55 0.02
01:40:00 PM nvme0n1 1.35 1.46 8.53 0.00 7.37 0.00 0.50 0.01
01:50:00 PM nvme0n1 1.65 3.17 9.72 0.00 7.82 0.00 0.53 0.01
02:00:00 PM nvme0n1 1.87 15.48 12.01 0.00 14.70 0.00 0.52 0.02
02:10:00 PM nvme0n1 2.80 17.97 10.72 0.00 10.24 0.00 0.70 0.02
02:20:00 PM nvme0n1 3.46 63.98 11.60 0.00 21.84 0.00 0.66 0.05
02:30:00 PM nvme0n1 2.69 9.33 9.41 0.00 6.97 0.00 0.54 0.05
02:40:00 PM nvme0n1 1.73 10.27 8.36 0.00 10.76 0.00 0.73 0.01
02:50:00 PM nvme0n1 1.76 6.29 8.77 0.00 8.54 0.00 0.56 0.01
03:00:00 PM nvme0n1 3.24 60.01 13.17 0.00 22.61 0.00 0.61 0.06
03:10:00 PM nvme0n1 2.33 45.40 10.79 0.00 24.07 0.00 0.83 0.01
03:20:00 PM nvme0n1 1.53 2.03 9.40 0.00 7.47 0.00 0.60 0.01
03:30:00 PM nvme0n1 1.98 10.97 10.97 0.00 11.07 0.00 0.54 0.03
03:40:00 PM nvme0n1 2.02 22.71 9.58 0.00 16.00 0.00 0.70 0.01
03:50:00 PM nvme0n1 2.23 54.05 9.83 0.00 28.60 0.00 0.79 0.01
04:00:00 PM nvme0n1 2.61 18.17 10.13 0.00 10.85 0.00 0.56 0.06
04:10:00 PM nvme0n1 2.73 46.09 11.15 0.00 20.95 0.00 0.61 0.04
04:20:00 PM nvme0n1 1.47 2.03 9.53 0.00 7.84 0.00 0.52 0.01
04:30:00 PM nvme0n1 1.55 4.46 10.17 0.00 9.45 0.00 0.61 0.01
04:40:00 PM nvme0n1 2.25 8.75 11.29 0.00 8.89 0.00 0.60 0.02
04:50:00 PM nvme0n1 5.99 175.24 15.28 0.00 31.80 0.00 0.68 0.08
05:00:00 PM nvme0n1 4.78 149.09 16.03 0.00 34.52 0.01 1.08 0.05
05:10:00 PM nvme0n1 9.40 219.16 15.67 0.00 24.97 0.01 1.07 0.07
05:20:00 PM nvme0n1 9.21 362.34 10.29 0.00 40.46 0.01 1.02 0.11
05:30:00 PM nvme0n1 8.42 221.70 9.83 0.00 27.50 0.01 1.02 0.07
05:40:00 PM nvme0n1 5.41 278.19 9.23 0.00 53.11 0.01 1.37 0.05
05:50:00 PM nvme0n1 3.53 92.08 9.50 0.00 28.80 0.00 0.69 0.06
06:00:00 PM nvme0n1 7.59 284.51 14.15 0.00 39.36 0.01 0.89 0.12
06:10:00 PM nvme0n1 5.68 163.36 12.92 0.00 31.03 0.00 0.70 0.11
06:20:00 PM nvme0n1 2.36 29.67 9.14 0.00 16.46 0.00 0.59 0.03
06:30:00 PM nvme0n1 3.92 134.06 9.28 0.00 36.53 0.00 0.81 0.05
06:40:00 PM nvme0n1 2.95 119.14 9.83 0.00 43.72 0.00 0.90 0.06
06:50:00 PM nvme0n1 5.80 255.74 12.00 0.00 46.16 0.01 0.97 0.07
07:00:00 PM nvme0n1 4.79 147.25 11.14 0.00 33.04 0.00 0.91 0.04
07:10:00 PM nvme0n1 6.62 194.70 14.23 0.00 31.56 0.01 0.87 0.07
07:20:00 PM nvme0n1 4.45 137.77 10.41 0.00 33.32 0.00 0.73 0.08
07:30:00 PM nvme0n1 1.88 12.07 9.64 0.00 11.54 0.00 0.57 0.02
07:40:00 PM nvme0n1 4.01 80.55 17.91 0.00 24.58 0.00 0.59 0.09
07:50:00 PM nvme0n1 2.20 24.01 11.92 0.00 16.33 0.00 0.56 0.02
08:00:00 PM nvme0n1 2.85 89.96 10.46 0.00 35.17 0.00 0.72 0.03
08:10:00 PM nvme0n1 4.74 123.75 12.36 0.00 28.70 0.00 0.84 0.04
08:20:00 PM nvme0n1 5.95 179.67 10.17 0.00 31.89 0.00 0.79 0.08
08:30:00 PM nvme0n1 5.37 175.24 10.25 0.00 34.53 0.00 0.79 0.06
08:40:00 PM nvme0n1 2.27 27.71 9.07 0.00 16.21 0.00 0.65 0.02
08:50:00 PM nvme0n1 3.01 88.79 9.52 0.00 32.68 0.00 0.83 0.03
09:00:00 PM nvme0n1 10.23 427.64 12.04 0.00 42.97 0.01 1.06 0.09
09:10:00 PM nvme0n1 53.38 3057.33 17.96 0.00 57.62 0.07 1.23 0.66
09:20:00 PM nvme0n1 34.52 1825.24 14.40 0.00 53.29 0.04 1.03 0.42
09:30:00 PM nvme0n1 67.25 3974.01 15.79 0.00 59.33 0.08 1.19 0.72
09:40:00 PM nvme0n1 133.35 9644.63 18.74 0.00 72.47 0.18 1.33 1.62
09:50:00 PM nvme0n1 55.74 4044.03 15.21 0.00 72.83 0.07 1.34 0.71
10:00:00 PM nvme0n1 22.37 1178.06 18.42 0.00 53.48 0.03 1.18 0.26
10:10:00 PM nvme0n1 33.16 1849.22 16.68 0.00 56.27 0.04 1.31 0.39
10:20:00 PM nvme0n1 28.11 1558.07 15.06 0.00 55.97 0.03 1.10 0.34
10:30:00 PM nvme0n1 25.78 1321.46 15.55 0.00 51.85 0.03 1.12 0.32
Average: nvme0n1 9.07 456.07 11.68 0.00 51.54 0.01 1.10 0.11
11:10:05 PM nvme0n1p2 95.30 17385.92 292.00 0.00 185.50 0.12 1.29 1.05
11:20:05 PM nvme0n1p2 22.82 0.00 283.12 0.00 12.41 0.00 0.16 0.28
11:30:05 PM nvme0n1p2 23.96 0.00 296.84 0.00 12.39 0.00 0.16 0.29
11:40:05 PM nvme0n1p2 23.28 22.03 277.78 0.00 12.88 0.00 0.16 0.27
Average: nvme0n1p2 41.34 4352.00 287.44 0.00 112.23 0.03 0.81 0.47
指令查询 系统盘：sar -d -f /var/log/sa/sa23 -s 10:00:00 -e 23:50:00 | grep nvme1n1
10:10:00 AM nvme1n1 19.22 0.08 231.73 0.00 12.06 0.00 0.16 0.23
10:20:00 AM nvme1n1 19.06 0.33 224.80 0.00 11.81 0.00 0.16 0.22
10:30:00 AM nvme1n1 18.91 0.01 224.66 0.00 11.88 0.00 0.16 0.23
10:40:00 AM nvme1n1 19.05 0.03 224.32 0.00 11.77 0.00 0.16 0.22
10:50:00 AM nvme1n1 18.80 7.24 219.63 0.00 12.07 0.00 0.16 0.23
11:00:00 AM nvme1n1 18.79 0.01 233.78 0.00 12.44 0.00 0.16 0.23
11:10:00 AM nvme1n1 19.23 0.03 234.22 0.00 12.18 0.00 0.16 0.24
11:20:00 AM nvme1n1 19.29 0.00 231.19 0.00 11.99 0.00 0.16 0.23
11:30:00 AM nvme1n1 18.52 0.01 220.85 0.00 11.92 0.00 0.16 0.22
11:40:00 AM nvme1n1 18.64 0.01 220.57 0.00 11.84 0.00 0.16 0.23
11:50:00 AM nvme1n1 18.50 0.00 218.70 0.00 11.82 0.00 0.16 0.22
12:00:00 PM nvme1n1 19.13 0.00 241.90 0.00 12.65 0.00 0.16 0.22
12:10:00 PM nvme1n1 19.65 0.00 242.52 0.00 12.34 0.00 0.16 0.24
12:20:00 PM nvme1n1 18.98 0.01 227.21 0.00 11.97 0.00 0.17 0.23
12:30:00 PM nvme1n1 19.12 0.01 228.14 0.00 11.93 0.00 0.16 0.23
12:40:00 PM nvme1n1 19.19 0.00 230.42 0.00 12.01 0.00 0.16 0.23
12:50:00 PM nvme1n1 19.10 6.67 227.00 0.00 12.24 0.00 0.16 0.22
01:00:00 PM nvme1n1 27.81 0.01 323.06 0.00 11.62 0.00 0.16 0.34
01:10:00 PM nvme1n1 23.24 0.00 278.84 0.00 12.00 0.00 0.16 0.27
01:20:00 PM nvme1n1 19.56 0.19 233.92 0.00 11.97 0.00 0.16 0.23
01:30:00 PM nvme1n1 19.99 0.03 237.90 0.00 11.90 0.00 0.16 0.24
01:40:00 PM nvme1n1 19.43 0.03 233.09 0.00 12.00 0.00 0.16 0.22
01:50:00 PM nvme1n1 19.90 0.01 243.29 0.00 12.23 0.00 0.16 0.23
02:00:00 PM nvme1n1 20.65 0.00 265.76 0.00 12.87 0.00 0.15 0.22
02:10:00 PM nvme1n1 19.90 0.00 244.82 0.00 12.30 0.00 0.16 0.24
02:20:00 PM nvme1n1 19.04 0.13 229.65 0.00 12.07 0.00 0.16 0.22
02:30:00 PM nvme1n1 19.16 0.03 230.02 0.00 12.00 0.00 0.16 0.22
02:40:00 PM nvme1n1 19.24 0.00 231.63 0.00 12.04 0.00 0.15 0.22
02:50:00 PM nvme1n1 18.42 0.00 218.08 0.00 11.84 0.00 0.16 0.22
03:00:00 PM nvme1n1 25.30 0.19 311.42 0.00 12.32 0.00 0.16 0.30
03:10:00 PM nvme1n1 21.89 0.52 268.84 0.00 12.31 0.00 0.17 0.26
03:20:00 PM nvme1n1 20.42 0.00 245.75 0.00 12.03 0.00 0.16 0.24
03:30:00 PM nvme1n1 20.68 0.00 251.10 0.00 12.14 0.00 0.17 0.25
03:40:00 PM nvme1n1 20.20 0.00 243.84 0.00 12.07 0.00 0.17 0.25
03:50:00 PM nvme1n1 20.77 0.01 251.74 0.00 12.12 0.00 0.16 0.25
04:00:00 PM nvme1n1 21.28 0.02 266.51 0.00 12.52 0.00 0.16 0.25
04:10:00 PM nvme1n1 21.13 0.00 258.63 0.00 12.24 0.00 0.17 0.27
04:20:00 PM nvme1n1 21.78 0.00 264.28 0.00 12.13 0.00 0.16 0.27
04:30:00 PM nvme1n1 22.24 0.01 266.38 0.00 11.98 0.00 0.16 0.28
04:40:00 PM nvme1n1 20.49 0.03 241.68 0.00 11.80 0.00 0.16 0.25
04:50:00 PM nvme1n1 23.17 0.25 280.70 0.00 12.13 0.00 0.16 0.27
05:00:00 PM nvme1n1 22.57 0.96 281.91 0.00 12.54 0.00 0.17 0.27
05:10:00 PM nvme1n1 25.88 0.43 325.24 0.00 12.58 0.00 0.17 0.31
05:20:00 PM nvme1n1 32.12 0.38 371.28 0.00 11.57 0.01 0.16 0.37
05:30:00 PM nvme1n1 24.92 0.67 300.43 0.00 12.08 0.00 0.16 0.30
05:40:00 PM nvme1n1 21.82 0.34 262.52 0.00 12.05 0.00 0.16 0.27
05:50:00 PM nvme1n1 21.58 0.00 259.45 0.00 12.02 0.00 0.16 0.25
06:00:00 PM nvme1n1 22.36 2.11 285.95 0.00 12.88 0.00 0.17 0.28
06:10:00 PM nvme1n1 20.38 0.06 250.14 0.00 12.27 0.00 0.17 0.26
06:20:00 PM nvme1n1 22.96 9.15 279.36 0.00 12.56 0.00 0.17 0.29
06:30:00 PM nvme1n1 25.96 0.02 306.19 0.00 11.80 0.00 0.17 0.32
06:40:00 PM nvme1n1 20.35 1.69 246.67 0.00 12.20 0.00 0.16 0.24
06:50:00 PM nvme1n1 26.56 0.57 318.03 0.00 12.00 0.00 0.16 0.31
07:00:00 PM nvme1n1 20.69 0.26 261.22 0.00 12.64 0.00 0.16 0.25
07:10:00 PM nvme1n1 21.26 0.31 264.32 0.00 12.45 0.00 0.17 0.26
07:20:00 PM nvme1n1 19.77 2.23 234.24 0.00 11.96 0.00 0.17 0.25
07:30:00 PM nvme1n1 19.52 0.01 233.29 0.00 11.95 0.00 0.16 0.24
07:40:00 PM nvme1n1 23.36 4.81 280.61 0.00 12.22 0.00 0.17 0.29
07:50:00 PM nvme1n1 21.86 0.00 265.38 0.00 12.14 0.00 0.16 0.27
08:00:00 PM nvme1n1 20.07 0.04 256.23 0.00 12.77 0.00 0.16 0.24
08:10:00 PM nvme1n1 21.02 0.07 261.47 0.00 12.44 0.00 0.17 0.27
08:20:00 PM nvme1n1 21.87 2.03 270.25 0.00 12.45 0.00 0.17 0.28
08:30:00 PM nvme1n1 19.03 0.40 226.83 0.00 11.94 0.00 0.17 0.24
08:40:00 PM nvme1n1 20.07 0.08 244.66 0.00 12.20 0.00 0.17 0.26
08:50:00 PM nvme1n1 19.55 0.00 232.54 0.00 11.89 0.00 0.17 0.26
09:00:00 PM nvme1n1 21.59 0.30 273.51 0.00 12.68 0.00 0.17 0.27
09:10:00 PM nvme1n1 21.59 2.85 255.45 0.00 11.96 0.00 0.16 0.27
09:20:00 PM nvme1n1 26.51 2.16 311.53 0.00 11.83 0.00 0.16 0.33
09:30:00 PM nvme1n1 21.12 3.43 247.70 0.00 11.89 0.00 0.16 0.26
09:40:00 PM nvme1n1 23.08 7.23 272.94 0.00 12.14 0.00 0.16 0.29
09:50:00 PM nvme1n1 23.30 2.31 281.99 0.00 12.20 0.00 0.16 0.28
10:00:00 PM nvme1n1 23.58 30.93 293.22 0.00 13.75 0.00 0.17 0.29
10:10:00 PM nvme1n1 22.67 2.34 279.49 0.00 12.43 0.00 0.16 0.28
10:20:00 PM nvme1n1 23.90 2.40 294.62 0.00 12.43 0.00 0.16 0.29
10:30:00 PM nvme1n1 28.20 1.39 337.49 0.00 12.02 0.00 0.16 0.34
Average: nvme1n1 21.33 1.30 258.25 0.00 12.17 0.00 0.16 0.26
11:10:05 PM nvme1n1 139.09 8762.24 29.00 0.00 63.20 0.43 3.10 8.91
11:20:05 PM nvme1n1 1.32 39.13 10.71 0.00 37.70 0.00 0.63 0.01
11:30:05 PM nvme1n1 1.53 0.47 15.29 0.00 10.28 0.00 0.50 0.01
11:40:05 PM nvme1n1 7.12 759.75 12.82 0.00 108.45 0.01 1.41 0.19
Average: nvme1n1 37.27 2390.40 16.95 0.00 64.60 0.11 2.97 2.28，
ai 分析这两个命令的结果：
数据盘：
正常时段 r_await = 7-9ms

10:50 首次出现 r_await 23ms 异常

16:50 起 r_await 稳定在 30-53ms，持续恶化

21:10-22:30 应用正常读写（3-9 MB/s），r_await 飙至 57-72ms

全程 IOPS < 150、%util < 2%，
系统盘：
系统盘 nvme0n1：r_await 从 8ms 飙至 72ms，但吞吐仅 9.4 MB/s

数据盘 nvme1n1：r_await 全程稳定 12ms，毫无波动

最后一次卡死时间：2026-06-23 22.30 左右，
刚开始只有系统盘， 卡死后加了数据盘迁移到了 数据盘，只有containerd在系统盘，
官方售后回复：
但是这个数据量跟上面的两条指令 的查询结果对不上
实例诊断：然后今天我把containerd 也移动到了数据盘，诊断就没有磁盘的告警了。

排查：
没有慢日志，
没有定时任务，
数据量不大
docker没有大量错误日志
docker没有疯狂重启
没有大量并发
前三次都是间隔一天卡死，最后一次是间隔两天。 请问一下，我需要怎么排查是哪里的问题？ 官方说是130m/s 打满了，但是命令查询没有找到打满的数据。发生的时间点也没有特殊操作，要怎么查询这个问题呢， 操作系统 rockyliunx
最新回复：结合您提供的 ⁠sar⁠ 盘面日志、双盘对比证据，以及云平台底层的最新诊断报告。

对于 NVMe 类型的云盘，57-72ms 的延迟在业内是不正常的。
这是一次由“底层宿主机局部故障”与“上层应用微爆发限流”叠加导致的性能降级事件。

在 2026-06-23 当天，该实例所在的底层宿主机操作系统遭遇了“磁盘空间满”及软硬件性能抖动。这导致宿主机物理侧的 I/O 处理基础响应变慢。
目前实例已通过热迁移彻底离开了受影响的宿主机，业务已恢复正常。

结合您实例的两块云盘具体配置，我们进一步锁定了延迟差异的核心技术原因。

  1. 系统盘（ESSD PL0 级别）： 规格为 120GB / 3,240 IOPS。
    该盘的基准性能较低（属于 PL0 级别，吞吐量上限为 130 MiB/s）。当底层宿主机在 22:37 左右发生软硬件性能抖动时，共享资源的争抢直接导致该盘的 I/O 处理能力大幅下降。此时业务层稍微出现微爆发（Micro-bursting）请求，就极易瞬间将 130 MiB/s 的吞吐量打满，导致 I/O 在底层严重积压排队，从而引发了您看到的 ⁠r_await⁠ 飙升至 57-72ms 的现象。
  2. 数据盘1（ESSD AutoPL 级别）：规格为 200GB / 11,800 IOPS。
    该盘不仅基准 IOPS 远高出系统盘数倍，而且属于 AutoPL（自动配置性能级别） 云盘。这具备极强的性能弹性缩扩容能力。即使上层应用有激烈的瞬时微爆发流量，AutoPL 也能在毫秒级内自动提供更高的性能支撑；加之其在底层分布于不同的物理存储节点，完全避开了系统盘所在物理节点的干扰。因此，数据盘在全程表现得毫无波动，稳定在 12ms。

这进一步证明了实例内部的系统架构和操作系统本身并无问题，核心原因确实是系统盘（基准规格较低）在特定时段遭遇了底层宿主机异常与业务微爆发流量的双重冲击。目前实例已通过热迁移彻底离开了受影响的宿主机，业务已恢复正常。

然后 2026-06-27 03：33 客服发现系统无法登录，检测发现两块磁盘都爆了，# sar -d -f /var/log/sa/sa27
Linux 6.12.0-211.22.1.el10_2.x86_64 (iZrc9p1Z) 06/27/2026 x86_64 (8 CPU)

12:00:25 AM DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util
12:10:25 AM nvme0n1 41.68 730.32 286.05 0.00 24.38 0.01 0.28 0.44
12:10:25 AM nvme1n1p1 15.29 526.41 19.01 0.00 35.66 0.01 0.93 0.30
12:20:26 AM nvme0n1 32.53 603.90 283.68 0.00 27.29 0.01 0.27 0.36
12:20:26 AM nvme1n1p1 6.11 287.64 3.88 0.00 47.70 0.01 1.25 0.05
12:30:26 AM nvme0n1 33.55 587.23 286.58 0.00 26.05 0.01 0.25 0.34
12:30:26 AM nvme1n1p1 6.73 255.84 3.63 0.00 38.54 0.01 1.23 0.04
12:40:27 AM nvme0n1 26.75 102.89 278.99 0.00 14.28 0.01 0.19 0.29
12:40:27 AM nvme1n1p1 1.23 47.89 2.59 0.00 41.18 0.00 0.97 0.01
12:50:27 AM nvme0n1 27.97 343.21 279.54 0.00 22.27 0.01 0.22 0.28
12:50:27 AM nvme1n1p1 3.45 168.60 5.78 0.00 50.49 0.00 0.97 0.05
01:00:18 AM nvme0n1 25.53 69.04 294.61 0.00 14.24 0.00 0.18 0.27
01:00:18 AM nvme1n1p1 3.11 108.79 8.34 0.00 37.69 0.00 0.67 0.07
01:10:20 AM nvme0n1 30.94 129.89 338.36 0.00 15.13 0.01 0.18 0.32
01:10:20 AM nvme1n1p1 1.24 32.73 2.97 0.00 28.74 0.00 0.95 0.01
01:20:28 AM nvme0n1 27.31 222.15 276.55 0.00 18.26 0.01 0.20 0.29
01:20:28 AM nvme1n1p1 3.04 115.13 2.70 0.00 38.71 0.00 1.25 0.02
01:30:29 AM nvme0n1 25.86 64.19 276.35 0.00 13.17 0.00 0.18 0.27
01:30:29 AM nvme1n1p1 4.85 178.96 29.89 0.00 43.05 0.00 0.82 0.11
01:40:29 AM nvme0n1 28.90 342.54 257.32 0.00 20.76 0.01 0.22 0.27
01:40:29 AM nvme1n1p1 2.46 69.36 2.36 0.00 29.14 0.00 1.20 0.02
01:50:32 AM nvme0n1 28.16 396.06 254.90 0.00 23.12 0.01 0.22 0.27
01:50:32 AM nvme1n1p1 3.84 150.62 3.26 0.00 40.12 0.00 1.13 0.03
02:00:32 AM nvme0n1 32.70 460.34 282.43 0.00 22.71 0.01 0.26 0.28
02:00:32 AM nvme1n1p1 6.14 250.77 5.86 0.00 41.82 0.01 0.98 0.09
02:10:31 AM nvme0n1 23.83 67.98 270.29 0.00 14.19 0.00 0.19 0.25
02:10:31 AM nvme1n1p1 1.15 56.73 3.92 0.00 52.66 0.00 0.69 0.02
02:20:31 AM nvme0n1 25.53 14.33 287.53 0.00 11.82 0.00 0.17 0.27
02:20:31 AM nvme1n1p1 0.95 23.33 2.18 0.00 26.78 0.00 0.78 0.01
02:30:31 AM nvme0n1 25.48 107.90 265.09 0.00 14.64 0.00 0.18 0.27
02:30:31 AM nvme1n1p1 1.17 31.75 2.01 0.00 28.91 0.00 0.91 0.01
02:40:32 AM nvme0n1 25.96 172.67 259.95 0.00 16.66 0.01 0.21 0.27
02:40:32 AM nvme1n1p1 1.64 73.64 2.41 0.00 46.51 0.00 1.08 0.01
02:50:33 AM nvme0n1 51.93 1818.28 253.02 0.00 39.89 0.02 0.35 0.42
02:50:33 AM nvme1n1p1 26.34 1581.23 7.17 0.00 60.32 0.03 1.26 0.25
03:00:34 AM nvme0n1 101.27 5856.43 279.28 0.00 60.59 0.05 0.51 0.69
03:00:34 AM nvme1n1p1 71.68 5774.11 9.43 0.00 80.68 0.11 1.48 0.71
03:10:36 AM nvme0n1 296.86 22635.07 279.78 0.00 77.19 0.25 0.84 1.57
03:10:36 AM nvme1n1p1 186.82 22605.44 6.26 0.00 121.03 0.39 2.09 2.42
03:39:16 AM nvme0n1 1143.52 104159.22 303.83 0.00 91.35 1.74 1.52 5.69
03:39:16 AM nvme1n1p1 782.27 104834.14 16.63 0.00 134.03 105.79 135.23 70.39

Average: DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util
Average: nvme0n1 191.55 15232.52 281.75 0.00 81.00 0.25 1.29 1.09
Average: nvme1n1p1 118.36 15211.68 7.83 0.00 128.59 13.88 117.28 9.41

03:45:51 AM LINUX RESTART (8 CPU)

03:50:01 AM DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util
04:00:01 AM nvme0n1 2.54 85.50 15.25 0.00 39.59 0.00 0.73 0.05
04:00:01 AM nvme1n1 24.12 81.31 264.53 0.00 14.34 0.00 0.18 0.26
Average: nvme0n1 2.54 85.50 15.25 0.00 39.59 0.00 0.73 0.05
Average: nvme1n1 24.12 81.31 264.53 0.00 14.34 0.00 0.18 0.26 ，整体容器 日志大小如下：
du -sh /soft/data/docker/containers/ / .log 2>/dev/null | sort -rh | head -10
13M /soft/data/docker/containers/438e2412f42c3cf87e2d7e6f2937e231ca982660c94f4b40d95819987a667c52/438e2412f42c3cf87e2d7e6f2937e231ca982660c94f4b40d95819987a667c52-json.log
5.7M /soft/data/docker/containers/daab8ebf058da5e5da305b6187f89dcea090414d50d4336ba3c5e9c8ab54d897/daab8ebf058da5e5da305b6187f89dcea090414d50d4336ba3c5e9c8ab54d897-json.log
4.1M /soft/data/docker/containers/87644b9ffb0655c15250e343593b9381915ae78a601688bc07b03daf0b11e6c7/87644b9ffb0655c15250e343593b9381915ae78a601688bc07b03daf0b11e6c7-json.log
660K /soft/data/docker/containers/755e5db4a38d95b16fe6a6f9e57111aed193f552f9a98e2aca6a380e185a751e/755e5db4a38d95b16fe6a6f9e57111aed193f552f9a98e2aca6a380e185a751e-json.log
104K /soft/data/docker/containers/edc4a52b2e4c683f5daffe344c8f4a4d983b95c431246f3d93c78793b0891449/edc4a52b2e4c683f5daffe344c8f4a4d983b95c431246f3d93c78793b0891449-json.log
48K /soft/data/docker/containers/16a9d0ccf79aa592364de37b335cd2a95466ac890cb523c9d1c2525d12d8f294/16a9d0ccf79aa592364de37b335cd2a95466ac890cb523c9d1c2525d12d8f294-json.log
8.0K /soft/data/docker/containers/1d92346cd8fd18a1a4b8b374cefa51a8cd01262fc05aa6761ef86bf91461bd4f/1d92346cd8fd18a1a4b8b374cefa51a8cd01262fc05aa6761ef86bf91461bd4f-json.log
4.0K /soft/data/docker/containers/42e139ad2c600b0e8cc2da90b0a4c19a3a50b74fd2593b066eebcaec61c5c779/42e139ad2c600b0e8cc2da90b0a4c19a3a50b74fd2593b066eebcaec61c5c779-json.log
就这么点量，怎么把两块磁盘都干爆的？

journalctl --since "2026-06-27 02:50:00" --until "2026-06-27 03:40:00" 日志如下

  1. Jun 27 03:10:36 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: Starting sysstat-collect.service - system activity accounting tool...
  2. Jun 27 03:10:36 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: sysstat-collect.service: Deactivated successfully.
  3. Jun 27 03:10:36 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: Finished sysstat-collect.service - system activity accounting tool.
  4. Jun 27 03:18:38 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: Starting fwupd-refresh.service - Refresh fwupd metadata and update motd...
  5. Jun 27 03:18:55 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: Starting <<modprobe@sd_mod.service>> - Load Kernel Module sd_mod...
  6. Jun 27 03:18:56 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: <<modprobe@sd_mod.service>>: Deactivated successfully.
  7. Jun 27 03:18:56 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: Finished <<modprobe@sd_mod.service>> - Load Kernel Module sd_mod.
  8. Jun 27 03:18:57 iZrj9j0xpdvhwjy2xgc9p1Z systemd[1]: Starting fwupd.service - Firmware update daemon...
  9. Jun 27 03:20:51 iZrj9j0xpdvhwjy2xgc9p1Z dockerd[7875]: time="2026-06-27T03:20:25.368202153+08:00" level=warning msg="Health check for container >
  10. Jun 27 03:20:51 iZrj9j0xpdvhwjy2xgc9p1Z dockerd[7875]: time="2026-06-27T03:20:51.303881400+08:00" level=warning msg="Health check for container >
  11. Jun 27 03:21:26 iZrj9j0xpdvhwjy2xgc9p1Z containerd[7857]: time="2026-06-27T03:21:21.700412352+08:00" level=error msg="ttrpc: received message on>
  12. Jun 27 03:22:06 iZrj9j0xpdvhwjy2xgc9p1Z containerd[7857]: time="2026-06-27T03:21:21.331728020+08:00" level=error msg="post event" error="context>
  13. Jun 27 03:22:06 iZrj9j0xpdvhwjy2xgc9p1Z containerd[7857]: time="2026-06-27T03:21:31.103776822+08:00" level=error msg="forward event" error="cont>
  14. Jun 27 03:22:06 iZrj9j0xpdvhwjy2xgc9p1Z containerd[7857]: time="2026-06-27T03:21:53.026877977+08:00" level=error msg="forward event" error="cont>
  15. Jun 27 03:23:15 iZrj9j0xpdvhwjy2xgc9p1Z containerd[7857]: time="2026-06-27T03:22:13.774107226+08:00" level=error msg="forward event" error="cont>
  16. Jun 27 03:23:15 iZrj9j0xpdvhwjy2xgc9p1Z containerd[7857]: time="2026-06-27T03:22:32.094578059+08:00" level=error msg="forward event" error="cont>

image.png

image.png

image.png

image.png

image.png

image.png

avatar
文章
阅读
粉丝