云数据库半夜卡顿,CPU才30%?深挖云盘IOPS突发限制与内核挂起机制

0 阅读5分钟

大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!

前几天半夜,业务群里有开发在喊:“系统卡死了,查个订单半天出不来!”

我爬起来连上服务器,第一反应是查慢SQL和CPU。结果一看监控:CPU使用率才 30%,慢日志里空空如也,SHOW PROCESSLIST 也没有看到明显的锁等待。

这就奇了怪了,CPU没满,锁没堵,内存也够,业务为什么卡?

最后在操作系统层面,我用 iostat -x 1 盯了一下,抓到了真凶:云盘的 %util 直接飙到了 100%,await 响应时间达到了几百毫秒。

为什么数据库看起来“很闲”,系统却像被冻住了一样?今天咱们就扒一扒云原生时代,云盘给DBA挖的那些“隐形坑”。

一、云盘的“隐形天花板”:突发 IOPS 限制

在传统的物理机时代,如果本地插的是几块高性能 NVMe SSD,IOPS 基本是固定的,有多大能力干多少活。

但在云上,情况变了。很多云厂商提供的 ESSD 云盘(尤其是入门级或某些特定规格),采用的是**“基线 IOPS + 突发额度”**的机制。

比如说,一块云盘的基线 IOPS 只有 5000,但它给你提供了 50000 的突发 IOPS 额度(靠 Token 桶算法控制)。只要你的 Token 没用完,随便你狂奔;但一旦 Token 耗尽,IOPS 会被瞬间硬限制回 5000。

这带来的直接后果是:
白天业务平稳,写入量不大,Token攒得满满的;半夜突然跑个批量任务,或者业务有个小高峰,瞬间打满了 Token。然后,云盘的性能毫无征兆地“断崖式下跌”。

这时候,数据库发起的 I/O 请求全在操作系统的队列里死等。表现为:数据库像死了一样卡住,但实际上后台的 I/O 根本做不完。

二、深挖:InnoDB 为什么会因为 I/O 慢而“假死”?

为什么磁盘 I/O 慢,会导致数据库彻底卡顿?这就得说说 InnoDB 的脏页刷盘机制和 “连坐”效应。

在 InnoDB 的底层,当内存里的脏页(Dirty Page)达到一定比例(默认 innodb_max_dirty_pages_pct=75%),后台线程会开始刷盘。

在云上,如果你的 I/O 被限速了,脏页刷不下去,内存里的脏页就会越积越多。当脏页比例达到 90% 时,InnoDB 会触发强制同步刷盘(Fatal Flush)。
在这个状态下,所有的用户请求都会被挂起(Stall),必须等脏页刷完才能继续执行。这就是为什么 CPU 只有 30%,数据库却完全不响应。

另外,云盘 I/O 延迟高,会导致写入 Redo Log 的 fsync 操作变慢。一旦组提交(Group Commit)卡在磁盘上,整个数据库的写入链路直接瘫痪。

三、云环境调优:别把云盘当物理机用

很多 DBA 上云之后,直接把物理机时代的 my.cnf 拷贝过去,这是会出大问题的。针对云盘的特性,必须做参数微调:

1. 修正 innodb_io_capacity
在物理机上,这个值通常设为 200-2000;但在云上,如果你发现云盘的总 IOPS 很高,但基线很低,千万不要盲目调大。
一旦调大,InnoDB 会认为自己有足够的 I/O 能力,从而快速产生大量脏页并猛烈刷盘,瞬间打爆云盘的 Token 桶。
建议: 将 innodb_io_capacity 设置为云盘基线 IOPS 的 50% 左右;innodb_io_capacity_max 设置为基线 IOPS。给突发留点余量,不要天天把 Token 榨干。

2. 改变刷脏策略
适当调小 innodb_max_dirty_pages_pct(比如从默认的 75% 降到 50%)。让后台线程更早、更平滑地开始刷盘,避免瞬间积累大量脏页后触发强制同步刷盘(Stall)。

3. 开启异步 I/O
检查 innodb_use_native_aio 是否开启。云环境下的底层存储网络通常支持异步 IO,这能显著减少 I/O 等待对数据库主线程的阻塞。

四、排查利器:怎么看透云盘的底牌?

不要只看云厂商控制台的“平均 IOPS”,那个数据往往掩盖了突发瓶颈。必须登录主机用命令行:

# 持续监控磁盘利用率和响应时间
iostat -x 1 

# 重点看这两列:
# %util:如果持续接近 100%,说明 I/O 饱和,队列满了。
# await:I/O 的平均等待时间。如果从正常的 1-2ms 飙升到 50ms 以上,绝对被限速了。

此外,用 pidstat -d 1 可以排查到底是哪个进程在疯狂读写,锁定源头。

五、小结

云环境下的数据库卡顿,很多锅都不在数据库自己身上。CPU 没满、慢日志没记录,不代表没瓶颈。一旦遇到不明原因的“假死”,第一时间看操作系统的 I/O 监控。认清云盘的 Token 机制,合理设置 innodb_io_capacity,别拿物理机的经验硬套云原生环境,才能避免半夜白白背锅。

小耶在手,SQL 不愁

还有什么想了解的,欢迎留言!小耶一定知无不言言无不尽……我们下次见~