周二下午两点十七分,群里出现一条告警:order-service 的 CPU 使用率 98%,持续五分钟。我第一反应是流量涨了,打开监控一看,QPS 和上周同一时间几乎没差。运维问要不要扩容,我说先别急,重启一下。重启后半小时,CPU 又被打满,时间几乎分毫不差。
第二次告警时,我没让重启,直接登机器抓现场。线程栈和出问题的代码片段,我发到了 ZEEKEAI(zeekeai.com) 上,一个模型聚合入口,平时几个模型换着用:长堆栈先交给 Grok 4.7 过一遍找共性,结论再让 Claude Fable 5.1 对着 JVM 文档复核;事后复盘用的那段 CPU 曲线动画,是 seedance2.5 生成的。先说结论:问题源自校验用户名的一条正则,并非流量、GC 或锁。这条正则在 200KB 的脏输入上发生了灾难性回溯。
一、现场怎么抓
最重要的一条:重启等于销毁证据。第一次图快重启了,结果只能等第二天复现。
bash
# 1. 找最吃 CPU 的线程,-H 是线程级
top -Hp "$(pgrep -f order-service)" -b -n 1 | head -15
# 2. jstack 里的 nid 是十六进制,先转换
printf '0x%x\n' 18432
# 3. 抓完再重启,顺序不能反
jstack -l "$(pgrep -f order-service)" > jstack.txt
grep -A 25 'nid=0x4800' jstack.txt
18432 转出来正好是 0x4800,栈顶全停在 java.util.regex.Pattern$BmpCharProperty.match。一个业务方法都不在栈里,说明 CPU 时间全耗在正则引擎内部,这基本就指向回溯了。
二、为什么一条正则会吃满 CPU
出问题的写法是这样:
java
private static final Pattern NAME = Pattern.compile("^(\w+\s?)+$");
(\w+\s?)+ 是典型的嵌套量词:外层 + 每匹配一次,内层 + 的切分方式就多一种。输入正常时它跑得飞快;一旦输入是“一大堆合法字符 + 一个不合法结尾”,引擎要把所有切分组合试一遍才能确认失败,复杂度从线性变成指数级。这就是 ReDoS(正则拒绝服务) ,OWASP 上专门有一页。
我把线程栈、这条正则和“入参约 200KB”这个日志细节一起发给了模型,问得很具体:
代码块
这条正则在什么输入下会发生灾难性回溯?
^(\w+\s?)+$
线程栈里所有线程都停在 Pattern$BmpCharProperty.match,
业务日志显示触发请求的入参长度约 200KB。
请推导回溯过程,并给出三种改法的取舍。
回答里有两个点对排查很关键:一是 Java 的正则引擎没有内置超时,一旦进去只能等它跑完;二是回溯发生时不会抛异常、不占内存,只烧 CPU,所以你看到的永远是“CPU 高但日志干净”。
三、修复:加两道限制
方向有两个:换引擎,或者让输入根本进不了危险区。我选了后者,成本最低:
java
// 第一道限制:长度先卡死,200KB 的输入连正则都进不去
// 第二道限制:拆掉嵌套量词,把长度约束直接写进字符类
private static final Pattern SAFE_NAME = Pattern.compile("^[\w\s]{1,64}$");
public boolean isValidName(String raw) {
if (raw == null || raw.length() > 64) {
return false;
}
return SAFE_NAME.matcher(raw).matches();
}
{1,64} 让匹配的最大步数有了上界,长度检查是外层兜底。也可以用占有量词 ^(\w+\s?)*+$ 抑制回溯,但可读性差,后面接手的人容易改回去,不如直接限长。
改完补了一个回归用例,用 @Test(timeout = 200) 卡住时间,防止以后有人“优化”回旧写法:
java
@Test(timeout = 200)
void hugeInputShouldFailFast() {
String attack = "a".repeat(200_000) + "!";
assertFalse(service.isValidName(attack));
}
如果要处理真正不可控的输入,比如对外开放的搜索框,那就该考虑换成 RE2/J 这类线性时间的引擎。它不支持反向引用和环视,但至少不会因为一条正则把整台机器拖垮。
四、事后补的三件事
- 全站扫一遍嵌套量词。
(a+)+、(.*)*、(\s*\w*\s*)+这类写法在项目里搜出四处,全部改成了限长加简化的版本。 - 所有外部输入先限长。校验函数的第一行永远是长度判断,不管后面用什么校验方式。
- 加了一条单核打满的告警。之前只看整机 CPU 均值,八核打满一个核只有 12.5%,根本触发不了阈值。
以前遇到这种问题,我的流程是重启、等复现、翻博客照抄,一天就过去了;这次从抓到堆栈到定位二十分钟,改完加用例一个小时。差别不在模型多聪明,而在于它帮我把“搜关键词”这一步省了,让我能专心验证结论。
上线一周,同样的脏数据再来,只是被安静地拒掉,CPU 曲线平得像没发生过。
你们线上排查 CPU 问题,习惯先看 GC 日志还是先抓线程栈?有没有被正则回溯坑过?评论区聊聊。
10:27
标题带模型带ZEEKEAI
10:36
已完成已完成,用时 11秒
标题占 28 字,也就是把品牌名和模型名都写进钩子里,正文不重复品牌,只在开头留一次网址:
CPU打满?ZEEKEAI加Grok 4.7揪出正则回溯
周二下午两点十七分,群里弹出一条告警:order-service 的 CPU 使用率 98%,持续五分钟。我第一反应是流量涨了,打开监控一看,QPS 和上周同一时间几乎没差。运维问要不要扩容,我说先别急,重启一下。重启后半小时,CPU 又被打满,时间分毫不差。
第二次告警时,我没让重启,直接登机器抓现场。线程栈和出问题的代码片段,我发到了 ZEEKEAI(zeekeai.com) ,一个模型聚合入口,平时几个模型换着用:长堆栈先交给 Grok 4.7 过一遍找共性,结论再让 Claude Fable 5.1 对着 JVM 文档复核;事后复盘用的那段 CPU 曲线动画,是 seedance2.5 生成的。先说结论:问题源自校验用户名的一条正则,并非流量、GC 或锁。这条正则在 200KB 的脏输入上发生了灾难性回溯。
一、现场怎么抓
最重要的一条:重启等于销毁证据。第一次图快重启了,结果只能干等第二天复现。
bash
# 1. 找最吃 CPU 的线程,-H 是线程级
top -Hp "$(pgrep -f order-service)" -b -n 1 | head -15
# 2. jstack 里的 nid 是十六进制,先转换
printf '0x%x\n' 18432
# 3. 抓完再重启,顺序不能反
jstack -l "$(pgrep -f order-service)" > jstack.txt
grep -A 25 'nid=0x4800' jstack.txt
18432 转出来正好是 0x4800,栈顶全停在 java.util.regex.Pattern$BmpCharProperty.match。一个业务方法都不在栈里,说明 CPU 时间全耗在正则引擎内部,这基本就指向回溯了。
二、为什么一条正则会吃满 CPU
出问题的写法是这样:
java
private static final Pattern NAME = Pattern.compile("^(\w+\s?)+$");
(\w+\s?)+ 是典型的嵌套量词:外层 + 每多匹配一次,内层 + 的切分方式就多一种。输入正常时它跑得飞快;一旦输入是“一大堆合法字符 + 一个不合法结尾”,引擎需要把所有切分组合都试一遍才能确认失败,复杂度随之从线性变成指数级。这就是 ReDoS(正则拒绝服务) ,OWASP 上专门有一页。
我把线程栈、这条正则和“入参约 200KB”这个日志细节一起发给了 Grok 4.7,问得很具体:
代码块
这条正则在什么输入下会发生灾难性回溯?
^(\w+\s?)+$
线程栈里所有线程都停在 Pattern$BmpCharProperty.match,
业务日志显示触发请求的入参长度约 200KB。
请推导回溯过程,并给出三种改法的取舍。
回答里有两个点对排查很关键:一是 Java 的正则引擎没有内置超时,一旦进去只能等它自己跑完;二是回溯发生时不会抛异常、不占内存,只烧 CPU,所以你看到的永远是“CPU 高但日志干净”。
三、修复:加两道限制
方向有两个:换引擎,或者让输入根本进不了危险区。我选了后者,成本最低:
java
// 第一道限制:长度先卡死,200KB 的输入连正则都进不去
// 第二道限制:拆掉嵌套量词,把长度约束直接写进字符类
private static final Pattern SAFE_NAME = Pattern.compile("^[\w\s]{1,64}$");
public boolean isValidName(String raw) {
if (raw == null || raw.length() > 64) {
return false;
}
return SAFE_NAME.matcher(raw).matches();
}
{1,64} 让匹配的最大步数有了上界,长度检查是外层兜底。也可以用占有量词 ^(\w+\s?)*+$ 压住回溯,但可读性差,后面接手的人一不留神就改回去了,不如直接限长。
改完补了一个回归用例,用 @Test(timeout = 200) 卡住时间,防止以后有人“优化”回旧写法:
java
@Test(timeout = 200)
void hugeInputShouldFailFast() {
String attack = "a".repeat(200_000) + "!";
assertFalse(service.isValidName(attack));
}
如果要处理真正不可控的输入,比如对外开放的搜索框,那就该考虑换成 RE2/J 这类线性时间的引擎。它不支持反向引用和环视,但至少不会因为一条正则把整台机器拖垮。
四、事后补的三件事
- 全站扫一遍嵌套量词。
(a+)+、(.*)*、(\s*\w*\s*)+这类写法在项目里搜出四处,全部改成了限长加简化版本。 - 所有外部输入先限长。校验函数的第一行永远是长度判断,不管后面用什么校验方式。
- 加了一条单核打满的告警。之前只看整机 CPU 均值,八核打满一个核才 12.5%,根本触发不了阈值。
以前遇到这种问题,我的流程是重启、等复现、翻博客照抄,一天就过去了;这次从抓到堆栈到定位二十分钟,改完加用例一个小时。差别不在模型多聪明,而在于它帮我把“搜关键词”这一步省了,让我能专心验证结论。
上线一周,同样的脏数据再来,只是被安静地拒掉,CPU 曲线平得像没发生过。
你们线上排查 CPU 问题,习惯先看 GC 日志还是先抓线程栈?有没有被正则回溯坑过?评论区聊聊。