大家好,我是小水珠。 上一讲,我在讲String对象优化时,提到了Split()方法,该方法使用的正则表达式可能引起回溯问题,今天我们就来深入了解下,这究竟时怎么回事?
开始之前呢,我们先来看一个案例,可以帮助你更好的理解内容。
在一次小型项目中,我遇到过这样一个问题,为了宣传新品,我们开发了一个小程序,按照之前评估的访问量,这次活动预计参与用户量30万+,TPS(每秒事务处理量)最高3000左右。
这个结果来自我对接口做的微基准性能测试。我习惯使用ab工具(通过yum -y install httpd-tools可以快速安装) 在另一台机器上对http请求接口进行测试。我们可以通过-n请求数,-c并发用户数来模拟线上的峰值请求,在通过TPS,RT(每秒响应时间)以及每秒请求时间分布情况这三个指标来衡量接口的性能。
在做性能测试的时候,我发现有一个提交接口的TPS一直上不去,最后发现就是因为使用了Split()方法导致TPS明显下降了。
可是一个Split()方法为什么会影响到TPS呢?下面我们就来了解下正在表达式的相关内容,学完了答案也就出来了。
什么是正则表达式?
正则表达式引擎
目前实现正则表达式引擎的方式有两种:DFA自动机(确定有限状态自动机)和NFA自动机(非确定有限状态自动机)
对比来看,构造DFA自动机的代价远大于NFA自动机,但DFA自动机的效率高于NFA自动机。
假设一个字符串的长度是n,如果用DFA自动机作为正则表达引擎,则匹配的时间复杂度为O(n);如果用NFA自动机作为正则表达式引擎,由于NFA自动机在匹配过程中存在大量的分支和回溯,假设NFA的状态数为s,则该匹配算法的时间复杂度为O(ns)。
NFA自动机的优势是支持更多功能。例如,捕获group,环视,占有优先量词等高级功能。这些功能都是基于子表达式独立进行匹配,因此在编程语言里,使用的正则表达式库都是基于NFA实现的。
那么NFA自动机到底是怎么进行匹配的呢?我以下面的字符和表达式来举例说明。
text = "aabcab"
regex = "bc"
NFA自动机的回溯
用NFA自动机实现的比较复杂的正则表达式,在匹配过程中经常会引起回溯问题。大量的回溯会长时间地占用CPU,从而带来系统性能开销。我来举例说明。
text = "abbc"
regex = "ab{1,3}c"
首先,读取正则表达式第一个匹配符a和字符串的第一个字符a进行比较,a对a,匹配。
然后,读取正则表达式第二个匹配符b{1,3}和字符串的第二个字符b进行比较,匹配。但因为b{1,3}表示1-3个b字符串,NFA自动机又具有贪婪特性,所以此时不会继续读取正则表达式的下一个匹配符,而是依旧使用b{1,3}和字符串的第三个字符b进行比较,结果还是比配。
接着继续使用b{1,3}和字符串的第四个字符c进行比较,发现不匹配了,此时就会发生回溯,已经读取的字符串第四个字符c将被吐出去,指针回到第三个字符b的位置。
那么发生回溯以后,匹配过程怎么回溯呢?程序会读取正则表达式的下一个匹配符,和字符串中的第四个字符串c进行比较,结果匹配,结束。
如何减少回溯问题?
1.贪婪模式
顾名思义,就是在数量匹配中,如果单独使用 +,?,* 或{min,max} 等量词,正则表达式会匹配尽可能多的内容。
例如,上面的例子:
text = "abbc"
regex = "ab{1,3}c"
就是在贪婪模式下,NFA自动机读取了大量的匹配范围,即匹配3个b字符。匹配发生了一次失败,就引起了一次回溯。如果匹配结果是"abbbc",就会匹配成功。
2.懒惰模式
在该模式下,正则表达式会尽可能少的重复匹配字符。如果匹配成功。它会继续匹配剩余的字符串。
例如,在上面的例子的字符后面就一个"?",就可以开启懒惰模式。
text = "abc"
regex = "ab{1,3}?c"
匹配结果是"abc",该模式下NFA自动机首先会选择最小的匹配范围,即匹配1个b字符,因此就避免了回溯问题。
懒惰模式是无法完全避免回溯的,我们再通过一个例子来了解下懒惰模式在什么情况下回发生回溯问题。
text = "abbc"
regex = "ab{1,3}?c"
首先,读取正则表达第一个匹配符a和字符串第一个字符a进行比较,a对a,匹配。然后,读取正则表达式第二个匹配符b{1,3}和字符串的第二个字符b进行比较,匹配。
其次,由于懒惰模式下,正则表达式会尽可能少的重复匹配字符,匹配字符串中的下一个匹配字符b不会继续与b{1,3}进行匹配,从而选择放弃最大匹配字符b字符,转而匹配正则表达式中的下一个字符c。
此时你会发现匹配字符b与正则表达式中的字符c是不匹配的,这个时候会发生一次回溯,这次回溯与贪婪模式中的回溯正好相反,懒惰模式的回溯是回溯正则表达式中一个匹配字符,与上一个字符再进行匹配。如果匹配,则将匹配字符串的下一个字符和正则表达式的下一个字符。
3.独占模式
同贪婪模式一样,独占模式一样会最大限度地匹配更多内容;不同的是,在独占模式下,匹配失败就结束匹配,不会发生回溯问题。
还是上面的例子,在字符后面加一个“+”,就开启了独占模式。
text = "abbc"
regex = "ab{1,3}+bc"
结果是不匹配,结束匹配,不会发生回溯问题。
同样,独占模式也不能避免回溯的发生,我们再拿最开始的这个例子来分析下:
text = "abbc"
regex = "ab{1,3}+c"
结果是匹配的,这是因为与贪婪模式一样,独占模式一样会最大限度的匹配更多内容,即匹配完所有的b之后,再去匹配c,则匹配成功了。
正则表达式的优化
1.少用贪婪模式,多用独占模式
2.减少分支选择
分支选择类型"(X|Y|Z)"的正则表达式会降低性能,可以通过以下几种方式来优化:
首先:我们需要考虑选择的顺序,将比较常用的选择项放在前面,使它们可以较快被匹配;
其次:我们可以尝试提取公用模式,例如,将"(abcd|abef)"替换为"ab(cd|ef)",后者匹配速度较快,因为NFA自动机会尝试匹配ab,如果没有找到,就不会再尝试任何选项;
最后,如果是简单的分支选择类型,我们可以用三次index代替"(X|Y|Z)"。
3.减少捕获嵌套
捕获组是指把正则表达式中,子表达式匹配的内容保存到以数字编号或者显示命名的数组中,方便后面引用。一般一个()就是一个捕获组,捕获组可以进行嵌套。
非捕获组则是指参与匹配去不进行分组编号的捕获组,其表达式一般由(?:exp)组成。
减少不需要获取的分组,可以提高正则表达式的性能。
总结
正则表达式虽小,却有着强大的匹配功能。我们经常用到它,比如,注册手机号或者邮箱的验证。
但很多时候,我们又会因为它小而忽略它的使用规则,测试用例中又没有覆盖到一些特殊的用例,不乏上线就中招的情况发生。
综合我以往的经验来看,如果使用正则表达式能使你的代码简洁方便,那么在做好性能排查的前提下,可以去使用;如果不能,那么正则表达式能不用就不用,以免造成更多的性能问题。