在开发 Android 清理工具(Cleaner App)时,我们面临着一个巨大的性能挑战:如何从手机存储的海量文件中,快速找出垃圾文件?
背景:暴力匹配的性能灾难
通常,我们会预先准备一个垃圾文件名关键字数组,比如 [cache, log, tmp, thumb, apk...]。判断垃圾的逻辑很简单:只要文件名或路径中包含这些关键字中的任何一个,我们便将其标记为垃圾。
但现实很骨感:垃圾关键字可能多达上百个,而手机里的文件数量轻松破万。如果采用传统的暴力匹配(比如双层 for 循环配合 contains,或者编写复杂的正则表达式),我们需要对每一个文件,去遍历比对上百个关键字。这意味着几百万次的字符串扫描,CPU 占用极高,扫描极慢,更会导致手机急剧发热、电量狂掉。
为了打破这个性能瓶颈,我们在底层引擎中引入了多模式匹配的神级算法:AC 自动机(Aho-Corasick Automaton) 。
第一步:构建 Trie 字典树
AC 自动机的第一步,是将我们预先准备好的关键字数组,在内存中构建成一棵字典树(Trie)。
假设我们的关键字是 [sheer, he, ee],构建出的树形结构如下:
text
(root)
/ \
s h(h1) -> e(e2)
|
h(h0)
|
e(e0)
|
e(e1)
|
r
(root) -> e(e3) -> e(e4)
第二步:引入“失败指针”
这是 AC 自动机的灵魂。所谓失败指针,是指当前树结构中(除去当前所在路径),实际存在的一个节点。从根节点到该节点所构成的字符串,与当前节点拥有最长的共同后缀。
在实际编码计算中,我们采用父节点定位法:
- 根节点的所有直接子节点,失败指针都指向根节点。
- 对于其他节点,我们找到其父节点的失败指针,然后看该指针指向的节点下,有没有和当前节点相同的子节点。如果有,这就是当前节点的失败指针;如果没有,继续顺着父节点的失败指针往上回溯,直到根节点。
- 如果回溯到了根节点,依然没有相同的子节点,则失败指针指向根节点(如果根节点下有相同的子节点,就指向那个节点)。
根据这个法则,我们推导上述树结构的失败指针:
- 第一层:
s、h1、e3的失败指针,全部指向 根节点。 - 第二层:
h0的父节点s指向 root,root 下有h1,所以h0 -> h1。e2的父节点h1指向 root,root 下有e3,所以e2 -> e3。e4的父节点e3指向 root,root 下无匹配,所以e4 -> root。 - 第三层:
e0的父节点h0指向h1,h1下有e2,所以e0 -> e2。 - 第四层:
e1的父节点e0指向e2。e2下没有e3,继续回溯:e2指向e3,e3下有e4,所以e1 -> e4。r节点的父节点e1指向e4,无匹配,所以r -> root。
第三步:扫描文本(实战匹配)
树和失败指针准备好之后,就可以开始扫描文件名了。
匹配原则:
从字符串第一个字符开始,沿着树往下走。
- 走不通就跳:一旦发现不匹配的字符,立刻顺着当前节点的失败指针“换条路”继续匹配,文本指针绝不回退。
- 走通了也要“查链” :每当成功匹配一个字符时,我们不能只看当前节点是否是叶子节点,必须顺着当前节点的失败指针链一直向上回溯(直到根节点),检查这条链上是否有任何一个节点是关键词的结尾。只要有,立刻命中!
实战推演:
假设我们有一个文件名:hoostcache。
垃圾关键字为: [hoot, ostcac, cache] 。
-
读
h、读o、读o:顺利走到节点h -> o -> o。 -
读
s:此时在h->o->o,发现下面没有s,走不通了。- 触发失败指针:回溯它的后缀,发现树里有
o(ostcac的起点),失败指针指向root -> o。 - 指针跳跃到
root -> o,手里还拿着s。看o下面有s吗?有!进o -> s。
- 触发失败指针:回溯它的后缀,发现树里有
-
读
t、读c、读a、读c:顺利走到节点o -> s -> t -> c -> a -> c。- 触发查链:这个节点是
ostcac的结尾吗?是!立刻命中关键字ostcac。由于我们的业务诉求(只要有一个命中就判定为垃圾),直接短路返回,不再继续扫描。
- 触发查链:这个节点是
总结
通过引入 AC 自动机,我们彻底消灭了正则表达式带来的性能灾难。无论关键字数组有 100 个还是 10000 个,匹配的时间复杂度永远只跟文件名的长度(O(L))有关。 这是清理引擎能做到“秒级扫描数万文件”的核心秘密。