从海量文件扫描到极致性能:Android 清理工具中的 AC 自动机实战

22 阅读4分钟

在开发 Android 清理工具(Cleaner App)时,我们面临着一个巨大的性能挑战:如何从手机存储的海量文件中,快速找出垃圾文件?

背景:暴力匹配的性能灾难

通常,我们会预先准备一个垃圾文件名关键字数组,比如 [cache, log, tmp, thumb, apk...]。判断垃圾的逻辑很简单:只要文件名或路径中包含这些关键字中的任何一个,我们便将其标记为垃圾。

但现实很骨感:垃圾关键字可能多达上百个,而手机里的文件数量轻松破万。如果采用传统的暴力匹配(比如双层 for 循环配合 contains,或者编写复杂的正则表达式),我们需要对每一个文件,去遍历比对上百个关键字。这意味着几百万次的字符串扫描,CPU 占用极高,扫描极慢,更会导致手机急剧发热、电量狂掉。

为了打破这个性能瓶颈,我们在底层引擎中引入了多模式匹配的神级算法:AC 自动机(Aho-Corasick Automaton) 。

第一步:构建 Trie 字典树

AC 自动机的第一步,是将我们预先准备好的关键字数组,在内存中构建成一棵字典树(Trie)。

假设我们的关键字是 [sheer, he, ee],构建出的树形结构如下:

text

          (root)
         /      \
        s        h(h1) -> e(e2)
        |
        h(h0)
        |
        e(e0)
        |
        e(e1)
        |
        r
      (root) -> e(e3) -> e(e4)

第二步:引入“失败指针”

这是 AC 自动机的灵魂。所谓失败指针,是指当前树结构中(除去当前所在路径),实际存在的一个节点。从根节点到该节点所构成的字符串,与当前节点拥有最长的共同后缀。

在实际编码计算中,我们采用父节点定位法:

  1. 根节点的所有直接子节点,失败指针都指向根节点。
  2. 对于其他节点,我们找到其父节点的失败指针,然后看该指针指向的节点下,有没有和当前节点相同的子节点。如果有,这就是当前节点的失败指针;如果没有,继续顺着父节点的失败指针往上回溯,直到根节点。
  3. 如果回溯到了根节点,依然没有相同的子节点,则失败指针指向根节点(如果根节点下有相同的子节点,就指向那个节点)。

根据这个法则,我们推导上述树结构的失败指针:

  • 第一层:s、h1、e3 的失败指针,全部指向 根节点。
  • 第二层:h0 的父节点 s 指向 root,root 下有 h1,所以 h0 -> h1。e2 的父节点 h1 指向 root,root 下有 e3,所以 e2 -> e3。e4 的父节点 e3 指向 root,root 下无匹配,所以 e4 -> root。
  • 第三层:e0 的父节点 h0 指向 h1,h1 下有 e2,所以 e0 -> e2。
  • 第四层:e1 的父节点 e0 指向 e2。e2 下没有 e3,继续回溯:e2 指向 e3,e3 下有 e4,所以 e1 -> e4。r 节点的父节点 e1 指向 e4,无匹配,所以 r -> root。

第三步:扫描文本(实战匹配)

树和失败指针准备好之后,就可以开始扫描文件名了。

匹配原则:
从字符串第一个字符开始,沿着树往下走。

  1. 走不通就跳:一旦发现不匹配的字符,立刻顺着当前节点的失败指针“换条路”继续匹配,文本指针绝不回退。
  2. 走通了也要“查链” :每当成功匹配一个字符时,我们不能只看当前节点是否是叶子节点,必须顺着当前节点的失败指针链一直向上回溯(直到根节点),检查这条链上是否有任何一个节点是关键词的结尾。只要有,立刻命中!

实战推演:
假设我们有一个文件名:hoostcache。
垃圾关键字为: [hoot, ostcac, cache] 。

  1. 读 h、读 o、读 o:顺利走到节点 h -> o -> o。

  2. 读 s:此时在 h->o->o,发现下面没有 s,走不通了。

    • 触发失败指针:回溯它的后缀,发现树里有 o(ostcac 的起点),失败指针指向 root -> o。
    • 指针跳跃到 root -> o,手里还拿着 s。看 o 下面有 s 吗?有!进 o -> s。
  3. 读 t、读 c、读 a、读 c:顺利走到节点 o -> s -> t -> c -> a -> c。

    • 触发查链:这个节点是 ostcac 的结尾吗?是!立刻命中关键字 ostcac。由于我们的业务诉求(只要有一个命中就判定为垃圾),直接短路返回,不再继续扫描。

总结

通过引入 AC 自动机,我们彻底消灭了正则表达式带来的性能灾难。无论关键字数组有 100 个还是 10000 个,匹配的时间复杂度永远只跟文件名的长度(O(L))有关。  这是清理引擎能做到“秒级扫描数万文件”的核心秘密。