基于字典的文本搜索的优化策略

华科小丁
41 阅读3分钟

在前台页面，要求对一个文档进行搜索，后台采用接口方式接收用户输入的词条或者词组，并返回文档中这些词条或词组的出现次数。在一次压力测试中，发现这个接口随着压力增加，响应时间不断加长，给用户造成了较差的体验。经过分析，我们发现接口执行时间主要花费在对文档的搜索上，搜索的算法采用的是正则表达式逐一匹配，且没有对词条进行优化。

2、解决方案： 针对以上问题，我们针对性的做了以下优化：

采用Trie树进行搜索： Trie树是一种树形数据结构，用于存储字符串。它的特点是，每个节点都存储一个字符，而每个节点的子节点都存储着该字符的下一个字符。这样，我们可以通过沿着Trie树的路径，来快速查找一个字符串。 使用Trie树进行搜索的算法如下：

  1. 从Trie树的根节点开始，沿着字符串的第一个字符的路径向下移动。
  2. 如果在Trie树中找到了该字符的节点，则继续沿着字符串的第二个字符的路径向下移动。
  3. 重复步骤2，直到到达字符串的最后一个字符。
  4. 如果在Trie树中找到了字符串最后一个字符的节点，则说明字符串在Trie树中存在。否则，字符串不在Trie树中。

下面我们使用Python来实现一个Trie树：

class TrieNode:
    def __init__(self):
        self.children = {}
        self.is_word = False

class Trie:
    def __init__(self):
        self.root = TrieNode()

    def insert(self, word):
        current = self.root
        for char in word:
            if char not in current.children:
                current.children[char] = TrieNode()
            current = current.children[char]
        current.is_word = True

    def search(self, word):
        current = self.root
        for char in word:
            if char not in current.children:
                return False
            current = current.children[char]
        return current.is_word

    def starts_with(self, prefix):
        current = self.root
        for char in prefix:
            if char not in current.children:
                return False
            current = current.children[char]
        return True

# 使用示例
trie = Trie()
trie.insert("apple")
trie.insert("banana")
trie.insert("cherry")

print(trie.search("apple"))  # True
print(trie.search("banana"))  # True
print(trie.search("cherry"))  # True
print(trie.search("dog"))  # False

print(trie.starts_with("app"))  # True
print(trie.starts_with("ban"))  # True
print(trie.starts_with("che"))  # True
print(trie.starts_with("dog"))  # False

对词条进行预处理：

  • 首先，我们需要将词条进行预处理，将词条中的所有标点符号和数字去掉，并将其转换为小写。
  • 其次，我们需要将词条进行排序，这样可以减少搜索的时间。
import string

def preprocess_word(word):
    # 去掉标点符号和数字
    word = word.translate(str.maketrans('', '', string.punctuation + string.digits))
    # 转换为小写
    word = word.lower()
    return word

def sort_words(words):
    # 对词条进行排序
    return sorted(words)

优化搜索算法：

  • 首先，我们需要将文档中的所有词语提取出来。
  • 其次，我们需要遍历文档中的每个词语，并使用Trie树进行搜索。
  • 最后，我们需要将搜索结果存储到一个字典中，字典的键是词语，字典的值是词语在文档中出现的次数。
def search_document(document, words):
    # 将文档中的所有词语提取出来
    words_in_document = extract_words(document)

    # 创建一个字典来存储搜索结果
    search_results = {}

    # 遍历文档中的每个词语，并使用Trie树进行搜索
    for word in words_in_document:
        if trie.search(word):
            # 如果词语在Trie树中存在，则将其添加到搜索结果中
            if word not in search_results:
                search_results[word] = 0
            search_results[word] += 1

    # 返回搜索结果
    return search_results

经过以上优化后，接口的执行时间大幅度减少，响应时间得到了明显的改善，用户体验也得到了提升。

avatar
文章
阅读
粉丝