那些年被Elasticsearch中的倒排索引所支配的日子

291 阅读5分钟

什么是倒排索引

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件(inverted file)。

Elasticsearch中的倒排索引工作原理如下:

  1. 文档收集:Elasticsearch可以存储和索引大量文档数据,这些文档可以是各种类型的数据,例如文本、日志、JSON文档等。
  2. 文档分析:在索引之前,文档会经过文本分析过程。这包括将文本拆分成词语(tokenization)、去除停用词、词干化等步骤,以便构建有意义的索引。
  3. 构建倒排索引:对于每个词语,Elasticsearch会记录它在哪些文档中出现过,并存储相关的文档标识(通常是文档ID)。每个词语都会形成一个倒排列表,其中包含了包含该词语的文档的位置信息,以及其他有关文档和词语的统计信息,如词频率、文档频率等。
  4. 查询处理:当用户提交一个查询时,Elasticsearch会查询倒排索引,以确定包含查询词语的文档,并返回相关的文档列表。Elasticsearch还支持丰富的查询语言和过滤条件,以帮助用户精确地检索所需的数据。

Elasticsearch的倒排索引不仅支持基本的全文搜索,还支持聚合、排序、过滤、模糊查询、近似查询、地理空间查询等高级功能。它还具有分布式和水平扩展能力,可以处理大规模数据集和高并发请求。因此,Elasticsearch被广泛用于构建各种搜索引擎、日志分析、监控系统、推荐系统等应用程序,以实现快速、灵活的数据检索和分析。

倒排索引&正向索引

倒排索引的概念是基于MySQL这样的正向索引而言的。

那么什么是正向索引呢?例如给下表(tb_goods)中的id创建索引:

image.png 如果是根据id查询,那么直接走索引,查询速度非常快。

但如果是基于title做模糊查询,只能是逐行扫描数据,流程如下:

1)用户搜索数据,条件是title符合"%手机%"

2)逐行获取数据,比如id为1的数据

3)判断数据中的title是否符合用户搜索条件

4)如果符合则放入结果集,不符合则丢弃。回到步骤1

逐行扫描,也就是全表扫描,随着数据量增加,其查询效率也会越来越低。当数据量达到数百万时,就是一场灾难。

倒排索引

倒排索引中有两个非常重要的概念:

  • 文档(Document):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息
  • 词条(Term):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理,流程如下:

  • 将每一个文档的数据利用算法分词,得到一个个词条
  • 创建表,每行数据包括词条、词条所在文档id、位置等信息
  • 因为词条唯一性,可以给词条创建索引,例如hash表结构索引

如图:

image.png

倒排索引的搜索流程如下(以搜索"华为手机"为例):

1)用户输入条件"华为手机"进行搜索。

2)对用户输入内容分词,得到词条:华为手机

3)拿着词条在倒排索引中查找,可以得到包含词条的文档id:1、2、3。

4)拿着文档id到正向索引中查找具体文档。

如图:

image.png 虽然要先查询倒排索引,再查询倒排索引,但是无论是词条、还是文档id都建立了索引,查询速度非常快!无需全表扫描。

正向和倒排

那么为什么一个叫做正向索引,一个叫做倒排索引呢?

  • 正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程
  • 倒排索引则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id获取文档。是根据词条找文档的过程

是不是恰好反过来了?

那么两者方式的优缺点是什么呢?

正向索引

  • 优点:

    • 可以给多个字段创建索引
    • 根据索引字段搜索、排序速度非常快
  • 缺点:

    • 根据非索引字段,或者索引字段中的部分词条查找时,只能全表扫描。

倒排索引

  • 优点:

    • 根据词条搜索、模糊搜索时,速度非常快
  • 缺点:

    • 只能给词条创建索引,而不是字段
    • 无法根据字段做排序