Lucene源码剖析——序章

·  阅读 286
Lucene源码剖析——序章

前言

有半年没写任何博客了,如果不是工作中还是碰到了非常多的挑战,我应该不会去花心思研究Lucene源码,果然DDL和困难才是第一生产力,没错,我想写一篇关于存储引擎的系列博客。

先前在创业公司工作的时候,就有优化Elasticsearch的需求,当时就草草地看了ES, Lucene的底层原理(Lucene是ES最基础的检索单元,一个shard也就对应一个ES实例),但仅仅浮于表面,并没有挖它源码来看,后来进入百度后, 加入垂搜团队,希望能够对通用检索引擎能有更深的理解,正所谓知己知彼,百战不殆,如果连Lucene都不了解, 又何谈打造一个更优秀的通用搜索引擎呢。

而先前我就秉持一种观点,学习一个东西,最好的方法,就是把它讲给别人听,所以就有了写Lucene源码解析的动力。同时也因为是边学边写的,所以难免因为水平不够,出现一些错误,还希望读者指出。另外还有一个重要的动机是,现在市面上讲解Lucene源码的博客也屈指可数,相关书籍的数量也是0,为数不多的书基于的lucene版本还停留在10年前;很多人的博客也大多没有很系统地讲解Lucene,只是挑了其中一两个知识点来说,另外我看了市面上大多数的Lucene源码解析文章,都会省略很多重要的地方。而我写的这系列文章,可以毫不避讳地说是所有博客里最全面和浅显易懂的。

这系列文章主要面向的读者是有ES或者Lucene使用经验的,了解Term,Doc, Field,PostingList这些基础概念的人才适合读这些,博客里并不会告诉你怎么用Lucene搭建一个搜索引擎,而是告诉你通过Lucene源码,告诉你检索引擎背后的原理。

回过头来说,这篇文章并不打算直接讲代码细节,而是给出一个大致的框架,说说我打算怎么讲解Lucene源码,以及Lucene源码的项目结构。

目录

腹稿大概是分为这12个章节,但是应该会随着实际情况做一些扩充,有些东西放在一章里面讲的不是很透彻,比如BKD Tree这些特殊的数据结构,其实是有必要拉出来单独拎出一个章节来说的。

0. 概述

也就是把整个lucene项目代码结构过一遍,弄清楚每个大类大致负责什么工作。

1. Stored Field存储方式

所谓正排就是Stored Field, 也就是保存字段属性信息的, 这里面重点关注以下几个问题: 一、各数据类型是如何存储的? 二、最终写入索引是如何压缩的?

2. Doc Value 的存储方式

这里的Doc Value就是键值对,是为了加速筛选和排序而诞生的一种结构,主要关注: 一、DocValue 的类型有哪些?SortedNumericDocValue?SortedSet?应用场景等。 二、DocValue是如何存储的?

3. Point Values存储方式

这是Lucene6版本以后,为了加速RangeQuery提出的一种数据结构,底层用BKTree来做,所以重点关注PointValue如何存储?如何优化RangeQuery的?

4. Norm Value 存储方式

5. Term Vector 存储方式

4. 倒排索引的存储方式

前面三块主要是正排,这里开始说倒排, 检索引擎最核心的部分就是倒排索引的存储,重点关注倒排索引如何压缩?如何储存?用什么数据结构?

6. 索引构建的工作流程

这章主要是说Lucene从接收到构建请求开始,到最终执行编码、存储,经过哪些流程?重点关注flush, commit, 如何利用多线程?

7. 正排索引的检索方式

8. RangeQuery检索方式

9. 倒排索引的检索方式

10. 倒排拉链的归并方式

11. 段合并的方式

12. 其他

Lucene源码项目结构

这篇博客基于的版本是Lucene7.7.3, Lucene每个大版本的迭代更新部分还是很多的,所以在研究源码的时候一定要选择一个合适的稳定版本。扒源码的主要方式除了读源码,最重要的还是打开Debug模式跟着demo跑一遍,基本就能理解个八九不离十,众所周知,开源项目的层级结构往往很深,包装、抽象的非常到位,而且里面用到了非常多业界通用的设计模式, 非常值得学习。

这里首先梳理一下Lucene项目每个目录都包含哪些类,主要用途是什么。

.
├── LucenePackage.java
├── analysis
├── codecs
├── document
├── geo
├── index
├── package-info.java
├── search
├── store
└── util
复制代码

analysis

这个包主要用于对query, document 进行解析, 将其拆解为一个个的token, 这个包并不是我们研究的重点, 一个很重要的原因是, 我们往往并不希望用Lucene默认提供的分词手段,这部分往往是离线部分做的工作,每个公司都有自己的分词方式,输入往往是已经预处理好的字段,几乎用不到Lucene提供的工具,而且这部分和其他模块的耦合程度很低,所以可以跳过不讲。

codecs

编码类的包,里面囊括了对各类数据的编码、解码的定义与实现,还包括一些类似于BKD Tree跳表之类的数据结构的实现。可以算是核心类了。

简单讲讲每个类都用来干嘛的, 这里面出现了大量的抽象类,也就是只有声明,没有实现,这是一种非常优秀、可拓展的设计,开发者可以自行根据需求,基于这些抽象类来实现一些满足自己需求的类。

├── BlockTermState.java    # 记录Term在一个Block中的状态
├── Codec.java  # 这是一个抽象类,定义索引的压缩方式//todo
├── CodecUtil.java  # 用来读取version header的类
├── CompoundFormat.java  # 抽象类,定义压缩格式
├── DocValuesConsumer.java # 抽象类,声明DocValues创建、merge接口
├── DocValuesFormat.java # 抽象类, 定义Docvalue格式//todo
├── DocValuesProducer.java # 抽象类,声明DocValue读取接口
├── FieldInfosFormat.java # 抽象类,声明FieldInfo读写接口
├── FieldsConsumer.java # 抽象类,声明写入所有Fields的写接口和merge接口
├── FieldsProducer.java # 抽象类,//todo 
├── FilterCodec.java # 抽象类, 和Codec构成一种委托者模式, 这是委托者,Codec是受托者
├── LegacyDocValuesIterables.java # 废弃
├── LiveDocsFormat.java # 抽象类,这是对于live/deleted documents 读写操作的声明, todo
├── MultiLevelSkipListReader.java 跳表读取类
├── MultiLevelSkipListWriter.java 跳表写入类
├── MutablePointValues.java # 抽象类, 定义不可变的PointValues类型
├── NormsConsumer.java # 抽象类,声明写Norms信息的方法
├── NormsFormat.java # 抽象类, 定义Norm格式
├── NormsProducer.java # 抽象类,声明NormValue读取接口
├── PointsFormat.java # 抽象类, 声明Points格式定义
├── PointsReader.java  # 抽象类, 声明PointsValue读取方法
├── PointsWriter.java  #抽象类, 声明PointsValue写入方法
├── PostingsFormat.java # 抽象类,声明倒排格式
├── PostingsReaderBase.java # 抽象类, 声明Posting倒排表读取方法
├── PostingsWriterBase.java # 抽象类, 声明Posting倒排表写入方法
├── PushPostingsWriterBase.java  # 相比上面那种多了PushAPI, 是一种SAX API, 上面是DOM API
├── SegmentInfoFormat.java  # 抽象类,声明segmentInfo格式
├── StoredFieldsFormat.java # 抽象类, 声明StoredField格式
├── StoredFieldsReader.java # 抽象类,声明读取StoredField相关方法
├── StoredFieldsWriter.java # 抽象类,声明写入StoredField相关方法
├── TermStats.java  # 数据类,用于记录docFreq和termFreq
├── TermVectorsFormat.java # 抽象类, 声明TermVector相关方法
├── TermVectorsReader.java # 抽象类, 声明读取TermVector相关方法
├── TermVectorsWriter.java #抽象类, 声明写入TermVector相关方法
├── blocktree # TermDict相关编码都在这个目录下
├── compressing # StoredField和TermVector相关的抽象类的最终实现都在这里,一些压缩算法也在这里
├── lucene50 # PostingReader, PostingWriter, SkipReader, SkipWriter最终实现在这里, 
├── lucene60  # PointsReader, PointsWriter,PointsFormat最终实现在这里
├── lucene62 # SegmentInfoFormat最终实现在这里
├── lucene70 # DocValueWriter, DocValueReader, NormsConsumer, NormsProducer最终实现在这里
├── package-info.java
└── perfield # 支持单个Field格式的实现

复制代码

继承图如下: image.png

别被上面这么多类唬住了,但实际上可以大致可以分为两个维度来看:

第一个维度是数据, 其实整个Lucene把需要处理的数据分为这么几类:

  1. PostingList 倒排表,也就是term->[doc1, doc3, doc5]这种倒排索引数据
  2. BlockTree, 从term和PostingList的映射关系,这种映射一般都用FST这种数据结构来表示,这种数据结构其实是一种树形结构,类似于Tier树,所以Lucene这里就叫BlockTree, 其实我更习惯叫它TermDict。
  3. StoredField 存进去的原始信息;
  4. DocValue 键值数据,这种数据主要是用来加速对字段的排序、筛选的.
  5. TermVector,词向量信息,主要记一个不同term的全局出现频率等信息。
  6. Norms,用来存储Normalisation信息, 比如给某些field加权之类的。
  7. PointValue 用来加速 range Query的信息。

第二个维度是行为, 也就是定义数据的Writer, Reader, Format本质上就是用于唤起Writer和Reader的一种媒介。

基于这两个维度做排列组合,就衍生出了目录下的这些类,也是很好理解的。

document

这个包主要是对一些数据类型做一些定义, 比如Field,Docuemnt, Point, DocValue等,以及它们和Int Float String之类基本类型的排列组合。

geo

关于地理信息的一些实用类

index

这里面的类非常丰富,也是我认为Lucene非常非常核心的包,包里的文件太多了,我就在这里不一一细讲了,把类继承关系图贴出来:

image.png

可以分这几个大类来看:

  1. Reader相关,具体来说包括IndexReader、LeafReader CompositeReader 等等
  2. DocValue相关,也就是SortedDocValues, SortedNumericDocValues, NumericDocValues, BinaryDocValues,这些需要跟TermsEnum, DocValuesWriter一起看会更清晰一些。
  3. MergePolicy相关,也就是段合并策略,这些类定义了何时合并?怎么合并?合并的大小等等细节。
  4. TermsEnum 相关,其实就是定义了一个terms集合类,按照字段顺序放了terms
  5. IndexDeletionPolicy相关, index删除策略。
  6. TermsHash相关, 这个类的主要作用是承担TermVectorConsumer,FreqProxTermsWriter的基类
  7. DocValuesWriter, 这个应该很熟悉了,下辖SortedDocValueWriters, BinaryDocValuesWriters, SortedSetDocValuesWriters, SortedNumericDocValuesWriters, NumericDocValuesWriters
  8. MergeScheduler相关,定义了段合并的细节,默认采用子类ConcurrentMergeScheduler,即多线程合并类,SerialMergeScheduler基本用不上,即串行去合并分段
  9. DocValuesFieldUpdates,保存一个段内,所有文档的DocValue的更新信息。
  10. 另外还有一些必要的结构体信息,比如SegmentInfo, WriterState等状态信息类,以及Term,DocWriter, IndexWriter等核心类的定义,这些以后都会涉及到

Search

和检索相关的类都在这里 Package search.png

  1. 有一大类都是Query类的实现,Lucene面向开发者提供了各种Query,比如最简单的MatchQuery, 可以做布尔检索的BoolQuery, 支持同义词的SynoymQuery等等,这些后面会介绍
  2. 另外一大类是Scorer也就是算分类, Lucene返回的排序顺序是根据算出的得分取TopN来得出的,很多Scorer都有对应的Query场景, 比如PhraseScorer就是在PhraseQuery场景下使用的。
  3. Collector相关, 提供了多种收集最终结果的Collector实现, 最常用的是TotalHitCountCollector
  4. 其他就是支撑以上这些类的一些工具类,比如DocIDSet,HitQueue等。
  5. 有两个文件夹可以注意一下,一个是similarities,提供了一些算相似度的算法包,还有span,用于构建一些高级查询,后续再说。

Store

和最终落磁盘和读磁盘的一些类都在这里。 Package store.png 我认为Lucene设计的最优秀的一点就在于,它把落盘的逻辑和生成落盘数据的两个行为分开来,提供了DataInput 和DataOutput与磁盘Directory的抽象。

  1. DataInput, 提供的是对数据读取的抽象,定义了如何读取vint?如何读取vlong?vfloat等。
  2. DataOutput, 提供的是对数据写入的抽象,定义了如果写入vint?如何写入vlong?等等
  3. Directory, 提供以何种方式写入数据的方法,比如simple, NIOFSD, mmap等。

utils

Package util.png

一些编码的实现和算法的实现都在这个库里面了,具体包括:

  1. automation, 状态机的实现, 其实是实现了一个正则,支持正则查询必不可少的东西。
  2. bkd ,bkd树的实现,为了加速range query用的
  3. fst, fst的实现, fst其实目的就是为了提供term->id 的映射,但其拥有检索速度高、内存消耗少、支持前缀查询等优势,后面会说
  4. graph, 为automation 提供辅助用的。
  5. mutable, 不可变值的实现
  6. packed, 提供编码整数的若干种方法,比如可以两个字节一编、 四个字节一编等等,后续会提。
  7. 其他。

写完这章有点后悔,还是觉得正篇全部写完以后再回来写目录更加合适一点,anyway,先留个坑,后续慢慢填。

分类:
后端
标签:
分类:
后端
标签:
收藏成功!
已添加到「」, 点击更改