Elasticsearch入门(1)-倒排索引和分词器

拾叁不是13
1,537 阅读5分钟

这部分文档主要包含：

  • 倒排索引
  • Analyzer分词

倒排索引

举例类比

做个类比，看书时，我们看到了哪个章节，根据章节标题去目录中检索具体的内容。但是当我们回忆起一些只言片语，一些句子，一些情节时，去定位它出现的章节和页码，就便类似于倒排索引了。

在es中，正排索引就是文档id和文档内容的关联，而倒排索引就是文档内容和文档id的关联。

下面是三个文档

文档id 内容
1 study elasticsearch
2 learn elasticsearch
3 elasticsearch method

经过倒排索引后

Term（单词） Count DocumentID:Position
elasticsearch 3 1:1，2:4，3:0
study 1 1:0
learn 1 2:0
method 1 3:1

（Term，一段文本经过分析后会输出一串单词，一个一个的叫做Term)

以上就是一个简单的正排索引和倒排索引的例子

核心组成

  • 倒排索引包含两个部分
    • 单词词典（Term Dictionary），记录所有文档的单词，记录单词到倒排列表的关联关系
      • 单词词典一般较大，可以通过B+树或哈希链法实现，以满足高性能的插入与查询
    • 倒排列表（Posting List）-记录了单词对应的文档结合，由倒排索引项组成
      • 倒排索引项（Posting）
        • 文档ID
        • 词频TF - 该单词在文档中出现的次数，用于相关性评分
        • 位置（Position) - 单词在文档中分词的位置。用于语句搜索（phrase query）
        • 偏移（Offset） - 记录单词的开始结束位置，实现高亮显示

一个例子-以单词 elasticsearch 为例

文档id 内容
1 study elasticsearch
2 learn elasticsearch
3 elasticsearch method

elasticsearch的Posting List如下

Doc Id TF Position Offset
1 1 1 <6,19>
2 1 1 <6,19>
3 1 0 <0,13>

elasticsearch的倒排索引特点

  • Elasticsearch的json文档中的每个字段，都有自己的倒排索引
  • 可以指定对某些字段不做索引
    • 优点：节省存储空间
    • 缺点：字段无法被搜索

Analyzer分词

Analysis和Analyzer

  • Analysis （文本分析） - 是把全文的转换为一系列单词（term/token)的过程，也叫分词
  • Analysis 是通过 Analyzer 来实现的
    • 可使用elasticsearch内置的分析器或者按需定制分析器
  • 除了在数据写入时转换词条，匹配Query语句时候也需要用相同的分析器对查询语句进行分析
input:
Elasticsearch Server
output:
elasticsearch
server

# 仔细看会发现，经过分词器处理后，Elasticsearch被转换成了elasticsearch,大写字母自动转换成了小写

Analyzer的组成

  • 分词器是专门处理分词的组件，Analyzer由三部分组成
    • Character Filters(针对原始文本处理，例如去除html)
    • Tokenizer(按照规则切分为单词)
    • Token Filter(将切分的单词进行加工，小写，删除stopwords，增加同义词)

analyzer

使用_analyzer API

直接指定Analyzer进行测试

GET /_analyze
{
  "analyzer": "standard",
  "text":"Mastering Elasticsearch，elasticsearch in Action"
}

指定索引的字段进行测试

POST my_index/_analyze
{
  "field": "title",
  "text": "Mastering Elasticsearch"
}

自定义分词器进行测试

POST /_analyze
{
  "tokenizer": "standard",
  "filter": ["lowercase"],
  "text": "Mastering Elastricsearch"
}

elasticsearch的内置分词器

名称 作用
Standard Analyzer 默认分词器，按词切分，小写处理
Simple Analyzer 按照非字母切分(符号被过滤)，小写处理
Stop Analyzer 小写处理，停用词过滤(a/the/is)
Whitespace Analyzer 按照空格切分，不转小写
Keyword Analyzer 部分词，直接将输入当做输出
Patter Analyzer 正则表达式，默认\W+（非字符分割）
Language 提供了30多种常见语言的分词器
Customer Analyzer 自定义分词器

standard analyzer

standard analyzer

  • 是es默认分词器
  • 按词切分
  • 小写处理

simple analyzer

simple

  • 按照非字母切分，非字母的都被去除
  • 小写处理

whitespace Analyzer

white

  • 按空格切分

stop analyzer

stop

  • 相比simple analyzer多了stop filter
    • 会把the，a，is等修饰性词语去除

Keyword Analyzer

keyword

  • 不分词，直接将输入当一个term输出

Pattern Analyzer

pattern

Language Analyzer

一组分析特定语言文本的分析器，支持以下类型: arabic, armenian, basque, bengali, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, finnish, french, galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian, lithuanian, norwegian, persian, portuguese, romanian, russian, sorani, spanish, swedish, turkish, thai.

中文分词的难点
  • 中文句子，切分成一个个词（不是一个个字）
  • 英文中，单词由自然的空格作为分隔
  • 一句中文，在不同的上下文，有不同的含义
  • 例子
    • 这事的确确定不下来

ICU Analyzer

ICU

  • 需要安装plugin 
GET _analyze
{
  "analyzer": "icu_analyzer",
  "text": "这事的确确定不下来"
}

分词结果

{
  "tokens" : [
    {
      "token" : "这",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "事",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "的确",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "确定",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "不下来",
      "start_offset" : 6,
      "end_offset" : 9,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

小结

本篇中接触了es的倒排索引结构和各种analyzer分词器，并基本介绍了各分词器的基本使用，较为简单。

参考文档

1.Elasticsearch倒排索引结构

2.Elasticsearch Analysis

觉得不错，请点个赞吧

zan

avatar
文章
阅读
粉丝