Elasticsearch 如何实现查询/聚合不区分大小写?

326 阅读6分钟

1、实战问题

最近社区里有多个关于区分大小写的问题:

问题1:ES查询和聚合怎么设置不区分大小写呢?

问题2:ES7.6 如何实现模糊查询不区分大小写? 主要是如何进行分词和mapping的一些设置来实现这个效果,

自己也尝试过对setting 和 mapping字段进行设置,都是报错比较着急,

类似的问题,既然有很多同学问到,那么咱们就有必要梳理出完整的思路和方案。

这或许是铭毅天下公众号的使命所在。

这个问题不复杂,所以本文会言简意赅,直击要害!

2、问题拆解

2.1 拆解一:如果默认分词方式,能区分大小写的吗?

是的,默认分词器是Standard 标准分词器,是不区分大小写的。

官方文档原理部分:

如下的两张图很直观的说明了:标准分词器的 Token filters 核心组成是:Lower Case Token Filter。

什么意思呢?大写的英文字符会转换成小写。

2.2 拆解二:实践 Demo 验证

DELETE test_003
PUT test_003
{
  "mappings": {
    "properties": {
      "title":{
        "type":"text",
        "analyzer""standard"
      },
      "keyword":{
        "type":"keyword"
      }
    }
  }
}

POST test_003/_bulk
{"index":{"_id":1}}
{ "city""New York"}
{"index":{"_id":2}}
{ "city""new York"}
{"index":{"_id":3}}
{ "city""New york"}
{"index":{"_id":4}}
{ "city""NEW YORK"}
{"index":{"_id":5}}
{ "city""Seattle"}


POST test_003/_analyze
{
  "text""New york",
  "analyzer""standard"
}

POST test_003/_search
{
  "query": {
    "match_phrase":{
      "city":"new york"
    }
  }
}

match_phrase 检索返回结果非常明确:_id = 1,2,3,4  的数据都被召回。

这里初步结论是:standard 标准默认分词器可以实现区分大小写。

但是,我们再看一下聚合呢?

GET test_003/_search
{
  "size"0,
  "aggs": {
    "cities": {
      "terms": {
        "field""city.keyword"
      }
    }
  }
}

返回结果如下:

"aggregations" : {
    "cities" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "NEW YORK",
          "doc_count" : 1
        },
        {
          "key" : "New York",
          "doc_count" : 1
        },
        {
          "key" : "New york",
          "doc_count" : 1
        },
        {
          "key" : "Seattle",
          "doc_count" : 1
        },
        {
          "key" : "new York",
          "doc_count" : 1
        }
      ]
    }
  }

这里最核心的是:

  • Mapping 设置是:multi-fields。
  • 聚合走的是 keyword 类型了,不涉及分词器:standard 了。

既然提到了 keyword, 我们进一步看:

POST test_003/_search
{
  "query": {
    "term":{
      "city.keyword":"new york"
    }
  }
}

执行精准匹配后,召回结果为空。

怎么解释呢?keyword 类型属于精准匹配,也就是说:单纯的keyword 类型没法实现大小写区分。

进一步小结:

我们上面的组合multi-field 方式,并没有解决检索和聚合区分大小写的问题?

multi-field 都搞不定,那还有招吗?别急,我们慢慢来......

这时候得思考:需要在 Mapping 阶段做文章了。

核心原理:把所有都转为小写,写入时候设置 Mapping——设置filter过滤:小写过滤。

这个是一个我们过往文章没有提及的知识点 normalizer,希望你把它看完并掌握。

3、解决方案

先给出实现,后面讲原理。

PUT caseinsensitive
{
  "settings": {
    "analysis": {
      "normalizer": {
        "lowercase_normalizer": {
          "type""custom",
          "char_filter": [],
          "filter": [
            "lowercase"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "city": {
        "type""keyword",
        "normalizer""lowercase_normalizer"
      }
    }
  }
}
  
  
POST caseinsensitive/_bulk
{"index":{"_id":1}}
{ "city""New York"}
{"index":{"_id":2}}
{ "city""new York"}
{"index":{"_id":3}}
{ "city""New york"}
{"index":{"_id":4}}
{ "city""NEW YORK"}
{"index":{"_id":5}}
{ "city""Seattle"}


GET caseinsensitive/_search
{
  "query": {
    "bool": {
      "filter": {
        "term": {
          "city""NEW YORK"
        }
      }
    }
  }
}

此时的检索返回结果是:_id = 1,2,3,4 文档都被召回。

注意,我们使用了 terms 检索。

GET caseinsensitive/_search
{
  "size"0,
  "aggs": {
    "cities": {
      "terms": {
        "field""city"
      }
    }
  }
}

返回结果是:

"aggregations" : {
    "cities" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "new york",
          "doc_count" : 4
        },
        {
          "key" : "seattle",
          "doc_count" : 1
        }
      ]
    }
  }

以上 new york 4种不同大小写的全都聚合到了一起,这是我们期望的结果。

4、解决方案的原理解读

核心的核心是我们使用了:normalizer。

这个概念咱们之前分词的文章都没有提及,这里要普及一下。

官方解读如下:

  • The normalizer property of keyword fields is similar to analyzer except that it guarantees that the analysis chain produces a single token.
  • The normalizer is applied prior to indexing the keyword, as well as at search-time when the keyword field is searched via a query parser such as the match query or via a term-level query such as the term query.

核心点如下:

  • 第一:normalizer是 keyword的一个属性,类似 analyzer分词器的功能,不同的地方在于:可以对 keyword生成的单一 Term再做进一步的处理。
  • 第二:normalizer 在 keyword 类型数据索引化之前被使用,同时在 match 或者 term 类型检索阶段也能被使用。

刚才提及的进一步处理,反映到我们的解决方案上:就是可以做小写 lowercase 转换。

由于写入阶段和检索阶段:normalizer 都生效,所以就实现了我们想要的不区分大小写的结果。

5、小结

如果官方文档熟悉,我们的示例,实际就是官方文档:normalizer 的举例。

中间的 filter 我们设置了小写,当然也可以有其他的设置,需要结合业务场景灵活使用。

欢迎大家留言说一下类似问题的其他不同实现方案。

和你一起,死磕 Elasticsearch!


加微信:elastic6(仅有少量坑位了),和 BAT 大佬一起精进 Elastic 技术!


推荐阅读:\

你的 Elasticsearch 难题,官方文档早就有了答案......\

开干!Elasticsearch官方文档离线访问实操指南\

重磅 | 死磕 Elasticsearch 方法论认知清单(2020年国庆更新版)

能拿驾照就能通过 Elastic 认证考试!


短时间快习得多干货!\

中国 近 5 0%+ Elastic 认证工程师出自于此!

和全球 850+ Elastic 爱好者一起死磕 Elasticsearch!