Elasticsearch 核心查询解决 90% 查询场景

写在前面

ES 的查询语言称为 DSL 即 Domain Specific Language 领域专用语言。

本文查询将以下列索引结构为例子展开。

PUT /dying_gq_bookstore
{
  "mappings": {
    "properties": {
      "book_id": {
        "type": "long"
      },
      "title": {
        "type": "text"
      },
      "tag": {
        "type": "keyword"
      },
      "book_type": {
        "type": "keyword"
      },
      "content": {
        "type": "text"
      },
      "status": {
        "type": "keyword"
      },
      "price": {
        "type": "long"
      },
      "stock":{
        "type": "long"
      }
      
    }
  }
}

POST /dying_gq_bookstore
{"index": {}}
{"book_id": 1,"title": "离开时请叫醒我","tag": "情感","book_type": "畅销文学","content": "不论如何，离开时请告诉我","status": 1,"price": "48","stock": 20000}
{"index": {}}
{"book_id": 1,"title": "我想要两个西柚","tag": "情感","book_type": "畅销文学","content": "i want to see you","status": 1,"price": "39","stock": 6000}
{"index": {}}
{"book_id": 1,"title": "清风徐来","tag": "情感","book_type": "畅销文学","content": "随波逐流","status": 1,"price": "36","stock": 18622}
{"index": {}}
{"book_id": 1,"title": "迷途","tag": "悬疑","book_type": "畅销文学","content": "生活如待宰羔羊","status": 2,"price": "54","stock": 543}
{"index": {}}
{"book_id": 1,"title": "八百万种死法","tag": "悬疑","book_type": "外国文学","content": "这个城市八百万种人，八百万种死法","status": 2,"price": "69","stock": 888}
{"index": {}}
{"book_id": 1,"title": "福尔摩斯与他的狗","tag": "悬疑","book_type": "外国文学","content": "这只狗已经老去好久了","status": 2,"price": "198","stock": 88932}
{"index": {}}
{"book_id": 1,"title": "只能陪你走一程","tag": "治愈","book_type": "治愈文学","content": "抱歉我只能陪你走到这了","status": 2,"price": "38","stock": 765}
{"index": {}}
{"book_id": 1,"title": "一点点","tag": "交通","book_type": "交通治安","content": "能拉但只能拉一点点","status": 1,"price": "99","stock": 18833}
{"index": {}}
{"book_id": 1,"title": "成华大道","tag": "交通","book_type": "交通治安","content": "我该不该走成华大道","status": 1,"price": "23","stock": 2334}
{"index": {}}
{"book_id": 1,"title": "华仙桥","tag": "交通","book_type": "交通治安","content": "华仙桥旅行指南","status": 1,"price": "19","stock": 210}

核心类型

字符串：string，string类型包含 text 和 keyword。
- text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引；允许es来检索这些词，text类型不能用来排序和聚合。
- keyword：该类型不能分词，可以被用来检索过滤、排序和聚合，keyword类型不可用text进行分词模糊检索。
数值型：long、integer、short、byte、double、float
日期型：date

1.单条件查询

注以下部分查询会给出 类似 SQL 辅助理解，因倒排索引 term 匹配关系 SQL 是近似并非一定等效，一定注意

模糊匹配

以下模糊匹配都是基于分词器对原本内容分词后的 term 做匹配得出的效果。 (声明一下，一下所有查询都可以通过合适的语法组合起来进行更加复杂的查询)

match 分词模糊匹配

对搜索词分词后，查询匹配搜索列分词后的 term 如下例子 “你好呀世界” 可能会被分词为 “你好”、“世界”、“你”、“好”。（根据分词器的不同分词不同）然后匹配倒排索引的 content 的 term。

POST /dying_gq_bookstore/_search
{
  "from": 0, //分页 从 0 个开始
  "size": 20, // 后 20 条数据 意义同 mysql limit 0,20
  "query": {
    "match": {// 对搜索词分词后 匹配字段内容分词后的 term
      "content": "你好呀世界" // 字段 ：匹配内容
    }
  }
}

类似 SQL：SELECT * FROM dying_gq_bookstore WHERE content LIKE '%你好呀世界%' LIMIT 0,20

prefix 前缀模糊匹配

POST /dying_gq_bookstore/_search
{
  "from": 0, //分页 从 0 个开始
  "size": 20, // 后 20 条数据 意义同 mysql limit 0,20
  "query": {
    "prefix": {// 匹配字段内容分词后 term 的前缀
      "content": "你好呀世界" // 字段 ：匹配内容
    }
  }
}

类似 SQL：SELECT * FROM dying_gq_bookstore WHERE content LIKE '你好呀世界%' LIMIT 0,20

regexp 正则匹配

POST /dying_gq_bookstore/_search
{
  "from": 0, //分页 从 0 个开始
  "size": 20, // 后 20 条数据 意义同 mysql limit 0,20
  "query": {
    "regexp": {// 分词 正则匹配字段内容分词 term 
      "content": "[1-9]" // 字段 ：匹配内容
    }
  }
}

精确匹配

term 单个字段单条件精确匹配

精确匹配分词后的 term，和 match 的区别在于不会对你要匹配的词进行分词。

POST /dying_gq_bookstore/_search
{
  "from": 0, //分页 从 0 个开始
  "size": 20, // 后 20 条数据 意义同 mysql limit 0,20
  "query": {
    "match": {// 匹配字段内容分词后的 term
      "content": "你好呀世界" // 字段 ：匹配内容
    }
  }
}

类似 SQL：SELECT * FROM dying_gq_bookstore WHERE content = '你好呀世界' LIMIT 0,20

terms 单个字段多条件精确匹配

数组内的值相当于 or 的关系

POST /dying_gq_bookstore/_search
{
  "from": 0, //分页 从 0 个开始
  "size": 20, // 后 20 条数据 意义同 mysql limit 0,20
  "query": {
    "terms": {
      "content": [
        "你好",
        "时间",
        "不错"
      ]
    }
  }
}

类似 SQL：SELECT * FROM dying_gq_bookstore WHERE content = '你好' OR content = '时间' OR content = '不错' LIMIT 0,20

range 范围内精确匹配

POST /dying_gq_bookstore/_search
{
  "from": 0, //分页 从 0 个开始
  "size": 20, // 后 20 条数据 意义同 mysql limit 0,20
  "query": {
    "range": {
      "book_id": {
        "gte": 10, //大于
        "lte": 20 //小于
      }
    }
  }
}

类似 SQL：SELECT * FROM dying_gq_bookstore WHERE between 10 and 20 LIMIT 0,20

2.组合条件查询

bool 查询

可组合条件：

must : 各个条件都必须满足，即各条件是and的关系 should : 各个条件有一个满足即可，即各条件是or的关系 must_not : 不满足所有条件，即各条件是not的关系 filter : 不计算相关度评分，它不计算_score即相关度评分，效率更高

POST /dying_gq_bookstore/_search
{
  "query": { 
    "bool": { 
      "must": [
        { "match": { "title":   "Search"        }},
        { "match": { "content": "Elasticsearch" }}
      ],
      "filter": [ 
        { "term":  { "status": "published" }},
        { "range": { "book_id": { "gte": "200" }}}
      ]
    }
  }
}

3.聚合搜索

bucket: bucket 为分组后个每个桶 metric: metric 为每个桶中的统计分析（如数量、最大值、最小值等）

注意 text 类型无法聚合

样例 1 ：普通聚合

样例 1 查询语义为：

对 dying_gq_bookstore 索引按字段 tag 分组聚合，统计不同 tag 的数量并按数量升序排序。

POST /dying_gq_bookstore/_search
{
  "size": 0, // 此处设置 size = 0 表示不返回 ES 数据文档，仅返回聚合后数据
  "aggs": { // 聚合
    "group_by_tag": { // 聚合名称，可以自定义名称
      "terms": {//聚合匹配方式
        "field": "tag", // 列名
        "order": { // 排序
          "_count": "asc" // 根据个数 升序 _count 为固定写法
        }
      }
    }
  }
}

样例 2 ：嵌套聚合下钻分析

样例 2 查询语义为：

对 dying_gq_bookstore 索引按字段 tag 分组聚合。并在此基础上对每个桶做统计分析即 metric ，求每个 bucket tag 分组下的书籍平均价格并按平均价格升序排序。这种嵌套聚合的方式又称为下钻分析

POST /dying_gq_bookstore/_search
{
  "size": 0, 
  "aggs": { // 聚合
    "group_by_tag": { // 聚合名称，可以自定义名称
      "terms": {//聚合匹配方式
        "field": "tag", // 列名
        "order": { // 排序
          "avg_by_price": "asc" // 求取的平均价格 升序 这里命名的作用就显示出来了
        }
      },
      "aggs": { // 再次聚合 嵌套聚合 下钻分析
        "avg_by_price": { // 聚合名称
          "avg": { // 求平均值
            "field": "price" // 平均值列名称
          }
        }
      }
    }
  }
}

样例 3 ：多重嵌套聚合

样例 3 查询语义为：

以 tag 标签分组后分析该标签下书籍平均价格，并以 tag 分组的 bucket 为基础以 book_type 再进行子分组，子分组以 book_type 平均价格升序排序，外部 tag 分组以 tag 平均价格升序排序。

POST /dying_gq_bookstore/_search
{
  "size": 0, 
  "aggs": { 
    "group_by_tag": { 
      "terms": {
        "field": "tag", 
        "order": { 
          "avg_by_price_tag": "asc"  
        }
      },
      "aggs": { 
        "avg_by_price_tag": { 
          "avg": { 
            "field": "price" 
          }
        },
        "group_by_book_type":{
          "terms": {
            "field": "book_type",
            "order": {
              "avg_by_price_book_type": "asc"
            }
          },
          "aggs": {
            "avg_by_price_book_type": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

为帮助理解，这里贴出查询结果如下：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_tag" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "治愈",
          "doc_count" : 1,
          "avg_by_price_tag" : {
            "value" : 38.0
          },
          "group_by_book_type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "治愈文学",
                "doc_count" : 1,
                "avg_by_price_book_type" : {
                  "value" : 38.0
                }
              }
            ]
          }
        },
        {
          "key" : "情感",
          "doc_count" : 3,
          "avg_by_price_tag" : {
            "value" : 41.0
          },
          "group_by_book_type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "畅销文学",
                "doc_count" : 3,
                "avg_by_price_book_type" : {
                  "value" : 41.0
                }
              }
            ]
          }
        },
        {
          "key" : "交通",
          "doc_count" : 3,
          "avg_by_price_tag" : {
            "value" : 47.0
          },
          "group_by_book_type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "交通治安",
                "doc_count" : 3,
                "avg_by_price_book_type" : {
                  "value" : 47.0
                }
              }
            ]
          }
        },
        {
          "key" : "悬疑",
          "doc_count" : 3,
          "avg_by_price_tag" : {
            "value" : 107.0
          },
          "group_by_book_type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "畅销文学",
                "doc_count" : 1,
                "avg_by_price_book_type" : {
                  "value" : 54.0
                }
              },
              {
                "key" : "外国文学",
                "doc_count" : 2,
                "avg_by_price_book_type" : {
                  "value" : 133.5
                }
              }
            ]
          }
        }
      ]
    }
  }
}

样例 4 ：聚合多分析

样例 4 查询语义为：

以 book_type 分组，统计分析组内价格最大值、最小值、和总值

POST /dying_gq_bookstore/_search
{
  "size": 0,
  "aggs": {
    "group_by_book_type": {
      "terms": {
        "field": "book_type",
        "order": {
          "price_min": "asc"
        }
      },
      "aggs": {
        "price_max": {
          "max": {
            "field": "price"
          }
        },
        "price_min":{
          "min": {
            "field": "price"
          }
        },
        "price_sum":{
          "sum": {
            "field": "price"
          }
        }
      }
      
    }
  }
}

样例 5 ：聚合分组最大值

样例 5 查询语义为：

以 book_type 分组，统计分析组内价格最大的书籍并展示

POST /dying_gq_bookstore/_search
{
  "size": 0,
  "aggs": {
    "group_by_book_type": {
      "terms": {
        "field": "book_type"
      },
      "aggs": {
        "top_price": {
          "top_hits": {
            "size": 1,
            "sort": [{
              "price": {
                "order": "desc"
              }
            }]
          }
        }
      }
      
    }
  }
}

样例 6 ：区间分组统计

样例 6 查询语义为：

以 price 书籍价格分组分组间隔为 20 ：[0,20) [20,40) [40,60) ……。并统计分组内最大书籍价格

POST /dying_gq_bookstore/_search
{
  "size": 0,
  "aggs": {
    "histogram_by_price": {
      "histogram": {
        "field": "price",
        "interval": 20 // 分组间隔 
      },
      "aggs": {
        "max_by_price": {
          "max": {
            "field": "price"
          }
        }
      }
      
    }
  }
}

为帮助理解，这里贴出查询结果如下：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "histogram_by_price" : {
      "buckets" : [
        {
          "key" : 0.0,
          "doc_count" : 1,
          "max_by_price" : {
            "value" : 19.0
          }
        },
        {
          "key" : 20.0,
          "doc_count" : 4,
          "max_by_price" : {
            "value" : 39.0
          }
        },
        {
          "key" : 40.0,
          "doc_count" : 2,
          "max_by_price" : {
            "value" : 54.0
          }
        },
        {
          "key" : 60.0,
          "doc_count" : 1,
          "max_by_price" : {
            "value" : 69.0
          }
        },
        {
          "key" : 80.0,
          "doc_count" : 1,
          "max_by_price" : {
            "value" : 99.0
          }
        },
        {
          "key" : 100.0,
          "doc_count" : 0,
          "max_by_price" : {
            "value" : null
          }
        },
        {
          "key" : 120.0,
          "doc_count" : 0,
          "max_by_price" : {
            "value" : null
          }
        },
        {
          "key" : 140.0,
          "doc_count" : 0,
          "max_by_price" : {
            "value" : null
          }
        },
        {
          "key" : 160.0,
          "doc_count" : 0,
          "max_by_price" : {
            "value" : null
          }
        },
        {
          "key" : 180.0,
          "doc_count" : 1,
          "max_by_price" : {
            "value" : 198.0
          }
        }
      ]
    }
  }
}

补充：查询去重

此处语义为：查询前 5 条书籍价格最高的，并按 tag 去重

POST /dying_gq_bookstore/_search
{
  "size": 5,
  "collapse": { // 指定去重字段
    "field": "tag"
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
  
}

总结

总体来说 ES 的查询 DSL 为我们提供了丰富的语法和聚合语义。

基础查询 使用 query 对应常用查询条件 match 、prefix、regexp、trem、trems、range。

组合条件 bool 条件连接 must、should、must_not、filter 同时配合上述 query 条件进行查询。

聚合分析 aggs 聚合条件 trems 、avg、sum、max、min、top_hits、histogram、date_histogram

这三大类相互 嵌套组合 基本可以覆盖我们绝大多数场景了。更多进阶用法可以到官网进行学习查询。官方文档地址

我是 dying 搁浅我看了一场 97 小时的电影也没能等来你的点赞关注收藏，我想这不是你不够喜欢我，而是我看的电影不够长……

在这里插入图片描述