ES查询

程序员校花
VIP.1 初学乍练
82 阅读7分钟

DSL查询文档

分类

常见的查询类型包括：

  • 查询所有：查询出所有数据，一般测试用。例如：match_all

  • 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：

    • match_query
    • multi_match_query

  • 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：

    • ids
    • range
    • term

  • 地理（geo）查询：根据经纬度查询。例如：

    • geo_distance
    • geo_bounding_box

  • 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：

    • bool
    • function_score

语法：

 GET /indexName/_search
 {
   "query": {
     "查询类型": {
       "查询条件": "条件值"
     }
   }
 }

简单查询

全文检索查询

match查询：单字段查询。

 GET /indexName/_search
 {
   "query": {
     "match": {
       "FIELD": "TEXT"
     }
   }
 }

multi_match查询：多字段查询，任意一个字段符合条件就算符合查询条件。

 GET /indexName/_search
 {
   "query": {
     "multi_match": {
       "query": "TEXT",
       "fields": ["FIELD1", " FIELD12"]
     }
   }
 }

精确查询

精确查询不会对搜索条件分词。

term：根据词条精确值查询。

 // term查询
 GET /indexName/_search
 {
   "query": {
     "term": {
       "FIELD": {
         "value": "VALUE"
       }
     }
   }
 }

range：根据值的范围查询。

 // range查询
 GET /indexName/_search
 {
   "query": {
     "range": {
       "FIELD": {
         "gte": 10, // 这里的gte代表大于等于，gt则代表大于
         "lte": 20 // lte代表小于等于，lt则代表小于
       }
     }
   }
 }

地理查询

矩形范围查询，也就是geo_bounding_box查询，查询坐标落在某个矩形范围的所有文档。

 // geo_bounding_box查询
 GET /indexName/_search
 {
   "query": {
     "geo_bounding_box": {
       "FIELD": {
         "top_left": { // 左上点
           "lat": 31.1,
           "lon": 121.5
         },
         "bottom_right": { // 右下点
           "lat": 30.9,
           "lon": 121.7
         }
       }
     }
   }
 }

距离查询（geo_distance）：查询到指定中心点小于某个距离值的所有文档。就是在地图上找一个点作为圆心，以指定距离为半径，画一个圆，落在圆内的坐标都算符合条件。

 // geo_distance 查询
 GET /indexName/_search
 {
   "query": {
     "geo_distance": {
       "distance": "15km", // 半径
       "FIELD": "31.21,121.5" // 圆心
     }
   }
 }

复合查询

复合（compound）查询：复合查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑。常见的有两种：

  • fuction score：算分函数查询，可以控制文档相关性算分，控制文档排名
  • bool query：布尔查询，利用逻辑关系组合多个其它的查询，实现复杂搜索

相关性算分

elasticsearch会根据词条和文档的相关度做打分，算法有两种：

  • TF-IDF算法：elasticsearch5.0之前，会随着词频增加而越来越大。
  • BM25算法：elasticsearch5.0之后，会随着词频增加而增大，但增长曲线会趋于水平。

FuctionScoreQuery

image.png

BooleanQuery

类似Mysql的多条件查询。

BooleanQuery不会修改算分，而是组合多个查询语句形成新查询，每个查询语句称为子查询，子查询的组合方式有：

  • must：必须匹配每个子查询，类似 “与”
  • should：选择性匹配子查询，类似 “或”
  • must_not：必须不匹配，不参与算分，类似 “非”
  • filter：必须匹配，不参与算分

参与算分的字段越多，查询的性能越差。

查询结果处理

排序

es默认是根据相关度算分（_score）来排序，但是也支持自定义方式对查询结果排序，可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等，使用自定义排序字段es就不打分了，查询效率会有一定提升。

普通字段排序

keyword、数值、日期类型排序的语法基本一致。

语法：

 GET /indexName/_search
 {
   "query": {
     "match_all": {}
   },
   "sort": [
     {
       "FIELD": "desc"  // 排序字段、排序方式ASC、DESC
     }
   ]
 }

排序条件是一个数组，可以写多个排序条件。按照声明的顺序，当第一个条件相等时，再按照第二个条件排序，以此类推。

地理坐标排序

 GET /indexName/_search
 {
   "query": {
     "match_all": {}
   },
   "sort": [
     {
       "_geo_distance" : {
           "FIELD" : "纬度，经度", // 目标坐标点
           "order" : "asc", // 排序方式
           "unit" : "km" // 排序的距离单位
       }
     }
   ]
 }

这个查询的含义是：

  • 指定一个坐标，作为目标点
  • 计算每一个文档中，指定字段（必须是geo_point类型）的坐标到目标点的距离是多少
  • 根据距离排序

分页

基本分页

es默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。elasticsearch中通过修改from、size参数来控制要返回的分页结果：

 GET /hotel/_search
 {
   "query": {
     "match_all": {}
   },
   "from": 0, //从第几个文档开始
   "size": 10, //查询几个文档
   "sort": [
     {"price": "asc"}
   ]
 }

深度分页问题

在分页查询990~1000的数据时，es必须先查询 0~1000条，然后截取其中的990 ~ 1000的这10条。

es禁止 from+ size 超过10000的请求，因为对内存和CPU会产生非常大的压力。

解决方案：

search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式，缺点是只能向后逐页查询。

高亮

高亮显示的实现分为两步：

  1. 给文档中的所有关键字都添加一个标签，例如<em>标签
  2. 页面给<em>标签编写CSS样式

语法如下：

 GET /hotel/_search
 {
   "query": {
     "match": {
       "FIELD": "TEXT" // 查询条件，高亮一定要使用全文检索查询
     }
   },
   "highlight": {
     "fields": { // 指定要高亮的字段
       "FIELD": {
         "pre_tags": "<em>",  // 用来标记高亮字段的前置标签
         "post_tags": "</em>" // 用来标记高亮字段的后置标签
       }
     }
   }
 }
  • 高亮是对关键字高亮，因此搜索条件必须带有关键字，而不能是范围这样的查询。
  • 默认情况下，高亮的字段，必须与搜索指定的字段一致，否则无法高亮
  • 如果要对非搜索字段高亮，则需要添加一个属性：required_field_match=false

RestClient

基本步骤如下：

  1. 创建Request对象。

  2. 准备Request.source()，也就是DSL。

    • Request.source()返回的是QueryBuilders，用来构建查询条件。
    • 调用Request.source() 的 query() 方法

  3. 发送请求，得到结果。

  4. 解析结果（针对JSON结果，逐层解析）image.png

match查询

 @Test
 void testMatch() throws IOException {
     //1.准备Request
     SearchRequest request = new SearchRequest("hotel");
     //2.准备DSL
     request.source()
             .query(QueryBuilders.matchQuery("all", "如家"));
     //3.发送请求
     SearchResponse response = client.search(request, RequestOptions.DEFAULT);
     //4.解析响应
     handleResponse(response);
 }
 //处理结果
 private void handleResponse(SearchResponse response) {
     //4.解析响应
     SearchHits searchHits = response.getHits();
     //4.1获取总条数
     long total = searchHits.getTotalHits().value;
     System.out.println("共" + total + "条数据");
     //4.2文档数组
     SearchHit[] hits = searchHits.getHits();
     //4.3遍历
     for (SearchHit hit : hits) {
         //获取文档source
         String json = hit.getSourceAsString();
         //反序列化
         HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
         System.out.println("hotelDoc = " + hotelDoc);
     }
 }

布尔查询

image.png

布尔查询是用must、must_not、filter等方式组合其它查询，代码示例如下：

 @Test
 void testBool() throws IOException {
     // 1.准备Request
     SearchRequest request = new SearchRequest("hotel");
     // 2.准备DSL
     // 2.1.准备BooleanQuery
     BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
     // 2.2.添加term
     boolQuery.must(QueryBuilders.termQuery("city", "杭州"));
     // 2.3.添加range
     boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));
 ​
     request.source().query(boolQuery);
     // 3.发送请求
     SearchResponse response = client.search(request, RequestOptions.DEFAULT);
     // 4.解析响应
     handleResponse(response);
 ​
 }

可以看到，API与其它查询的差别同样是在查询条件的构建，QueryBuilders，解析结果等其他代码完全不变。

排序，分页

查询结果的排序和分页是与query同级的参数，因此使用request.source()来设置。

image.png

 @Test
 void testPageAndSort() throws IOException {
     // 页码，每页大小
     int page = 1, size = 5;
 ​
     // 1.准备Request
     SearchRequest request = new SearchRequest("hotel");
     // 2.准备DSL
     // 2.1.query
     request.source().query(QueryBuilders.matchAllQuery());
     // 2.2.排序 sort
     request.source().sort("price", SortOrder.ASC);
     // 2.3.分页 from、size
     request.source().from((page - 1) * size).size(5);
     // 3.发送请求
     SearchResponse response = client.search(request, RequestOptions.DEFAULT);
     // 4.解析响应
     handleResponse(response);
 ​
 }

高亮

高亮查询必须使用全文检索查询，并且要有搜索关键字，将来才可以对关键字高亮。

 @Test
 void testHighlight() throws IOException {
     // 1.准备Request
     SearchRequest request = new SearchRequest("hotel");
     // 2.准备DSL
     // 2.1.query
     request.source().query(QueryBuilders.matchQuery("all", "如家"));
     // 2.2.高亮
     request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));
     // 3.发送请求
     SearchResponse response = client.search(request, RequestOptions.DEFAULT);
     // 4.解析响应
     handleResponse(response);
 ​
 }

高亮的结果与查询的文档结果默认是分离的，并不在一起。

因此解析高亮的代码需要额外处理：

image.png

 private void handleResponseHigh(SearchResponse response) {
     // 4.解析响应
     SearchHits searchHits = response.getHits();
     // 4.1.获取总条数
     long total = searchHits.getTotalHits().value;
     System.out.println("共搜索到" + total + "条数据");
     // 4.2.文档数组
     SearchHit[] hits = searchHits.getHits();
     // 4.3.遍历
     for (SearchHit hit : hits) {
         // 获取文档source
         String json = hit.getSourceAsString();
         // 反序列化
         HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
         // 获取高亮结果
         Map<String, HighlightField> highlightFields = hit.getHighlightFields();
 ​
         // 根据字段名获取高亮结果
         HighlightField highlightField = highlightFields.get("name");
 ​
         // 获取高亮值
         String name = highlightField.getFragments()[0].string();
         // 覆盖非高亮结果
         hotelDoc.setName(name);
         System.out.println("hotelDoc = " + hotelDoc);
     }
 }
avatar
文章
阅读
粉丝