Elasticsearch聚合aggregations

RG
1,707 阅读4分钟

「这是我参与11月更文挑战的第9天，活动详情查看：2021最后一次更文挑战」

基本概念

Elasticsearch中的聚合，包含多种类型，最常用的两种，一个叫桶，一个叫度量

桶（bucket）类似于group by

桶的作用，是按照某种方式对数据进行分组，每一组数据在ES中称为一个桶，例如我们根据国籍对人划分，可以得到中国桶、英国桶，日本桶……或者我们按照年龄段对人进行划分：0~10,10~20,20~30,30~40等。

Elasticsearch中提供的划分桶的方式有很多：

  • Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
  • Histogram Aggregation：根据数值阶梯分组，与日期类似，需要知道分组的间隔（interval）
  • Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
  • Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组

我们发现bucket aggregations只负责对数据进行分组，并不进行计算，因此往往bucket中往往会嵌套另一种聚合：metrics aggregations即度量

度量（metrics）相当于聚合的结果

分组完成以后，我们一般会对组中的数据进行聚合运算，例如求平均值、最大、最小、求和等，这些在ES中称为度量

比较常用的一些度量聚合方式：

  • Avg Aggregation：求平均值
  • Max Aggregation：求最大值
  • Min Aggregation：求最小值
  • Percentiles Aggregation：求百分比
  • Stats Aggregation：同时返回avg、max、min、sum、count等
  • Sum Aggregation：求和
  • Top hits Aggregation：求前几
  • Value Count Aggregation：求总数

为了测试聚合，我们先批量导入一些数据

创建索引：

PUT /car
{
    "mappings": {
        "orders": {
            "properties": {
                "color": {
                    "type": "keyword"
                },
                "make": {
                    "type": "keyword"
                }
            }
        }
    }
}

注意： 在ES中，需要进行聚合、排序、过滤的字段其处理方式比较特殊，因此不能被分词，必须使用keyword或数值类型。这里我们将color和make这两个文字类型的字段设置为keyword类型，这个类型不会被分词，将来就可以参与聚合

导入数据，这里是采用批处理的API，直接复制到kibana运行即可：

POST /car/orders/_bulk
{ "index": {}}
{ "price" : 10000, "color" : "红", "make" : "本田", "sold" : "2020-10-28" }
{ "index": {}}
{ "price" : 20000, "color" : "红", "make" : "本田", "sold" : "2020-11-05" }
{ "index": {}}
{ "price" : 30000, "color" : "绿", "make" : "福特", "sold" : "2020-05-18" }
{ "index": {}}
{ "price" : 15000, "color" : "蓝", "make" : "丰田", "sold" : "2020-07-02" }
{ "index": {}}
{ "price" : 12000, "color" : "绿", "make" : "丰田", "sold" : "2020-08-19" }
{ "index": {}}
{ "price" : 20000, "color" : "红", "make" : "本田", "sold" : "2020-11-05" }
{ "index": {}}
{ "price" : 80000, "color" : "红", "make" : "宝马", "sold" : "2020-01-01" }
{ "index": {}}
{ "price" : 25000, "color" : "蓝", "make" : "福特", "sold" : "2020-02-12" }

聚合为桶

首先，按照汽车的颜色color来划分桶，按照颜色分桶，最好是使用TermAggregation类型，按照颜色的名称来分桶。

GET /car/_search
{
    "size" : 0,
    "aggs" : {
        "popular_colors" : {
            "terms" : {
                "field" : "color"
            }
        }
    }
}
  • size： 查询条数，这里设置为0，因为我们不关心搜索到的数据，只关心聚合结果，提高效率
  • aggs：声明这是一个聚合查询，是aggregations的缩写
    • popular_colors：给这次聚合起一个名字，可任意指定。
      • terms：聚合的类型，这里选择terms，是根据词条内容（这里是颜色）划分
        • fifield：划分桶时依赖的字段

结果：

{
    "took": 33,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 8,
        "max_score": 0,
        "hits": []
    },
    "aggregations": {
        "popular_colors": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "红",
                    "doc_count": 4
                },
                {
                    "key": "绿",
                    "doc_count": 2
                },
                {
                    "key": "蓝",
                    "doc_count": 2
                }
            ]
        }
    }
}
  • hits：查询结果为空，因为我们设置了size为0
  • aggregations：聚合的结果
  • popular_colors：我们定义的聚合名称
  • buckets：查找到的桶，每个不同的color字段值都会形成一个桶
    • key：这个桶对应的color字段的值
    • doc_count：这个桶中的文档数量

通过聚合的结果发现，目前红色的小车比较畅销！

桶内度量

前面告诉每个桶里面的文档数量，这很有用。但通常，我们的应用需要提供更复杂的文档度量。 例如，每种颜色汽车的平均价格是多少？

因此，我们需要告诉Elasticsearch使用哪个字段，使用何种度量方式进行运算，这些信息要嵌套在桶内，度量的运算会基于桶内的文档进行

现在，为刚刚的聚合结果添加求价格平均值的度量：

GET /car/_search
{
    "size" : 0,
    "aggs" : {
        "popular_colors" : {
            "terms" : {
                "field" : "color"
            },
            "aggs":{
                "avg_price": {
                    "avg": {
                        "field": "price"
                    }
                }
            }
        }
    }
}
  • aggs：我们在上一个aggs(popular_colors)中添加新的aggs。可见度量也是一个聚合
  • avg_price：聚合的名称
  • avg：度量的类型，这里是求平均值
  • fifield：度量运算的字段

结果：

{
    "took": 23,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 8,
        "max_score": 0,
        "hits": []
    },
    "aggregations": {
        "popular_colors": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "红",
                    "doc_count": 4,
                    "avg_price": {
                        "value": 32500
                    }
                },
                {
                    "key": "绿",
                    "doc_count": 2,
                    "avg_price": {
                        "value": 21000
                    }
                },
                {
                    "key": "蓝",
                    "doc_count": 2,
                    "avg_price": {
                        "value": 20000
                    }
                }
            ]
        }
    }
}

可以看到每个桶中都有自己的avg_price字段，这是度量聚合的结果

avatar
文章
阅读
粉丝