AI 助理
备案控制台
开发者社区 人工智能 文章 正文

[ELK实战] Elasticsearch 聚合查询二: Bucketing/桶聚合

2022-10-24 283
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 目前在[官方文档]有4种聚合(Aggregations )方式分别是： 1. Metric (指标聚合): 最常用的聚合方式例如 平均值,求和等等 3. Bucketing (桶聚合): 就是常说的分组聚合 5. Matrix (矩阵聚合) :在多个字段上操作并根据从请求的文档字段提取的值生成矩阵结果的聚合族。与度量聚合和桶聚合不同，此聚合族尚不支持脚本。 7. Pipeline (管道聚合

简介

目前在官方文档有4种聚合(Aggregations )方式分别是：

  1. Metric (指标聚合):

    最常用的聚合方式例如 平均值,求和等等

  2. Bucketing (桶聚合):

    就是常说的分组聚合
  3. Matrix (矩阵聚合) :

在多个字段上操作并根据从请求的文档字段提取的值生成矩阵结果的聚合族。与度量聚合和桶聚合不同，此聚合族尚不支持脚本。

  1. Pipeline (管道聚合):

由于每个 bucket 有效地定义了一个文档集(属于 bucket 的所有文档) ，因此可以潜在地在 bucket 级别上关联聚合，并且这些聚合将在 bucket 的上下文中执行。这就是聚合的真正威力所在: 聚合可以被嵌套！

方法 / 步骤

一： 简介并加入测试数据

1.1 聚合相关参数

指标聚合有参数有：range / date_range / terms / histogram / date_histogram / ...

聚合类型 聚合参数 简介
Bucketing Range Aggregation - 范围聚合查询
Bucketing Date Range Aggregation - 时间范围聚合查询
Bucketing Terms Aggregation - 分组统计
Bucketing Histogram Aggregation - 直方图统计
Bucketing Date histogram aggregation - 时间直方图统计

1.2 DSL 查询格式

"aggregations" : {
    "<aggregation_name>" : {
        "<aggregation_type>" : {
            <aggregation_body>
        }
        [,"meta" : {  [<meta_data_body>] } ]?
        [,"aggregations" : { [<sub_aggregation>]+ } ]?
    }
    [,"<aggregation_name_2>" : { ... } ]*
}

1.3 插入批量测试数据

POST /staff/_bulk
{"index":{"_id":1}}
{"name":"zs","realname":"张三","age":10,"birthday":"2018-12-27","salary":1000.0,"address":"北京市北海公园"}
{"index":{"_id":2}}
{"name":"ls","realname":"李四","age":20,"birthday":"2017-10-20","salary":2000.0,"address":"北京市京东大峡谷"}
{"index":{"_id":3}}
{"name":"ww","realname":"王五","age":30,"birthday":"2016-03-15","salary":3000.0,"address":"北京市陶然亭"}
{"index":{"_id":4}}
{"name":"zl","realname":"赵六","age":40,"birthday":"2003-04-19","salary":4000.0,"address":"北京市玉渊潭"}
{"index":{"_id":5}}
{"name":"tq","realname":"田七","age":50,"birthday":"2001-08-11","salary":5000.0,"address":"北京市圆明园"}

插入完成后，查看索引数据：

GET /staff/_search

在这里插入图片描述

二: 常规查询

2.1 Range Aggregation / 返回聚合

每个范围表示一个桶。在聚合过程中，将根据每个bucket范围和相关/匹配文档的“bucket”检查从每个文档提取的值。

如： 统计0-20岁，20-40岁，40~60岁各个区间段的用户人数

POST /staff/_search
{
  "aggs": {
    "age_ranges_count": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 0,
            "to": 20
          },
          {
            "from": 20,
            "to": 40
          },
          {
            "from": 40,
            "to": 60
          }
        ]
      }
    }
  }
}
  • 返回内容
    .....
  "aggregations" : {
    "age_ranges_count" : {
      "buckets" : [
        {
          "key" : "0.0-20.0",
          "from" : 0.0,
          "to" : 20.0,
          "doc_count" : 1
        },
        {
          "key" : "20.0-40.0",
          "from" : 20.0,
          "to" : 40.0,
          "doc_count" : 2
        },
        {
          "key" : "40.0-60.0",
          "from" : 40.0,
          "to" : 60.0,
          "doc_count" : 2
        }
      ]
    }
  }
      .....
  • 如果第一个区间开始值和最后一个区间结束值不想指定的话，可以不用写from和to，如下：
POST /staff/_search
{
  "aggs": {
    "age_ranges_count": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "to": 20
          },
          {
            "from": 20,
            "to": 40
          },
          {
            "from": 40,
            "to": 60
          }
        ]
      }
    }
  }
}
  • 返回内容
....
  "aggregations" : {
    "age_ranges_count" : {
      "buckets" : [
        {
          "key" : "*-20.0",
          "to" : 20.0,
          "doc_count" : 1
        },
        {
          "key" : "20.0-40.0",
          "from" : 20.0,
          "to" : 40.0,
          "doc_count" : 2
        },
        {
          "key" : "40.0-60.0",
          "from" : 40.0,
          "to" : 60.0,
          "doc_count" : 2
        }
      ]
    }
  }
  ....

2.2 Date Range Aggregation / 时间范围聚合

此聚合与Range Aggregation常规范围聚合的主要区别在于，可以用日期数学表达式表示from和to值，而且还可以指定返回from和to响应字段的日期格式。注意，此聚合包含每个范围的from值并排除to值。

  • now+10y：表示从现在开始的第10年。
  • now+10M：表示从现在开始的第10个月。
  • 1990-01-10||+20y：表示从1990-01-01开始后的第20年，即2010-01-01。
  • now/y：表示在年位上做舍入运算。

如： 统计生日在2017年、2018年、2019年的用户

now/y：当前年的1月1日
now：当前时间
now/y-1y：当前年上一年的1月1日 
POST /staff/_search
{
  "aggs": {
    "birthday_count": {
      "date_range": {
        "field": "birthday",
        "format": "yyyy-MM-dd",
        "ranges": [
          {
            "from": "now/y-1y",
            "to": "now/y"
          },
          {
            "from": "now/y-2y",
            "to": "now/y-1y"
          },
          {
            "from": "now/y-3y",
            "to": "now/y-2y"
          }
        ]
      }
    }
  }
}
  • 返回数据
  "aggregations" : {
    "birthday_count" : {
      "buckets" : [
        {
          "key" : "2019-01-01-2020-01-01",
          "from" : 1.5463008E12,
          "from_as_string" : "2019-01-01",
          "to" : 1.5778368E12,
          "to_as_string" : "2020-01-01",
          "doc_count" : 0
        },
        {
          "key" : "2020-01-01-2021-01-01",
          "from" : 1.5778368E12,
          "from_as_string" : "2020-01-01",
          "to" : 1.6094592E12,
          "to_as_string" : "2021-01-01",
          "doc_count" : 0
        },
        {
          "key" : "2021-01-01-2022-01-01",
          "from" : 1.6094592E12,
          "from_as_string" : "2021-01-01",
          "to" : 1.6409952E12,
          "to_as_string" : "2022-01-01",
          "doc_count" : 0
        }
      ]
    }
  }

2.3 Terms Aggregation / 分组聚合

  • 对年龄进行聚合,显示3条数据

POST /staff/_search
{
  "aggs": {
    "age_count": {
      "terms": {
        "field": "age",
        "size": 3
      }
    }
  }
}
  • 聚合结果

key年龄 为10，20 ，30各为一条

    ......
  "aggregations" : {
    "age_count" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 2,
      "buckets" : [
        {
          "key" : 10,
          "doc_count" : 1
        },
        {
          "key" : 20,
          "doc_count" : 1
        },
        {
          "key" : 30,
          "doc_count" : 1
        }
      ]
    }
  }
      ......

2.4 Histogram Aggregation / 直方图聚合

它与前面介绍的Range聚合非常像，只不过Range可以任意划分区间，而Histogram做等间距划分。既然是等间距划分，那么参数里面必然有距离参数，就是interval参数。
如：根据年龄间隔（20岁）统计各个年龄段的员工总人数

POST /staff/_search?size=0
{
  "aggs": {
    "salary_value_count": {
      "value_count": {
        "field": "salary"
      }
    }
  }
}
  • 返回结果
    .....
  "aggregations" : {
    "age_histogram_count" : {
      "buckets" : [
        {
          "key" : 0.0,
          "doc_count" : 1
        },
        {
          "key" : 20.0,
          "doc_count" : 2
        },
        {
          "key" : 40.0,
          "doc_count" : 2
        }
      ]
    }
  }
      .....

2.5 Date histogram aggregation / 时间直方图聚合

日期直方图聚合，专门对时间类型的字段做直方图聚合。这种需求是比较常用见得的，我们在统计时，通常就会按照固定的时间断（1个月或1年等）来做统计

如：按年统计用户生日的总人数

POST /staff/_search
{
  "aggs": {
    "birthday_data_histogram_count": {
      "date_histogram": {
        "field": "birthday",
        "interval": "year",
        "format": "yyyy-MM-dd"
      }
    }
  }
}
  • 返回结果
    .....
  "aggregations" : {
    "birthday_data_histogram_count" : {
      "buckets" : [
        {
          "key_as_string" : "2001-01-01",
          "key" : 978307200000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2002-01-01",
          "key" : 1009843200000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2003-01-01",
          "key" : 1041379200000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2004-01-01",
          "key" : 1072915200000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2005-01-01",
          "key" : 1104537600000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2006-01-01",
          "key" : 1136073600000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2007-01-01",
          "key" : 1167609600000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2008-01-01",
          "key" : 1199145600000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2009-01-01",
          "key" : 1230768000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2010-01-01",
          "key" : 1262304000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2011-01-01",
          "key" : 1293840000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2012-01-01",
          "key" : 1325376000000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2013-01-01",
          "key" : 1356998400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2014-01-01",
          "key" : 1388534400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2015-01-01",
          "key" : 1420070400000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "2016-01-01",
          "key" : 1451606400000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2017-01-01",
          "key" : 1483228800000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "2018-01-01",
          "key" : 1514764800000,
          "doc_count" : 1
        }
      ]
    }
  }
      .....

三: 聚合查询嵌套使用

通过嵌套，可以使得metric类型的聚合操作作用在每一bucket上。我们可以使用ES的嵌套聚合操作来完成稍微复杂一点的统计功能。

3.1 统计每年中用户的最高工资

POST /staff/_search
{
  "aggs": {
    "birthday_data_histogram_count": {
      "date_histogram": {
        "field": "birthday",
        "interval": "year",
        "format": "yyyy-MM-dd"
      },
      "aggs": {
        "max_salary": {
          "max": {
            "field": "salary"
          }
        }
      }
    }
  }
}
  • 返回结果
    .....
  "aggregations" : {
    "birthday_data_histogram_count" : {
      "buckets" : [
        {
          "key_as_string" : "2001-01-01",
          "key" : 978307200000,
          "doc_count" : 1,
          "max_salary" : {
            "value" : 5000.0
          }
        },
        {
          "key_as_string" : "2002-01-01",
          "key" : 1009843200000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2003-01-01",
          "key" : 1041379200000,
          "doc_count" : 1,
          "max_salary" : {
            "value" : 4000.0
          }
        },
        {
          "key_as_string" : "2004-01-01",
          "key" : 1072915200000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2005-01-01",
          "key" : 1104537600000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2006-01-01",
          "key" : 1136073600000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2007-01-01",
          "key" : 1167609600000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2008-01-01",
          "key" : 1199145600000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2009-01-01",
          "key" : 1230768000000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2010-01-01",
          "key" : 1262304000000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2011-01-01",
          "key" : 1293840000000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2012-01-01",
          "key" : 1325376000000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2013-01-01",
          "key" : 1356998400000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2014-01-01",
          "key" : 1388534400000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2015-01-01",
          "key" : 1420070400000,
          "doc_count" : 0,
          "max_salary" : {
            "value" : null
          }
        },
        {
          "key_as_string" : "2016-01-01",
          "key" : 1451606400000,
          "doc_count" : 1,
          "max_salary" : {
            "value" : 3000.0
          }
        },
        {
          "key_as_string" : "2017-01-01",
          "key" : 1483228800000,
          "doc_count" : 1,
          "max_salary" : {
            "value" : 2000.0
          }
        },
        {
          "key_as_string" : "2018-01-01",
          "key" : 1514764800000,
          "doc_count" : 1,
          "max_salary" : {
            "value" : 1000.0
          }
        }
      ]
    }
  }
      .....

先通过date_histogram按照年分组，然后再通过嵌套max聚合查询统计出每年最高工资是多少。

3.2 求每个年龄区间段的工资总和

....
  "aggregations" : {
    "age_ranges_count" : {
      "buckets" : [
        {
          "key" : "0.0-20.0",
          "from" : 0.0,
          "to" : 20.0,
          "doc_count" : 1,
          "sum_salary" : {
            "value" : 1000.0
          }
        },
        {
          "key" : "20.0-40.0",
          "from" : 20.0,
          "to" : 40.0,
          "doc_count" : 2,
          "sum_salary" : {
            "value" : 5000.0
          }
        },
        {
          "key" : "40.0-60.0",
          "from" : 40.0,
          "to" : 60.0,
          "doc_count" : 2,
          "sum_salary" : {
            "value" : 9000.0
          }
        }
      ]
    }
  }
  ....

参考资料 & 致谢

[1]官方文档
[2] ElasticSearch全文搜索引擎之Aggregation聚合查询(结合Kibana)

文章标签：
检索分析服务 Elasticsearch版
搜索推荐
索引
关键词：
ELK elasticsearch
elk检索分析服务 Elasticsearch版
检索分析服务 Elasticsearch版聚合
ELK查询
检索分析服务 Elasticsearch版查询
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
Demo
目录
相关文章
技术自由圈/原疯狂创客圈
|
1月前
|
存储 JSON Java
ELK 圣经：Elasticsearch、Logstash、Kibana 从入门到精通
ELK是一套强大的日志管理和分析工具，广泛应用于日志监控、故障排查、业务分析等场景。本文档将详细介绍ELK的各个组件及其配置方法，帮助读者从零开始掌握ELK的使用。
技术自由圈/原疯狂创客圈
234 2
warmhearted
|
1月前
|
存储 SQL 监控
Elasticsearch 在日志分析中的应用聚合分析
【10月更文挑战第23天】
warmhearted
58 8
warmhearted
|
1月前
|
存储 监控 安全
开源日志分析ELK Stack (Elasticsearch, Logstash, Kibana)
【10月更文挑战第21天】
warmhearted
178 7
武子康
|
2月前
|
存储 JSON 监控
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
武子康
61 4
武子康
|
2月前
|
自然语言处理 搜索推荐 Java
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(一)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图
武子康
62 0
武子康
|
2月前
|
存储 自然语言处理 搜索推荐
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
武子康
45 0
程序员小海绵
|
3月前
|
存储 自然语言处理 关系型数据库
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
聚合、补全、RabbitMQ消息同步、集群、脑裂问题、集群分布式存储、黑马旅游实现过滤和搜索补全功能
程序员小海绵
153 0
土木林森
|
1月前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤，包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch，以及常见问题的解决方法。通过这些步骤，你可以快速搭建起这个强大的分布式搜索和分析引擎。
土木林森
54 5
java冯坚持
|
2月前
|
存储 JSON Java
elasticsearch学习一：了解 ES，版本之间的对应。安装elasticsearch，kibana，head插件、elasticsearch-ik分词器。
这篇文章是关于Elasticsearch的学习指南，包括了解Elasticsearch、版本对应、安装运行Elasticsearch和Kibana、安装head插件和elasticsearch-ik分词器的步骤。
java冯坚持
232 0
elasticsearch学习一：了解 ES，版本之间的对应。安装elasticsearch，kibana，head插件、elasticsearch-ik分词器。
qhhf_地道酬勤
|
3月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署（基于Docker容器），docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程，拉取镜像、运行容器
qhhf_地道酬勤
603 3
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo

热门文章

最新文章

  • 1
    推荐一款轻量级且强大的 Elasticsearch GUI ： elasticvue
  • 2
    阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
  • 3
    超值选择：阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
  • 4
    （Elasticsearch）使用阿里云 infererence API 及 semantic text 进行向量搜索
  • 5
    一文看懂Elasticsearch的技术架构：高效、精准的搜索神器
  • 6
    极致 ElasticSearch 调优，让你的ES 狂飙100倍！
  • 7
    揭秘 Elasticsearch 集群架构，解锁大数据处理神器
  • 8
    什么是ELK栈？如何与Spring Boot一起使用？
  • 9
    ElasticSearch容器化从0到1实践（一）
  • 10
    Elasticsearch 备忘
  • 1
    什么是ELK栈？如何与Spring Boot一起使用？
    38
  • 2
    ELK 圣经：Elasticsearch、Logstash、Kibana 从入门到精通
    234
  • 3
    开源日志分析ELK Stack (Elasticsearch, Logstash, Kibana)
    179
  • 4
    大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
    61
  • 5
    日志平台-ELK实操系列(一)
    174
  • 6
    一文吃透企业级elk技术栈：elk 各组件调试
    51
  • 7
    Java日志详解：日志级别，优先级、配置文件、常见日志管理系统ELK、日志收集分析
    190
  • 8
    Spring Boot 性能护航！Prometheus、Grafana、ELK 组合拳，点燃数字化时代应用稳定之火
    126
  • 9
    ELK7.6+Filebeat集群部署
    60
  • 10
    rsyslog+ELK收集Cisco日志
    123

    • 相关课程

    更多
  • Kibana Lens 入门
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Elasticsearch实战进阶营
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲

    • 相关电子书

    更多
  • EYou—阿里云Elasticsearch智能优化运维工具分享
  • 基于ELK的大数据平台实践分享
  • 阿里云Elasticsearch体系架构与特性解析

    • 相关实验场景

    更多
  • 基于Elasticsearch向量检索的以文搜图
  • 利用Elasticsearch实现地理位置查询
  • 使用检索分析服务Elasticsearch版实现基础检索
  • 使用阿里云Elasticsearch体验信息检索加速
  • 使用阿里云Elasticsearch快速搭建可观测系统
    • 下一篇
    DataWorks售前咨询