备案控制台
开发者社区 开发与运维 文章 正文

ElasticSearch聚合查询Restful语法和JavaApi详解（基于ES7.6）

2022-04-28 815
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 在前面关于ES的一系列文章中，已经介绍了ES的概念、常用操作、JavaAPI以及实际的一个小demo，但是在真实的应用场景中，还有可能会有更高阶的一些用法，今天主要介绍两种相对来说会更难一些的操作，聚合查询。该文档基于ElasticSearch7.6，将介绍restful查询语法以及JavaApi。阅读本文需要你有ElasticSearch的基础。

听说微信搜索《Java鱼仔》会变更强哦！


本文收录于github和gitee ，里面有我完整的Java系列文章，学习或面试都可以看看哦


（一）概述

在前面关于ES的一系列文章中，已经介绍了ES的概念、常用操作、JavaAPI以及实际的一个小demo，但是在真实的应用场景中，还有可能会有更高阶的一些用法，今天主要介绍两种相对来说会更难一些的操作，聚合查询。该文档基于ElasticSearch7.6，将介绍restful查询语法以及JavaApi。


阅读本文需要你有ElasticSearch的基础。


（二）前期数据准备

这里准备了包含姓名、年龄、教室、性别和成绩五个字段的数据


PUT/test4{
"mappings" : {
"properties" : {
"name" : {
"type" : "text"        },
"age":{
"type": "integer"        },
"classroom":{
"type": "keyword"        },
"gender":{
"type": "keyword"        },
"grade":{
"type": "integer"        }
      }
    }
}

PUT/test4/_bulk{"index": {"_id": 1}}
{"name":"张三","age":18,"classroom":"1","gender":"男","grade":80}
{"index": {"_id": 2}}
{"name":"李四","age":20,"classroom":"2","gender":"男","grade":60}
{"index": {"_id": 3}}
{"name":"王五","age":20,"classroom":"2","gender":"女","grade":70}
{"index": {"_id": 4}}
{"name":"赵六","age":19,"classroom":"1","gender":"女","grade":90}
{"index": {"_id": 5}}
{"name":"毛七","age":20,"classroom":"1","gender":"男","grade":90}

（三）聚合查询

ES中的聚合操作提供了强大的分组及数理计算的能力，ES中聚合从大体上可以分为四种方式：


1、Metrics Aggregation 提供了诸如Max，Min，Avg的数值计算能力


2、Bucket Aggregation 提供了分桶的能力，简单来讲就是将一类相同的数据聚合到一起


3、Pipeline Aggregation 管道聚合，对其他聚合进行二次聚合


4、Matrix Aggregation 对多个字段进行操作并返回矩阵结果


ES官网提供了全部聚合查询文档，这篇文章将介绍常用的几种聚合查询的语法以及JavaApi：


www.elastic.co/guide/en/el…


（四）Metrics Aggregation

4.1 AVG


avg用于计算聚合文档中提取的数值的平均值，restful查询语法如下：


POST/test4/_search{
"aggs": {
"avg_grade": {
"avg": {
"field": "grade"      }
    }
  }
}

查询得到的结果如下:


网络异常，图片无法展示
|


接着是JavaApi，核心在于使用AggregationBuilders的avg方法，第七行代码对应于上面的操作。

@TestpublicvoidtestAvg() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.avg("agg_grade").field("grade")).size(0);
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
//注意这里要把Aggregation类型转化为ParsedAvg类型ParsedAvgaggregation=search.getAggregations().get("agg_grade");
System.out.println(aggregation.getValue()); //返回78.0}

接下来就直接贴代码了


4.2 Min


获取聚合数据的最小值：

POST/test4/_search{
"aggs": {
"min_grade": {
"min": {
"field": "grade"      }
    }
  }
}

@TestpublicvoidtestMin() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.min("min_grade").field("grade")).size(0);
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
ParsedMinaggregation=search.getAggregations().get("min_grade");
System.out.println(aggregation.getValue());
}

4.3 Max


获取聚合数据的最大值：

POST/test4/_search{
"aggs": {
"max_grade": {
"max": {
"field": "grade"      }
    }
  }
}

@TestpublicvoidtestMax() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.max("max_grade").field("grade")).size(0);
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
ParsedMaxaggregation=search.getAggregations().get("max_grade");
System.out.println(aggregation.getValue());
}

4.4 Sum


获取聚合数据的和：

POST/test4/_search{
"aggs": {
"sum_grade": {
"sum": {
"field": "grade"      }
    }
  }
}

@TestpublicvoidtestSum() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.sum("sum_grade").field("grade")).size(0);
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
ParsedSumaggregation=search.getAggregations().get("sum_grade");
System.out.println(aggregation.getValue());
}

4.5 Stats


stats集成了上面的所有计算操作。

POST/test4/_search{
"aggs": {
"stats_grade": {
"stats": {
"field": "grade"      }
    }
  }
}

@TestpublicvoidtestStats() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.stats("sum_grade").field("grade")).size(0);
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
ParsedStatsaggregation=search.getAggregations().get("sum_grade");
System.out.println(aggregation.getMax());
System.out.println(aggregation.getAvg());
System.out.println(aggregation.getCount());
System.out.println(aggregation.getMin());
System.out.println(aggregation.getSum());
}

（五）Bucket Aggregation

桶聚合是按照某个字段将同类型的数据聚合为一类，最常用对桶聚合就是terms聚合了。

5.1 terms


terms查询类似于group by，返回查询字段分组后的值以及数量，比如我对classroom字段terms查询


POST/test4/_search{
"aggs": {
"classroom_term": {
"terms": {
"field": "classroom"      }
    }
  }
}

返回值就是classroom的分组后的值以及每个组的数量：classroom是1的有3条记录，classroom是2的有2条记录

"aggregations" : {
"classroom_term" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
        {
"key" : "1",
"doc_count" : 3        },
        {
"key" : "2",
"doc_count" : 2        }
      ]
    }

我们也可以对多个字段进行terms分组，比如我现在对classroom和gender两个字段进行分组：

POST/test4/_search{
"aggs": {
"classroom_term": {
"terms": {
"field": "classroom"      },
"aggs": {
"gender": {
"terms": {
"field": "gender"          }
        }
      }
    }
  }
}

最后对返回值就是classroom和gender分组后的值和数量：


classroom是1，gender是男有两条；


classroom是1，gender是女有一条；


classroom是2，gender是男有一条；


classroom是2，gender是女有一条；



"aggregations" : {
"classroom_term" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
        {
"key" : "1",
"doc_count" : 3,
"gender" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
              {
"key" : "男",
"doc_count" : 2              },
              {
"key" : "女",
"doc_count" : 1              }
            ]
          }
        },
        {
"key" : "2",
"doc_count" : 2,
"gender" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
              {
"key" : "女",
"doc_count" : 1              },
              {
"key" : "男",
"doc_count" : 1              }
            ]
          }
        }
      ]
    }

对应的JavaApi使用如下：

@TestpublicvoidtestTerms() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.terms("classroom_term").field("classroom")
                        .subAggregation(AggregationBuilders.terms("gender").field("gender")));
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
//获取数据时首先对classroom分桶，再对gender分桶TermsclassroomTerm=search.getAggregations().get("classroom_term");
for(Terms.BucketclassroomBucket:classroomTerm.getBuckets()){
TermsgenderTerm=classroomBucket.getAggregations().get("gender");
for (Terms.BucketgenderBucket:genderTerm.getBuckets()){
System.out.println("classRoom:"+classroomBucket.getKeyAsString()+"gender:"+genderBucket.getKeyAsString()+"count:"+genderBucket.getDocCount());
        }
    }
}

这里比较难理解对是获取数据时的处理，聚合查询时有个桶的概念，在获取数据时需要遍历获取桶，以上面的代码为例，先获取到classroom的桶，再遍历classroom的桶获取gender的桶，从桶中获取到具体的内容。看下图：


网络异常，图片无法展示
|


5.2 range


range查询可以统计出每个数据区间内的数量：比如我要统计分数为*～70，70～85，80～*的数据，就可以通过下面的方式：


POST/test4/_search{
"aggs": {
"grade_range": {
"range": {
"field": "grade",
"ranges": [
          {"to":70},
          {"from":70,"to":85},
          {"from":85}
        ]
      }
    }
  }
}

JavaAPI如下：

@TestpublicvoidtestRange() throwsException {
//封装了获取RestHighLevelClient的方法RestHighLevelClientclient=ElasticSearchClient.getClient();
SearchRequestrequest=newSearchRequest("test4");
SearchSourceBuildersearchSourceBuilder=newSearchSourceBuilder();
searchSourceBuilder.aggregation(AggregationBuilders.range("grade_range").field("grade")
                                    .addUnboundedTo(70).addRange(70,85).addUnboundedFrom(85));
request.source(searchSourceBuilder);
SearchResponsesearch=client.search(request, RequestOptions.DEFAULT);
//获取数据时首先对classroom分桶，再对gender分桶RangegradeRange=search.getAggregations().get("grade_range");
for(Range.BucketgradeBucket:gradeRange.getBuckets()){
System.out.println("key:"+gradeBucket.getKey()+"count:"+gradeBucket.getDocCount());
    }
}

（六）总结

至此，关于ES的聚合查询一些常用方法就讲解完毕了，ES提供的其他更多方法可以直接在官方文档中看，讲解的十分详细。我是鱼仔，我们下期再见！

文章标签：
检索分析服务 Elasticsearch版
Java
关键词：
检索分析服务 Elasticsearch版查询
检索分析服务 Elasticsearch版聚合
检索分析服务 Elasticsearch版聚合语法
检索分析服务 Elasticsearch版聚合查询
检索分析服务 Elasticsearch版查询语法
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
1658538813089932
目录
相关文章
米诺斯
|
2天前
|
索引
Elasticsearch 精确查询：术语查询、多术语查询、主键查询、范围查询、存在查询、前缀查询、正则查询与通配符查询
Elasticsearch 精确查询：术语查询、多术语查询、主键查询、范围查询、存在查询、前缀查询、正则查询与通配符查询
米诺斯
10 4
weixin_836869520
|
9天前
|
JSON 安全 Java
Elasticsearch 语法指南（全）
Elasticsearch 语法指南（全）
weixin_836869520
14 1
张飞的猪
|
11天前
|
SQL 安全 数据挖掘
Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索引中某一个字段的空值率？语法是怎么样的？
Elasticsearch聚合查询用于复杂数据分析，包括统计空值率。示例展示了如何计算字段`my_field`非空非零文档的百分比。查询分为三步：总文档数计数、符合条件文档数计数及计算百分比。聚合概念涵盖度量、桶和管道聚合。脚本在聚合中用于动态计算。常见聚合类型如`sum`、`avg`、`date_histogram`等。组合使用可实现多值统计、嵌套聚合和空值率计算。[阅读更多](https://zhangfeidezhu.com/?p=515)
张飞的猪
81 0
Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索引中某一个字段的空值率？语法是怎么样的？
公众号:码到三十五
|
2天前
|
存储 缓存 自然语言处理
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
公众号:码到三十五
8 0
不会编程的小孩子
|
4天前
|
缓存 Java API
在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）
在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）
不会编程的小孩子
8 0
公众号:码到三十五
|
4天前
|
存储 缓存 Java
掌握Elasticsearch集群参数查询API
掌握Elasticsearch集群参数查询API
公众号:码到三十五
9 0
weixin_836869520
|
9天前
|
存储 数据采集 负载均衡
Elasticsearch系列---搜索执行过程及scroll游标查询
Elasticsearch系列---搜索执行过程及scroll游标查询
weixin_836869520
10 0
白雾茫茫丶
|
11天前
|
存储 前端开发 安全
Nuxt3 实战 (十)：使用 Supabase 实现 RESTful 风格 API 接口
这篇文章介绍了如何使用Supabase实现RESTful风格的API接口，用于网站分类和子站点的增删改查（CURD）功能。文章首先阐述了表设计，包括ds_categorys和ds_websites两张表的列名、类型和用途，并提到了为每张表添加的user_id和email字段以支持用户身份识别。接着，文章描述了接口设计，以ds_websites表为例，说明了如何通过RESTful API实现CURD功能，并给出了使用SupabaseClient实现插入数据的相关代码。文章最后提供了项目效果预览和总结，指出学习了Nuxt3创建接口及调用Supabase数据库操作。
白雾茫茫丶
19 2
Nuxt3 实战 (十)：使用 Supabase 实现 RESTful 风格 API 接口
我不是游客20240119
|
3天前
|
JSON API 数据格式
深入理解RESTful API设计原则与最佳实践
【6月更文挑战第26天】在现代Web开发中，RESTful API已成为构建可扩展、易于维护的后端服务的标准。本文将探讨RESTful API的核心设计原则，揭示如何通过遵循这些原则来优化API设计，确保高效和灵活的数据交互。我们将从资源定位、数据交互格式、状态传输、接口设计等方面入手，提供一系列实用的设计建议和最佳实践，帮助开发者避免常见的设计陷阱，打造高质量的后端服务。
我不是游客20240119
12 3
啊猪是的读来过倒
|
4天前
|
JSON 前端开发 API
Django API开发实战：前后端分离、Restful风格与DRF序列化器详解
Django API开发实战：前后端分离、Restful风格与DRF序列化器详解
啊猪是的读来过倒
10 3

热门文章

最新文章

  • 1
    Elasticsearch-通过Kibana查看索引数据
  • 2
    ElasticSearch容器化从0到1实践（一）
  • 3
    logstash-out-mongodb实现elasticsearch到Mongodb的数据同步
  • 4
    Elasticsearch 检索性能优化实战指南
  • 5
    [ElasticSearch2.x]副本分片
  • 6
    elasticsearch插件二—— kibana插件安装详解
  • 7
    Elasticsearch Log4j漏洞快速修复步骤
  • 8
    Elasticsearch 警惕使用 wildcard 检索！然后呢？
  • 9
    ElasticSearch小操之Marvel，Sense
  • 10
    kibana快照存储库实现定时备份elasticsearch集群索引
  • 1
    深入理解RESTful API设计原则与实践
    43
  • 2
    【Web系列笔记】Restful
    43
  • 3
    RESTful接口与http协议状态表述
    15
  • 4
    java一行代码实现RESTFul接口
    31
  • 5
    Node.js中构建RESTful API的最佳实践
    51
  • 6
    【Go语言专栏】基于Go语言的RESTful API开发
    29
  • 7
    【Swift开发专栏】Swift中的RESTful API集成实战
    41
  • 8
    深度学习在图像识别中的应用与挑战构建高效可扩展的RESTful API：后端开发的实战指南
    36
  • 9
    【PHP开发专栏】PHP RESTful API设计与开发
    39
  • 10
    构建高性能的RESTful API：最佳实践与性能优化技巧
    40

    • 相关课程

    更多
  • Kibana Lens 入门
  • Elasticsearch实战进阶营
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲

    • 相关电子书

    更多
  • 阿里云Elasticsearch体系架构与特性解析
  • 开源与云：Elasticsearch应用剖析
  • 《Elasticsearch全观测解决方案》

    • 相关实验场景

    更多
  • 使用阿里云Elasticsearch体验信息检索加速
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • 使用检索分析服务Elasticsearch版实现基础检索
  • 利用Elasticsearch实现地理位置查询
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）