ES聚合查询详解(一)

简介: ES聚合查询详解(一)

前言


本文主要介绍ES中的聚合查询。


一、聚合查询简介


聚合查询可以将数据汇总为度量、统计或其他分析。


聚合查询主要分为三个类别:


Metric 指标聚合

Bucket 桶聚合

Pipeline 管道聚合


二、聚合函数的使用


1、如何运行一个聚合查询

GET /my-index-000001/_search
{
  "aggs": {
    "my-agg-name": {
      "terms": {
        "field": "my-field"
      }
    }
  }
}


说明:

aggs 说明采用的是聚合查询

my-agg-name 是聚合查询的名称

terms 说明采用的是Terms aggregation多值聚合:一个基于多桶值源的聚合,其中桶是动态构建的——每个唯一值一个桶。统计每个唯一值的个数。

field 指定需要统计的字段。


2、限制聚合查询的范围

GET /my-index-000001/_search
{
  "query": {
    "range": {
      "@timestamp": {
        "gte": "now-1d/d",
        "lt": "now/d"
      }
    }
  },
  "aggs": {
    "my-agg-name": {
      "terms": {
        "field": "my-field"
      }
    }
  }
}


3、仅返回聚合结果

默认情况下,包含聚合的查询会同时返回搜索命中的结果和聚合结果。若要只返回聚合结果,请将大小设置为0

GET /my-index-000001/_search
{
  "size": 0,
  "aggs": {
    "my-agg-name": {
      "terms": {
        "field": "my-field"
      }
    }
  }
}

4、运行多个聚合

GET /my-index-000001/_search
{
  "aggs": {
    "my-first-agg-name": {
      "terms": {
        "field": "my-field"
      }
    },
    "my-second-agg-name": {
      "avg": {
        "field": "my-other-field"
      }
    }
  }
}

5、子聚合

统计索引中my-field字段的每个唯一值的记录数,并计算每组记录中my-other-field字段的平均值。

典型的场景:先分组,再计算

GET /my-index-000001/_search
{
  "aggs": {
    "my-agg-name": {
      "terms": {
        "field": "my-field"
      },
      "aggs": {
        "my-sub-agg-name": {
          "avg": {
            "field": "my-other-field"
          }
        }
      }
    }
  }
}

执行结果:

{
  ...
  "aggregations": {
    "my-agg-name": {                           
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "foo",
          "doc_count": 5,
          "my-sub-agg-name": {                 
            "value": 75.0
          }
        }
      ]
    }
  }
}


6、聚合查询中使用scripts脚本

采用script脚本提取运行时字段,并对运行时字段message.length进行聚合。

GET /my-index-000001/_search?size=0
{
  "runtime_mappings": {
    "message.length": {
      "type": "long",
      "script": "emit(doc['message.keyword'].value.length())"
    }
  },
  "aggs": {
    "message_length": {
      "histogram": {
        "interval": 10,
        "field": "message.length"
      }
    }
  }
}


7、聚合结果分页

GET /my-index-000001/_search
 {
      "size":0,
      "aggs" : {
          "group_account" : {
              "terms" : {
                "size": 2,
                "field" : "account",
                "order": {
                  "sum_gmv" : "desc" 
                }
              },
              "aggs": {
                  "sum_gmv": {
                      "sum": {"field": "bus_ep_gmv"}
                  }
              }
          }
      }
  }


8、聚合查询缓存说明

为了获得更快的响应,Elasticsearch 将频繁运行的聚合结果缓存到切分请求缓存中。

若要获取缓存结果,请对每次搜索使用相同的首选项字符串。

如果您不需要搜索命中、只返回聚合结果,请将大小设置为0,以避免填充缓存。


总结


本文主要是聚合查询进行了简单的介绍。

1、聚合查询主要使用场景:数据的统计分析。

2、聚合查询主要分为三个类别:


Metric 指标聚合

Bucket 桶聚合

Pipeline 管道聚合


3、聚合查询的简单使用示例。

目录
相关文章
|
C# Windows
.NET开源免费的Windows快速文件搜索和应用程序启动器
今天大姚给大家分享一款.NET开源(MIT License)、免费、功能强大的Windows快速文件搜索和应用程序启动器:Flow Launcher。
229 0
|
存储 文字识别 算法
文字识别OCR常见问题之图片超过40M不返回结果如何解决
文字识别OCR(Optical Character Recognition)技术能够将图片或者扫描件中的文字转换为电子文本。以下是阿里云OCR技术使用中的一些常见问题以及相应的解答。
476 2
|
前端开发 架构师 搜索推荐
COLA 4.0:直击应用架构本质的最佳实践
COLA 4.0:直击应用架构本质的最佳实践
3369 0
COLA 4.0:直击应用架构本质的最佳实践
|
Go
【go 语言】PProf 的使用——CPU和内存占用分析(二)
PProf 的使用——CPU和内存占用分析(二)
1660 0
【go 语言】PProf 的使用——CPU和内存占用分析(二)
|
5月前
|
存储 人工智能 供应链
AI Agent智能体:底层逻辑、原理与大模型关系深度解析·优雅草卓伊凡
AI Agent智能体:底层逻辑、原理与大模型关系深度解析·优雅草卓伊凡
1134 2
AI Agent智能体:底层逻辑、原理与大模型关系深度解析·优雅草卓伊凡
|
11月前
|
缓存 API
全球最新地震信息免费API接口教程
该接口提供全球最新地震信息,数据源自中国地震台网,每5分钟更新一次。支持POST/GET请求,需提供用户ID和KEY。返回数据包括地震等级、时间、经纬度、深度及位置等详细信息。示例请求和响应详见文档。
1479 4
|
Go
Golang语言之管道channel快速入门篇
这篇文章是关于Go语言中管道(channel)的快速入门教程,涵盖了管道的基本使用、有缓冲和无缓冲管道的区别、管道的关闭、遍历、协程和管道的协同工作、单向通道的使用以及select多路复用的详细案例和解释。
482 4
Golang语言之管道channel快速入门篇
|
存储 对象存储
【阿里云OSS】You have no right to access this object because of bucket acl.
【阿里云OSS】You have no right to access this object because of bucket acl.
18032 1
【阿里云OSS】You have no right to access this object because of bucket acl.
|
Ubuntu 应用服务中间件 Linux
Linux学习之Ubuntu 20中OpenResty的nginx目录里内容和配置文件
总的来说,OpenResty的Nginx配置文件是一个强大的工具,它允许你以非常灵活的方式定义你的Web服务的行为。
323 2