es 平行多次聚合查询

简介: es 平行多次聚合查询

需求


比如说我有 city, source, company, user等字段, 然后需要根据 user 字段来查出 各城市对应的 source, company字段, 即同样条件不同字段聚合, 如下


user  city  company 
user  city  source


需要同时返回这两种聚合结果, 要怎么实现呢


实现


{
  "aggs": {
    "city": {      # 第一层聚合city,  建议aggs_fied与聚合字段一致或相似, 方便后面取值
      "terms": {
        "field": "city",
        "size": 100       # size不写默认是10, 建议写一个较大的数值
      }                     
      "aggs": {
        "company": {             # 第二层 同时聚合 company和 source
          "terms": {
            "field": "company",
            "size": 100
          }
        },
        "source": {              # 第二层 同时聚合 company和 source
          "terms": {
            "field": "source",
            "size": 100
          }
        }
      }
    }
  },
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "user": [
              "1"
            ]
          }
        }
      ]
    }
  },
  "size": 0         # size为0不会展示 hits, 只会展示聚合结果
}

聚合出来的结果是这个样子的

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 292,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "city": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "北京",                # 城市是北京
          "doc_count": 292,
          "company": {                  # 这是city+company的聚合结果
            "doc_count_error_upper_bound": 0, 
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": 19,              # 用户1在北京下面company=19的有262条数据
                "doc_count": 262
              },
              {
                "key": 16,
                "doc_count": 14
              }
            ]
          },
          "source": {             # 这是city+source的聚合结果
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": 68,            # 用户1在北京下面source=68的有4条数据
                "doc_count": 4
              },
              {
                "key": 67,
                "doc_count": 3
              },
              {
                "key": 79,
                "doc_count": 3
              },
              {
                "key": 65,
                "doc_count": 1
              }
            ]
          }
        }
      ]
    }
  }
}

结论


是不是很简单方便啊, 语句结构也很简单, 即

如果是往下聚合则继续在 aggs的聚合下面继续写aggs

{
  "aggs": {
    "aggs_field": {
      "terms": {},
      "aggs": {
        "aggs_field": {}
      }
    }
  }
}

如果是希望当前值保持跟上一层聚合, 则在当前aggs下继续平行写 聚合字段(aggs_field)

{
  "aggs": {
    "aggs_field": {
      "terms": {},
      "aggs": {
        "aggs_field": {},
        "aggs_field2": {},
        "aggs_field3": {}
      }
    }
  }
}


目录
相关文章
|
4月前
|
SQL 安全 数据挖掘
Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的?
Elasticsearch聚合查询用于复杂数据分析,包括统计空值率。示例展示了如何计算字段`my_field`非空非零文档的百分比。查询分为三步:总文档数计数、符合条件文档数计数及计算百分比。聚合概念涵盖度量、桶和管道聚合。脚本在聚合中用于动态计算。常见聚合类型如`sum`、`avg`、`date_histogram`等。组合使用可实现多值统计、嵌套聚合和空值率计算。[阅读更多](https://zhangfeidezhu.com/?p=515)
282 0
Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的?
|
4月前
|
存储 缓存 自然语言处理
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
|
分布式计算 算法 大数据
白话Elasticsearch45-深入聚合数据分析之易并行聚合算法,三角选择原则,近似聚合算法
白话Elasticsearch45-深入聚合数据分析之易并行聚合算法,三角选择原则,近似聚合算法
94 0
|
存储
ES聚合查询详解(四):管道聚合
ES聚合查询详解(四):管道聚合
510 0
ES聚合查询详解(四):管道聚合
|
大数据 开发者
聚合操作_多维聚合_rollup | 学习笔记
快速学习聚合操作_多维聚合_rollup
聚合操作_多维聚合_rollup | 学习笔记
|
分布式计算 大数据 Spark
聚合操作_多维聚合_rollup 案例 | 学习笔记
快速学习聚合操作_多维聚合_rollup 案例
聚合操作_多维聚合_rollup 案例 | 学习笔记
|
大数据 开发者
聚合操作_多维聚合_cube | 学习笔记
快速学习聚合操作_多维聚合_cube
聚合操作_多维聚合_cube | 学习笔记
|
SQL 大数据 开发者
聚合操作_多维聚合_GroupedDataset | 学习笔记
快速学习聚合操作_多维聚合_GroupedDataset
250 0
聚合操作_多维聚合_GroupedDataset | 学习笔记
|
大数据 开发者
聚合操作_多维聚合_需求介绍 | 学习笔记
快速学习聚合操作_多维聚合_需求介绍
聚合操作_多维聚合_需求介绍 | 学习笔记
|
存储 SQL
ES聚合查询详解(三):指标聚合
ES聚合查询详解(三):指标聚合
323 0
ES聚合查询详解(三):指标聚合