Elasticsearch中nested聚合操作

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 在Elasticsearch实战场景中,我们或多或少会遇到嵌套文档的组合形式,反映在ES中称为父子文档。父子文档的实现,至少包含以下两种方式:1)父子文档2)Nested嵌套类型

ElasticSearch简介(也称ES)

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作:

  • 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。
  • 实时分析的分布式搜索引擎。
  • 可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。

ElasticSearch数据类型

一级分类 二级分类 具体类型
基础类型 字符串类型 string,text,keyword
-- 整数类型 integer,long,short,byte
-- 逻辑类型 boolean
-- 浮点类型 double,float,half_float,scaled_float
-- 日期类型 date
-- 范围类型 range
-- 二进制类型 binary
复合类型 数组类型 array
-- 对象类型 object
-- 嵌套类型 nested
地理类型 地理坐标类型 geo_point
-- 地理地图 geo_shape
特殊类型 IP类型 ip
-- 范围地图 completion
-- 令牌计数类型 token_count
-- 附件地图 attachment
-- 抽取类型 percolator

以上便是ES中的数据类型,下面便对其中的object和nested来做一个简单的介绍。

nested介绍

nested就是一个嵌套对象,是object数据类型的特殊版本,它允许对象数组相互独立地进行索引和查询,使用时和其他类型使用基本相同,下面便是我来举的一个例子,labels便是一个nested类型的数据

{
  "settings": {
    "index": {
      "codec": "best_compression",
      "mapping": {
        "nested_fields": {
          "limit": "2000"
        },
        "total_fields": {
          "limit": "10000"
        }
      },
      "refresh_interval": "1s",
      "number_of_shards": "2",
      "translog": {
        "flush_threshold_size": "1gb",
        "sync_interval": "30s",
        "durability": "async"
      },
      "number_of_replicas": "1"
    }
  },
  "mappings": {
    "dynamic": true,
    "properties": {
      "id": {
        "type": "long",
        "doc_values": false,
        "index": false
      },
      "name": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "provinces": {
        "type": "keyword",
        "doc_values": false
      },
      "city": {
        "type": "keyword"
      },
      "permissionLevel": {
        "type": "integer",
        "doc_values": false,
        "index": false
      },
      "status": {
        "type": "integer"
      },
      "labels": {
        "type": "nested",
        "properties": {
          "label": {
            "type": "keyword"
          },
          "classification": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

当需要使用这个嵌套类型中的数据进行过滤,统计时我们普遍会使用这个来做一个聚合查询,但是这个会出现一个问题,那便是,所聚合出来的数据只是nested对象的数据,而外部主体数据并没有聚合出来那便是一个问题

{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "labels",
            "query": {
              "term": {
                "labels.classification": "行业"
              }
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "genres": {
      "nested": {
        "path": "labels"
      },
      "aggs": {
        "label_agg": {
          "terms": {
            "field": "labels.label"
          },
          "aggs": {
            "count_sub": {
              "sum": {
                "field": "viewCpount"
              }
            }
          }
        },
        "fll": {
          "filter": {
            "term": {
              "labels.classification": "行业"
            }
          },
          "aggs": {
            "label_agg2": {
              "terms": {
                "field": "labels.label"
              }
            }
          }
        }
      }
    }
  }
}

之后,通过对官网文档,还有同事的讨论,当对nested对象使用聚合查询时,便需要时用reverse_nested,来回到root主体。这样便能够对nested之外的数据来进行聚合操作了。


{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "labels",
            "query": {
              "term": {
                "labels.classification": "c1"
              }
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "genres": {
      "nested": {
        "path": "labels"
      },
      "aggs": {
        "fll": {
          "filter": {
            "term": {
              "labels.classification": "c1"
            }
          },
          "aggs": {
            "label_agg2": {
              "terms": {
                "field": "labels.label"
              },
              "aggs": {
                "res": {
                  "reverse_nested": {},
                  "aggs": {
                    "count_view": {
                      "sum": {
                        "field": "viewCount"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}```  
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
存储 JSON 前端开发
Elasticsearch聚合后分页深入详解
1、Elasticsearch支持聚合后分页吗,为什么? 不支持,看看Elasticsearch员工如何解读。
382 0
Elasticsearch聚合后分页深入详解
|
7月前
|
搜索推荐 JavaScript Java
Elasticsearch 8.X 如何依据 Nested 嵌套类型的某个字段进行排序?
Elasticsearch 8.X 如何依据 Nested 嵌套类型的某个字段进行排序?
100 0
|
存储 SQL 算法
7.【Elasticsearch】Elasticsearch从入门到放弃-聚合桶前置过滤及group by having
Elasticsearch从入门到放弃-聚合桶前置过滤及group by having
7.【Elasticsearch】Elasticsearch从入门到放弃-聚合桶前置过滤及group by having
|
存储 NoSQL 算法
|
SQL 自然语言处理 索引
ElasticSearch不支持分组查询么?
在使用es进行组合查询的时候,遇到一个非常有意思的场景,特此记录一下 某些场景下,直接针对某个Field进行分组查询,居然无法返回结果,会给出类似Text fields are not optimised for operations that require per-document field data like aggregations and sorting, so these operations are disabled by default的提示信息,接下来看一下这个问题是个什么情况,以及如何解决
539 0
ElasticSearch不支持分组查询么?
|
Java 数据建模 定位技术
Composite 聚合——Elasticsearch 聚合后分页新实现
1、聚合后分页应用场景 在常规检索的基础上,用户期望返回基于特定字段的聚合结果,且用户期望分页查看检索和聚合结果。 如下图所示:以2020东京奥运会热点新闻亚洲飞人"苏炳添”为例,用户期望查看有关“苏炳添”的新闻,同时期望查看相同标题的相似文章列表。
2488 0
Composite 聚合——Elasticsearch 聚合后分页新实现
|
存储 Java API
深入了解ElasticSearch的Nested数据类型
ElasticSearch中可以将数据以对象的方式存储并查询,但是ES底层的Lucene 没有内部对象的概念,因此如果通过默认的方式往ES中插入对象,ES会将对象层次结构扁平化为字段名称和值的简单列表。 比如下面这一段数据:
|
存储 数据建模 Java
干货 | 拆解一个 Elasticsearch Nested 类型复杂查询问题
1、线上实战问题 前置说明:本文是线上环境的实战问题拆解,涉及复杂 DSL,看着会很长,但强烈建议您耐心读完。
716 0
干货 | 拆解一个 Elasticsearch Nested 类型复杂查询问题
|
存储 索引
干货 | Elasticsearch Nested类型深入详解
0、概要 在Elasticsearch实战场景中,我们或多或少会遇到嵌套文档的组合形式,反映在ES中称为父子文档。 父子文档的实现,至少包含以下两种方式: 1)父子文档 父子文档在5.X版本中通过parent-child父子type实现,即:1个索引对应多个type; 6.X+版本已经不再支持一个索引多个type,6.X+的父子索引的实现改成Join。 2)Nested嵌套类型
293 0
干货 | Elasticsearch Nested类型深入详解
|
存储 关系型数据库 MySQL
Elasticsearch6.X 新类型Join深入详解
0、ES6.X 一对多、多对多的数据该如何存储和实现呢?
190 0
Elasticsearch6.X 新类型Join深入详解
下一篇
DataWorks